[已解决]网站下载图片的问题

加速星球

这个是哪里出错了大佬们
代码：

import urllib.request
import os


def url_open(url):
    req = urllib.request.Request(url)#打开连接 然后下面设置User-Agent模拟电脑访问
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36')
    response = urllib.request.urlopen(url)#打开网址
    #print(url)
    html = response.read()
    return html
    
def get_page(url):
    html = url_open(url).decode('gb2312','ignore')#编码
    a = html.find('<a class="current" href="javascript:void(0)">')+45
    #print(a)
    b =  html.find('<',a)
    #print(b)
    print(html[a:b])
    return html[a:b]

def find_imgs(url):
    html = url_open(url).decode('gb2312','ignore')
    img_addrs = []

    a = html.find('img src=')
    print(a)
    
    while a != -1:
        b = html.find('.jpg',a,a+255)
        print(b)
        if b != -1:
            img_addrs.append(html[a+9:b+4])
        else:
            b = a+9

        a = html.find('img src=',b)

        for each in img_addrs:
            #print(each)  #打印找到的图片地址
            return img_addrs


    

def save_imgs(folder,img_addrs):
    for each in img_addrs:
        filename = each.split('/')[-1]
        with open(filename,'wb') as f:
            img = url_open(each)
            f.write(img)
            




def download_mm(folder='OOXX',pages=20):
    os.mkdir(folder)
    os.chdir(folder)

    url = 'https://car.autohome.com.cn/pic/series/6388-10.html'
    page_num = int(get_page(url))
    print(page_num)

    for i in range(pages):
        page_num -= i  #每个图片地址的页码
        page_url = 'https://car.autohome.com.cn/pic/series/6388-10-p' + str(page_num) + '.html'#重新拼成一个地址  页码-1
        print(i)
        img_addrs = find_imgs(page_url)#把图片的地址保存成列表然后返回
        save_imgs(folder,img_addrs)#把列表中的页面保存起来
        
        

if __name__ == '__main__':
    download_mm()

        
    




#https://car.autohome.com.cn/pic/series/6388-10-p2.html

最佳答案

月排行榜 / 总排行榜

阿奇_o

2023-10-1 02:37:24

加速星球 发表于 2023-9-30 21:16
试了还是不行，还是没搞好，不知道错哪里了

一步步来，才比较好确定哪里出错了。。
先搞定一页（第一页共60张图），建议用正则表达式来查找img（或bs4等解析后用css选择器等也行），这样更方便，比如：

html = resp.decode(encoding='gb2312', errors='ignore')

import re

pattern = '<img src="(.*?)" alt="2023款 .*?" title="(2023款 .*?)">'
imgs = re.findall(pattern, html)

print(len(imgs))
print(imgs)

其次，考虑到图片较多，最后应该改为用 异步下载 的方式(aiohttp+asyncio)，这个你可以自己研究一下，会让有一定难度。

最后，再解决 翻页 等问题。。


ps: 对了，正则获取到的图片的url，需要自己加上 协议名！！比如：

img_urls = ['https:' + i[0] for i in imgs]  

跳转到最佳答案楼层

isdkz

这段代码的问题在于 find_imgs 函数中，当找到第一张图片地址后就直接返回了，而没有继续查找其它图片地址。应该将 return 语句放到 for 循环外面，如下所示：

def find_imgs(url):
    html = url_open(url).decode('gb2312','ignore')
    img_addrs = []

    a = html.find('img src=')
    while a != -1:
        b = html.find('.jpg',a,a+255)
        if b != -1:
            img_addrs.append(html[a+9:b+4])
        else:
            b = a+9

        a = html.find('img src=',b)

    return img_addrs

另外，这段代码中使用了 decode 函数将网页内容从 gb2312 编码转换为 unicode 编码。但是，现代网页通常使用的是 utf-8 编码，所以应该将 decode 函数中的 gb2312 改为 utf-8 ，如下所示：

html = url_open(url).decode('utf-8','ignore')

Mike_python小

根据您提供的代码，有几个可能的问题导致下载图片失败：

1. 编码问题：在url_open和find_imgs函数中，您使用了decode('gb2312','ignore')来解码网页内容。但是，并不是所有的网页都使用gb2312编码，可能会导致解码错误。为了避免这个问题，可以尝试使用更通用的UTF-8编码进行解码。

修改代码如下：

html = url_open(url).decode('utf-8', 'ignore')

2. 图片地址分析问题：在find_imgs函数中，您使用了简单的字符串查找方法来获取图片地址，这种方法可能会导致找到错误的地址或者无法正确识别图片链接。推荐使用正则表达式来提取图片地址。

修改代码如下：

import redef find_imgs(url):    html = url_open(url).decode('utf-8', 'ignore')    img_addrs = []    pattern = r'<img\s+src="(https?://[^"]+\.jpg)"'    img_addrs = re.findall(pattern, html)    return img_addrs

请注意，这只是一种简单的示例正则表达式，实际上网页中的图片标签可能会有很多变化，请根据具体情况调整正则表达式的模式。

通过以上两个修改，您可以尝试重新运行代码并下载图片。如果问题仍然存在，请提供具体的错误信息或者截图，以便进一步帮助您解决问题。

球一个最佳答案谢谢啦！这对我非常重要！

陶远航

根据你提供的代码，有几个问题可能会导致下载图片出错：

1. find_imgs() 函数中的字符串查找逻辑有错误。你使用了 'img src=' 作为查找条件，但实际上在 HTML 中图片的地址可能会有其他形式，例如 'img data-src='。你需要修改字符串查找的条件来适应不同的图片地址格式。

2. 在 save_imgs() 函数中，将图片写入文件时使用了错误的打开模式。应该使用二进制写入模式（'wb'）而不是默认的文本写入模式。

3. 在主函数 download_mm() 中，你使用了未定义的变量 page_num。这会导致下载的图片地址不正确。你可以将 page_num 初始化为 page_num = int(get_page(url)) 以获得正确的页码。

综上所述，以下是修改后的代码，请尝试运行：

import urllib.request
import os

def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36')
    response = urllib.request.urlopen(url)
    html = response.read()
    return html

def get_page(url):
    html = url_open(url).decode('gb2312', 'ignore')
    a = html.find('<a class="current" href="javascript:void(0)">') + 45
    b = html.find('<', a)
    print(html[a:b])
    return html[a:b]

def find_imgs(url):
    html = url_open(url).decode('gb2312', 'ignore')
    img_addrs = []
    a = html.find('img src=')
    while a != -1:
        b = html.find('.jpg', a, a + 255)
        if b != -1:
            img_addrs.append(html[a + 9:b + 4])
        else:
            b = a + 9
        a = html.find('img src=', b)
    return img_addrs

def save_imgs(folder, img_addrs):
    for each in img_addrs:
        filename = each.split('/')[-1]
        with open(filename, 'wb') as f:
            img = url_open(each)
            f.write(img)

def download_mm(folder='OOXX', pages=20):
    os.mkdir(folder)
    os.chdir(folder)
    url = 'https://car.autohome.com.cn/pic/series/6388-10.html'
    page_num = int(get_page(url))
    print(page_num)
    for i in range(pages):
        page_num -= i
        page_url = 'https://car.autohome.com.cn/pic/series/6388-10-p' + str(page_num) + '.html'
        print(i)
        img_addrs = find_imgs(page_url)
        save_imgs(folder, img_addrs)

if __name__ == '__main__':
    download_mm()

请注意，由于网络环境和目标网站的可能变化，代码仍然存在其他潜在问题。如果问题仍然存在，请提供详细的错误信息以便更好地帮助你。
如果问题已经解决，请设置最佳答案

加速星球

isdkz 发表于 2023-9-30 10:48
这段代码的问题在于 find_imgs 函数中，当找到第一张图片地址后就直接返回了，而没有继续查找其它图片地址 ...

嗯嗯  上面的循环改了。然后下面的编码没错，是gb2312的，不过还是不行，现在显示raise ValueError("unknown url type: %r" % self.full_url)
ValueError: unknown url type: '//car3.autoimg.cn/cardfs/product/g27/M01/C3/73/480x360_0_q95_c42_autohomecar__ChxkmWQ9HPyACTP8AGi4nC_D0PA803.jpg'

加速星球

Mike_python小 发表于 2023-9-30 10:49
根据您提供的代码，有几个可能的问题导致下载图片失败：

1. 编码问题：在url_open和find_imgs函数中，您使 ...

编码没错，是gb2312的，现在显示raise ValueError("unknown url type: %r" % self.full_url)
ValueError: unknown url type: '//car3.autoimg.cn/cardfs/product/g27/M01/C3/73/480x360_0_q95_c42_autohomecar__ChxkmWQ9HPyACTP8AGi4nC_D0PA803.jpg'

Mike_python小

加速星球 发表于 2023-9-30 08:49
编码没错，是gb2312的，现在显示raise ValueError("unknown url type: %r" % self.full_url)
ValueError ...

根据你提供的代码和错误信息来看，可能是在调用`url_open(url)`函数时出现了问题。根据错误信息中的URL "//car3.autoimg.cn/cardfs/product/g27/M01/C3/73/480x360_0_q95_c42_autohomecar__ChxkmWQ9HPyACTP8AGi4nC_D0PA803.jpg" 可以看出，URL中的协议部分缺失。为了解决这个问题，你可以尝试在调用`url_open`函数之前，加上适当的URL协议（如"http://"或"https://"）。

修改后的代码如下所示：

import re
import urllib.request

def find_imgs(url):
    html = urllib.request.urlopen(url).read().decode('utf-8', 'ignore')
    img_addrs = []
    pattern = r'<img\s+src="(https?://[^"]+\.jpg)"'
    img_addrs = re.findall(pattern, html)
    return img_addrs

url = 'http://example.com'  # 替换成你需要获取图片地址的网页URL
img_urls = find_imgs(url)
print(img_urls)

请注意，这里我假设你使用的是Python 3，并进行了必要的修改：

1. `urllib.openurl()` 已修改为 `urllib.request.urlopen()`
2. `urllib.openurl().read()` 已修改为 `urllib.request.urlopen().read()`

同时，请确保你的网络连接正常，并检查所提供的URL是否正确。如果问题仍然存在，请提供更详细的错误信息或上下文，以便我能够更好地帮助你解决问题。

Mike_python小

如果回答对你有帮助，可以给一个最佳答案吗这对我非常重要！

加速星球

Mike_python小 发表于 2023-9-30 12:03
如果回答对你有帮助，可以给一个最佳答案吗这对我非常重要！

试了还是不行，还是没搞好，不知道错哪里了

阿奇_o

加速星球 发表于 2023-9-30 21:16
试了还是不行，还是没搞好，不知道错哪里了

一步步来，才比较好确定哪里出错了。。
先搞定一页（第一页共60张图），建议用正则表达式来查找img（或bs4等解析后用css选择器等也行），这样更方便，比如：

html = resp.decode(encoding='gb2312', errors='ignore')

import re

pattern = '<img src="(.*?)" alt="2023款 .*?" title="(2023款 .*?)">'
imgs = re.findall(pattern, html)

print(len(imgs))
print(imgs)

其次，考虑到图片较多，最后应该改为用 异步下载 的方式(aiohttp+asyncio)，这个你可以自己研究一下，会让有一定难度。

最后，再解决 翻页 等问题。。


ps: 对了，正则获取到的图片的url，需要自己加上 协议名！！比如：

img_urls = ['https:' + i[0] for i in imgs]  

加速星球

阿奇_o 发表于 2023-10-1 02:37
一步步来，才比较好确定哪里出错了。。
先搞定一页（第一页共60张图），建议用正则表达式来查找img（ ...

成功了，我加了协议名就搞定了！！谢谢大佬！！本来我以为浏览器不加协议名也能打开的照片地址，没想到在urlopen里面打不开，所以要加协议名