[已解决]网站下载图片的问题

加速星球

这个是哪里出错了大佬们
代码：

1. import urllib.request
   
2. import os
   
3. 
   
4. 
   
5. def url_open(url):
   
6.     req = urllib.request.Request(url)#打开连接 然后下面设置User-Agent模拟电脑访问
   
7.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36')
   
8.     response = urllib.request.urlopen(url)#打开网址
   
9.     #print(url)
   
10.     html = response.read()
    
11.     return html
    
12.    
    
13. def get_page(url):
    
14.     html = url_open(url).decode('gb2312','ignore')#编码
    
15.     a = html.find('<a class="current" href="javascript:void(0)">')+45
    
16.     #print(a)
    
17.     b =  html.find('<',a)
    
18.     #print(b)
    
19.     print(html[a:b])
    
20.     return html[a:b]
    
21. 
    
22. def find_imgs(url):
    
23.     html = url_open(url).decode('gb2312','ignore')
    
24.     img_addrs = []
    
25. 
    
26.     a = html.find('img src=')
    
27.     print(a)
    
28.    
    
29.     while a != -1:
    
30.         b = html.find('.jpg',a,a+255)
    
31.         print(b)
    
32.         if b != -1:
    
33.             img_addrs.append(html[a+9:b+4])
    
34.         else:
    
35.             b = a+9
    
36. 
    
37.         a = html.find('img src=',b)
    
38. 
    
39.         for each in img_addrs:
    
40.             #print(each)  #打印找到的图片地址
    
41.             return img_addrs
    
42. 
    
43. 
    
44.    
    
45. 
    
46. def save_imgs(folder,img_addrs):
    
47.     for each in img_addrs:
    
48.         filename = each.split('/')[-1]
    
49.         with open(filename,'wb') as f:
    
50.             img = url_open(each)
    
51.             f.write(img)
    
52.             
    
53. 
    
54. 
    
55. 
    
56. 
    
57. def download_mm(folder='OOXX',pages=20):
    
58.     os.mkdir(folder)
    
59.     os.chdir(folder)
    
60. 
    
61.     url = 'https://car.autohome.com.cn/pic/series/6388-10.html'
    
62.     page_num = int(get_page(url))
    
63.     print(page_num)
    
64. 
    
65.     for i in range(pages):
    
66.         page_num -= i  #每个图片地址的页码
    
67.         page_url = 'https://car.autohome.com.cn/pic/series/6388-10-p' + str(page_num) + '.html'#重新拼成一个地址  页码-1
    
68.         print(i)
    
69.         img_addrs = find_imgs(page_url)#把图片的地址保存成列表然后返回
    
70.         save_imgs(folder,img_addrs)#把列表中的页面保存起来
    
71.         
    
72.         
    
73. 
    
74. if __name__ == '__main__':
    
75.     download_mm()
    
76. 
    
77.         
    
78.    
    
79. 
    
80. 
    
81. 
    
82. 
    
83. #https://car.autohome.com.cn/pic/series/6388-10-p2.html
    
84. 
    
85. 
    
86. 
    
87. 
    
88. 
    
89. 
    

复制代码

最佳答案

月排行榜 / 总排行榜

阿奇_o

2023-10-1 02:37:24

加速星球 发表于 2023-9-30 21:16
试了还是不行，还是没搞好，不知道错哪里了

一步步来，才比较好确定哪里出错了。。
先搞定一页（第一页共60张图），建议用正则表达式来查找img（或bs4等解析后用css选择器等也行），这样更方便，比如：

1. html = resp.decode(encoding='gb2312', errors='ignore')
   
2. 
   
3. import re
   
4. 
   
5. pattern = '<img src="(.*?)" alt="2023款 .*?" title="(2023款 .*?)">'
   
6. imgs = re.findall(pattern, html)
   
7. 
   
8. print(len(imgs))
   
9. print(imgs)
   
10. 
    

复制代码

其次，考虑到图片较多，最后应该改为用 异步下载 的方式(aiohttp+asyncio)，这个你可以自己研究一下，会让有一定难度。

最后，再解决 翻页 等问题。。


ps: 对了，正则获取到的图片的url，需要自己加上 协议名！！比如：

1. img_urls = ['https:' + i[0] for i in imgs]  

复制代码

跳转到最佳答案楼层

isdkz

这段代码的问题在于 find_imgs 函数中，当找到第一张图片地址后就直接返回了，而没有继续查找其它图片地址。应该将 return 语句放到 for 循环外面，如下所示：

1. def find_imgs(url):
   
2.     html = url_open(url).decode('gb2312','ignore')
   
3.     img_addrs = []
   
4. 
   
5.     a = html.find('img src=')
   
6.     while a != -1:
   
7.         b = html.find('.jpg',a,a+255)
   
8.         if b != -1:
   
9.             img_addrs.append(html[a+9:b+4])
   
10.         else:
    
11.             b = a+9
    
12. 
    
13.         a = html.find('img src=',b)
    
14. 
    
15.     return img_addrs
    

复制代码

另外，这段代码中使用了 decode 函数将网页内容从 gb2312 编码转换为 unicode 编码。但是，现代网页通常使用的是 utf-8 编码，所以应该将 decode 函数中的 gb2312 改为 utf-8 ，如下所示：

1. html = url_open(url).decode('utf-8','ignore')
   

复制代码

Mike_python小

根据您提供的代码，有几个可能的问题导致下载图片失败：

1. 编码问题：在url_open和find_imgs函数中，您使用了decode('gb2312','ignore')来解码网页内容。但是，并不是所有的网页都使用gb2312编码，可能会导致解码错误。为了避免这个问题，可以尝试使用更通用的UTF-8编码进行解码。

修改代码如下：

2. html = url_open(url).decode('utf-8', 'ignore')

复制代码

2. 图片地址分析问题：在find_imgs函数中，您使用了简单的字符串查找方法来获取图片地址，这种方法可能会导致找到错误的地址或者无法正确识别图片链接。推荐使用正则表达式来提取图片地址。

修改代码如下：

2. import re
4. def find_imgs(url):
5.     html = url_open(url).decode('utf-8', 'ignore')
6.     img_addrs = []
7.     pattern = r'<img\s+src="(https?://[^"]+\.jpg)"'
8.     img_addrs = re.findall(pattern, html)
9.     return img_addrs

复制代码

请注意，这只是一种简单的示例正则表达式，实际上网页中的图片标签可能会有很多变化，请根据具体情况调整正则表达式的模式。

通过以上两个修改，您可以尝试重新运行代码并下载图片。如果问题仍然存在，请提供具体的错误信息或者截图，以便进一步帮助您解决问题。

球一个最佳答案谢谢啦！这对我非常重要！

陶远航

根据你提供的代码，有几个问题可能会导致下载图片出错：

1. find_imgs() 函数中的字符串查找逻辑有错误。你使用了 'img src=' 作为查找条件，但实际上在 HTML 中图片的地址可能会有其他形式，例如 'img data-src='。你需要修改字符串查找的条件来适应不同的图片地址格式。

2. 在 save_imgs() 函数中，将图片写入文件时使用了错误的打开模式。应该使用二进制写入模式（'wb'）而不是默认的文本写入模式。

3. 在主函数 download_mm() 中，你使用了未定义的变量 page_num。这会导致下载的图片地址不正确。你可以将 page_num 初始化为 page_num = int(get_page(url)) 以获得正确的页码。

综上所述，以下是修改后的代码，请尝试运行：

1. import urllib.request
   
2. import os
   
3. 
   
4. def url_open(url):
   
5.     req = urllib.request.Request(url)
   
6.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36')
   
7.     response = urllib.request.urlopen(url)
   
8.     html = response.read()
   
9.     return html
   
10. 
    
11. def get_page(url):
    
12.     html = url_open(url).decode('gb2312', 'ignore')
    
13.     a = html.find('<a class="current" href="javascript:void(0)">') + 45
    
14.     b = html.find('<', a)
    
15.     print(html[a:b])
    
16.     return html[a:b]
    
17. 
    
18. def find_imgs(url):
    
19.     html = url_open(url).decode('gb2312', 'ignore')
    
20.     img_addrs = []
    
21.     a = html.find('img src=')
    
22.     while a != -1:
    
23.         b = html.find('.jpg', a, a + 255)
    
24.         if b != -1:
    
25.             img_addrs.append(html[a + 9:b + 4])
    
26.         else:
    
27.             b = a + 9
    
28.         a = html.find('img src=', b)
    
29.     return img_addrs
    
30. 
    
31. def save_imgs(folder, img_addrs):
    
32.     for each in img_addrs:
    
33.         filename = each.split('/')[-1]
    
34.         with open(filename, 'wb') as f:
    
35.             img = url_open(each)
    
36.             f.write(img)
    
37. 
    
38. def download_mm(folder='OOXX', pages=20):
    
39.     os.mkdir(folder)
    
40.     os.chdir(folder)
    
41.     url = 'https://car.autohome.com.cn/pic/series/6388-10.html'
    
42.     page_num = int(get_page(url))
    
43.     print(page_num)
    
44.     for i in range(pages):
    
45.         page_num -= i
    
46.         page_url = 'https://car.autohome.com.cn/pic/series/6388-10-p' + str(page_num) + '.html'
    
47.         print(i)
    
48.         img_addrs = find_imgs(page_url)
    
49.         save_imgs(folder, img_addrs)
    
50. 
    
51. if __name__ == '__main__':
    
52.     download_mm()
    

复制代码

请注意，由于网络环境和目标网站的可能变化，代码仍然存在其他潜在问题。如果问题仍然存在，请提供详细的错误信息以便更好地帮助你。
如果问题已经解决，请设置最佳答案

加速星球

isdkz 发表于 2023-9-30 10:48
这段代码的问题在于 find_imgs 函数中，当找到第一张图片地址后就直接返回了，而没有继续查找其它图片地址 ...

嗯嗯  上面的循环改了。然后下面的编码没错，是gb2312的，不过还是不行，现在显示raise ValueError("unknown url type: %r" % self.full_url)
ValueError: unknown url type: '//car3.autoimg.cn/cardfs/product/g27/M01/C3/73/480x360_0_q95_c42_autohomecar__ChxkmWQ9HPyACTP8AGi4nC_D0PA803.jpg'

加速星球

Mike_python小 发表于 2023-9-30 10:49
根据您提供的代码，有几个可能的问题导致下载图片失败：

1. 编码问题：在url_open和find_imgs函数中，您使 ...

编码没错，是gb2312的，现在显示raise ValueError("unknown url type: %r" % self.full_url)
ValueError: unknown url type: '//car3.autoimg.cn/cardfs/product/g27/M01/C3/73/480x360_0_q95_c42_autohomecar__ChxkmWQ9HPyACTP8AGi4nC_D0PA803.jpg'

Mike_python小

加速星球 发表于 2023-9-30 08:49
编码没错，是gb2312的，现在显示raise ValueError("unknown url type: %r" % self.full_url)
ValueError ...

根据你提供的代码和错误信息来看，可能是在调用`url_open(url)`函数时出现了问题。根据错误信息中的URL "//car3.autoimg.cn/cardfs/product/g27/M01/C3/73/480x360_0_q95_c42_autohomecar__ChxkmWQ9HPyACTP8AGi4nC_D0PA803.jpg" 可以看出，URL中的协议部分缺失。为了解决这个问题，你可以尝试在调用`url_open`函数之前，加上适当的URL协议（如"http://"或"https://"）。

修改后的代码如下所示：

1. import re
   
2. import urllib.request
   
3. 
   
4. def find_imgs(url):
   
5.     html = urllib.request.urlopen(url).read().decode('utf-8', 'ignore')
   
6.     img_addrs = []
   
7.     pattern = r'<img\s+src="(https?://[^"]+\.jpg)"'
   
8.     img_addrs = re.findall(pattern, html)
   
9.     return img_addrs
   
10. 
    
11. url = 'http://example.com'  # 替换成你需要获取图片地址的网页URL
    
12. img_urls = find_imgs(url)
    
13. print(img_urls)
    

复制代码

请注意，这里我假设你使用的是Python 3，并进行了必要的修改：

1. `urllib.openurl()` 已修改为 `urllib.request.urlopen()`
2. `urllib.openurl().read()` 已修改为 `urllib.request.urlopen().read()`

同时，请确保你的网络连接正常，并检查所提供的URL是否正确。如果问题仍然存在，请提供更详细的错误信息或上下文，以便我能够更好地帮助你解决问题。

Mike_python小

如果回答对你有帮助，可以给一个最佳答案吗这对我非常重要！

加速星球

Mike_python小 发表于 2023-9-30 12:03
如果回答对你有帮助，可以给一个最佳答案吗这对我非常重要！

试了还是不行，还是没搞好，不知道错哪里了

阿奇_o

加速星球 发表于 2023-9-30 21:16
试了还是不行，还是没搞好，不知道错哪里了

一步步来，才比较好确定哪里出错了。。
先搞定一页（第一页共60张图），建议用正则表达式来查找img（或bs4等解析后用css选择器等也行），这样更方便，比如：

1. html = resp.decode(encoding='gb2312', errors='ignore')
   
2. 
   
3. import re
   
4. 
   
5. pattern = '<img src="(.*?)" alt="2023款 .*?" title="(2023款 .*?)">'
   
6. imgs = re.findall(pattern, html)
   
7. 
   
8. print(len(imgs))
   
9. print(imgs)
   
10. 
    

复制代码

其次，考虑到图片较多，最后应该改为用 异步下载 的方式(aiohttp+asyncio)，这个你可以自己研究一下，会让有一定难度。

最后，再解决 翻页 等问题。。


ps: 对了，正则获取到的图片的url，需要自己加上 协议名！！比如：

1. img_urls = ['https:' + i[0] for i in imgs]  

复制代码

加速星球

阿奇_o 发表于 2023-10-1 02:37
一步步来，才比较好确定哪里出错了。。
先搞定一页（第一页共60张图），建议用正则表达式来查找img（ ...

成功了，我加了协议名就搞定了！！谢谢大佬！！本来我以为浏览器不加协议名也能打开的照片地址，没想到在urlopen里面打不开，所以要加协议名