网站下载图片的问题,Python交流,技术交流,鱼C论坛

加速星球 发表于 2023-9-30 10:48:44

网站下载图片的问题

这个是哪里出错了大佬们
代码：
import urllib.request
import os

def url_open(url):
req = urllib.request.Request(url)#打开连接然后下面设置User-Agent模拟电脑访问
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36')
response = urllib.request.urlopen(url)#打开网址
#print(url)
html = response.read()
return html

def get_page(url):
html = url_open(url).decode('gb2312','ignore')#编码
a = html.find('<a class="current" href="javascript:void(0)">')+45
#print(a)
b =html.find('<',a)
#print(b)
print(html)
return html

def find_imgs(url):
html = url_open(url).decode('gb2312','ignore')
img_addrs = []

a = html.find('img src=')
print(a)

while a != -1:
   b = html.find('.jpg',a,a+255)
   print(b)
   if b != -1:
         img_addrs.append(html)
   else:
         b = a+9

   a = html.find('img src=',b)

   for each in img_addrs:
         #print(each)#打印找到的图片地址
         return img_addrs

def save_imgs(folder,img_addrs):
for each in img_addrs:
   filename = each.split('/')[-1]
   with open(filename,'wb') as f:
         img = url_open(each)
         f.write(img)


def download_mm(folder='OOXX',pages=20):
os.mkdir(folder)
os.chdir(folder)

url = 'https://car.autohome.com.cn/pic/series/6388-10.html'
page_num = int(get_page(url))
print(page_num)

for i in range(pages):
   page_num -= i#每个图片地址的页码
   page_url = 'https://car.autohome.com.cn/pic/series/6388-10-p' + str(page_num) + '.html'#重新拼成一个地址页码-1
   print(i)
   img_addrs = find_imgs(page_url)#把图片的地址保存成列表然后返回
   save_imgs(folder,img_addrs)#把列表中的页面保存起来



if __name__ == '__main__':
download_mm()



#https://car.autohome.com.cn/pic/series/6388-10-p2.html

isdkz 发表于 2023-9-30 10:48:55

这段代码的问题在于 find_imgs 函数中，当找到第一张图片地址后就直接返回了，而没有继续查找其它图片地址。应该将 return 语句放到 for 循环外面，如下所示：

def find_imgs(url):
html = url_open(url).decode('gb2312','ignore')
img_addrs = []

a = html.find('img src=')
while a != -1:
   b = html.find('.jpg',a,a+255)
   if b != -1:
         img_addrs.append(html)
   else:
         b = a+9

   a = html.find('img src=',b)

return img_addrs

另外，这段代码中使用了 decode 函数将网页内容从 gb2312 编码转换为 unicode 编码。但是，现代网页通常使用的是 utf-8 编码，所以应该将 decode 函数中的 gb2312 改为 utf-8 ，如下所示：

html = url_open(url).decode('utf-8','ignore')

Mike_python小 发表于 2023-9-30 10:49:17

根据您提供的代码，有几个可能的问题导致下载图片失败：

1. 编码问题：在url_open和find_imgs函数中，您使用了decode('gb2312','ignore')来解码网页内容。但是，并不是所有的网页都使用gb2312编码，可能会导致解码错误。为了避免这个问题，可以尝试使用更通用的UTF-8编码进行解码。

修改代码如下：

html = url_open(url).decode('utf-8', 'ignore')

2. 图片地址分析问题：在find_imgs函数中，您使用了简单的字符串查找方法来获取图片地址，这种方法可能会导致找到错误的地址或者无法正确识别图片链接。推荐使用正则表达式来提取图片地址。

修改代码如下：

import re

def find_imgs(url):
html = url_open(url).decode('utf-8', 'ignore')
img_addrs = []
pattern = r'<img\s+src="(https?://[^"]+\.jpg)"'
img_addrs = re.findall(pattern, html)
return img_addrs

请注意，这只是一种简单的示例正则表达式，实际上网页中的图片标签可能会有很多变化，请根据具体情况调整正则表达式的模式。

通过以上两个修改，您可以尝试重新运行代码并下载图片。如果问题仍然存在，请提供具体的错误信息或者截图，以便进一步帮助您解决问题。

球一个最佳答案谢谢啦！这对我非常重要！{:10_254:}{:10_254:}{:10_254:}

陶远航 发表于 2023-9-30 10:49:59

根据你提供的代码，有几个问题可能会导致下载图片出错：

1. find_imgs() 函数中的字符串查找逻辑有错误。你使用了 'img src=' 作为查找条件，但实际上在 HTML 中图片的地址可能会有其他形式，例如 'img data-src='。你需要修改字符串查找的条件来适应不同的图片地址格式。

2. 在 save_imgs() 函数中，将图片写入文件时使用了错误的打开模式。应该使用二进制写入模式（'wb'）而不是默认的文本写入模式。

3. 在主函数 download_mm() 中，你使用了未定义的变量 page_num。这会导致下载的图片地址不正确。你可以将 page_num 初始化为 page_num = int(get_page(url)) 以获得正确的页码。

综上所述，以下是修改后的代码，请尝试运行：

import urllib.request
import os

def url_open(url):
req = urllib.request.Request(url)
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36')
response = urllib.request.urlopen(url)
html = response.read()
return html

def get_page(url):
html = url_open(url).decode('gb2312', 'ignore')
a = html.find('<a class="current" href="javascript:void(0)">') + 45
b = html.find('<', a)
print(html)
return html

def find_imgs(url):
html = url_open(url).decode('gb2312', 'ignore')
img_addrs = []
a = html.find('img src=')
while a != -1:
   b = html.find('.jpg', a, a + 255)
   if b != -1:
         img_addrs.append(html)
   else:
         b = a + 9
   a = html.find('img src=', b)
return img_addrs

def save_imgs(folder, img_addrs):
for each in img_addrs:
   filename = each.split('/')[-1]
   with open(filename, 'wb') as f:
         img = url_open(each)
         f.write(img)

def download_mm(folder='OOXX', pages=20):
os.mkdir(folder)
os.chdir(folder)
url = 'https://car.autohome.com.cn/pic/series/6388-10.html'
page_num = int(get_page(url))
print(page_num)
for i in range(pages):
   page_num -= i
   page_url = 'https://car.autohome.com.cn/pic/series/6388-10-p' + str(page_num) + '.html'
   print(i)
   img_addrs = find_imgs(page_url)
   save_imgs(folder, img_addrs)

if __name__ == '__main__':
download_mm()

请注意，由于网络环境和目标网站的可能变化，代码仍然存在其他潜在问题。如果问题仍然存在，请提供详细的错误信息以便更好地帮助你。
如果问题已经解决，请设置最佳答案

加速星球 发表于 2023-9-30 11:48:29

isdkz 发表于 2023-9-30 10:48
这段代码的问题在于 find_imgs 函数中，当找到第一张图片地址后就直接返回了，而没有继续查找其它图片地址 ...

嗯嗯上面的循环改了。然后下面的编码没错，是gb2312的，不过还是不行，现在显示raise ValueError("unknown url type: %r" % self.full_url)
ValueError: unknown url type: '//car3.autoimg.cn/cardfs/product/g27/M01/C3/73/480x360_0_q95_c42_autohomecar__ChxkmWQ9HPyACTP8AGi4nC_D0PA803.jpg'

加速星球 发表于 2023-9-30 11:49:17

Mike_python小发表于 2023-9-30 10:49
根据您提供的代码，有几个可能的问题导致下载图片失败：

1. 编码问题：在url_open和find_imgs函数中，您使 ...

编码没错，是gb2312的，现在显示raise ValueError("unknown url type: %r" % self.full_url)
ValueError: unknown url type: '//car3.autoimg.cn/cardfs/product/g27/M01/C3/73/480x360_0_q95_c42_autohomecar__ChxkmWQ9HPyACTP8AGi4nC_D0PA803.jpg'

Mike_python小 发表于 2023-9-30 11:51:02

加速星球发表于 2023-9-30 08:49
编码没错，是gb2312的，现在显示raise ValueError("unknown url type: %r" % self.full_url)
ValueError ...

根据你提供的代码和错误信息来看，可能是在调用`url_open(url)`函数时出现了问题。根据错误信息中的URL "//car3.autoimg.cn/cardfs/product/g27/M01/C3/73/480x360_0_q95_c42_autohomecar__ChxkmWQ9HPyACTP8AGi4nC_D0PA803.jpg" 可以看出，URL中的协议部分缺失。为了解决这个问题，你可以尝试在调用`url_open`函数之前，加上适当的URL协议（如"http://"或"https://"）。

修改后的代码如下所示：

import re
import urllib.request

def find_imgs(url):
html = urllib.request.urlopen(url).read().decode('utf-8', 'ignore')
img_addrs = []
pattern = r'<img\s+src="(https?://[^"]+\.jpg)"'
img_addrs = re.findall(pattern, html)
return img_addrs

url = 'http://example.com'# 替换成你需要获取图片地址的网页URL
img_urls = find_imgs(url)
print(img_urls)

请注意，这里我假设你使用的是Python 3，并进行了必要的修改：

1. `urllib.openurl()` 已修改为 `urllib.request.urlopen()`
2. `urllib.openurl().read()` 已修改为 `urllib.request.urlopen().read()`

同时，请确保你的网络连接正常，并检查所提供的URL是否正确。如果问题仍然存在，请提供更详细的错误信息或上下文，以便我能够更好地帮助你解决问题。

Mike_python小 发表于 2023-9-30 12:03:21

如果回答对你有帮助，可以给一个最佳答案吗{:10_254:}{:10_254:}这对我非常重要！

加速星球 发表于 2023-9-30 21:16:35

Mike_python小发表于 2023-9-30 12:03
如果回答对你有帮助，可以给一个最佳答案吗这对我非常重要！

{:5_99:}试了还是不行，还是没搞好，不知道错哪里了

阿奇_o 发表于 2023-10-1 02:37:24

本帖最后由阿奇_o 于 2023-10-1 02:46 编辑

加速星球发表于 2023-9-30 21:16
试了还是不行，还是没搞好，不知道错哪里了

一步步来，才比较好确定哪里出错了。。
先搞定一页（第一页共60张图），建议用正则表达式来查找img（或bs4等解析后用css选择器等也行），这样更方便，比如：
html = resp.decode(encoding='gb2312', errors='ignore')

import re

pattern = '<img src="(.*?)" alt="2023款 .*?" title="(2023款 .*?)">'
imgs = re.findall(pattern, html)

print(len(imgs))
print(imgs)

其次，考虑到图片较多，最后应该改为用异步下载的方式(aiohttp+asyncio)，这个你可以自己研究一下，会让有一定难度。

最后，再解决翻页等问题。。

ps: 对了，正则获取到的图片的url，需要自己加上协议名！！比如：img_urls = ['https:' + i for i in imgs]
{:10_250:}

加速星球 发表于 2023-10-1 21:31:16

阿奇_o 发表于 2023-10-1 02:37
一步步来，才比较好确定哪里出错了。。
先搞定一页（第一页共60张图），建议用正则表达式来查找img（ ...

成功了，我加了协议名就搞定了！！谢谢大佬！！本来我以为浏览器不加协议名也能打开的照片地址，没想到在urlopen里面打不开，所以要加协议名

页: [1]

鱼C论坛's Archiver

网站下载图片的问题