[已解决]爬虫下载保存问题？

zyj1214

import requests
from lxml import etree

url = 'https://ssr1.scrape.center/'

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'}
name = requests.get(url=url,headers=headers)

n = name.text

n1 = etree.HTML(n)
t = n1.xpath('//div[@id="index"]//a/img/@src')
n = n1.xpath('//div[@id="index"]//a/h2/text()')

for i in range(len(t)):
    url=t[i]
    n1=n[i]
    print(url)
    img = requests.get(url=url,headers=headers)
    with open(n1,'wb') as f:
        f.write(img.content)
      #为什么截图中保存的不是.jpg格式的文件？不理解解？求大神指点？

最佳答案

月排行榜 / 总排行榜

FishC_GPT

2023-12-5 20:42:36

你好！在你的代码中，存在一些问题导致保存的文件不是.jpg格式的。首先，你在循环中把所有的图片链接都赋值给了同一个变量url和n1，这样就导致在保存文件时使用的文件名都是相同的。其次，在xpath中获取到的图片链接是以http://或https://开头的完整链接，而不仅仅是图片的文件名，所以你需要做一些处理。

下面是修改后的代码，可以下载并保存图片：

1. python
2. import requests
3. from lxml import etree
5. url = 'https://ssr1.scrape.center/'
7. headers = {
8.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
9. }
11. response = requests.get(url=url, headers=headers)
12. html = response.text
14. selector = etree.HTML(html)
15. image_urls = selector.xpath('//div//a/img/@src')
16. names = selector.xpath('//div//a/h2/text()')
18. for i in range(len(image_urls)):
19.     image_url = image_urls[i]
20.     name = names[i] + '.jpg'
22.     if not image_url.startswith('http'):
23.         image_url = url + image_url
25.     response = requests.get(url=image_url, headers=headers)
26.     with open(name, 'wb') as f:
27.         f.write(response.content)

复制代码

这样修改后，程序会根据每张图片的链接生成不同的文件名，并将图片保存为.jpg格式的文件。希望能帮助到你！如果还有其他问题，请随时提问。

以上回复来自 -- ChatGPT（FishC官方接口），如未能正确解答您的问题，请继续追问。

跳转到最佳答案楼层

zyj1214

FishC_GPT 发表于 2023-12-5 20:42
你好！在你的代码中，存在一些问题导致保存的文件不是.jpg格式的。首先，你在循环中把所有的图片链接都赋值 ...

import requests
from lxml import etree

url = 'https://ssr1.scrape.center/'

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'}
name = requests.get(url=url,headers=headers)

n = name.text

n1 = etree.HTML(n)
t = n1.xpath('//div[@id="index"]//a/img/@src')
n = n1.xpath('//div[@id="index"]//a/h2/text()')

for i in range(len(t)):
    url=t[i]
    n1=n[i]
    #print(url)
    img = requests.get(url=url,headers=headers)
    with open(n1+'.jpg','wb') as f:
        f.write(img.content)
       #我这样修改一下，也可以，，，多谢大神指点