[已解决]爬虫下载的问题，求助！

大地郡主

这是一个爬取煎蛋网的代码，返回的图片地址都是没问题的，可是在下载的时候出了问题，求助！！！

1. 
   
2. import urllib.request
   
3. import re
   
4. import os
   
5. 
   
6. def open_url(url):
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36')
   
9.     page = urllib.request.urlopen(req)
   
10.     html = page.read().decode('utf-8')
    
11. 
    
12.     return html
    
13. 
    
14. def get_img(html):
    
15. 
    
16.     p = re.compile('<br /><img\ssrc=(.*?)\sreferrerPolicy')
    
17.     #p = re.compile('<img\ssrc="(.*?\.jpg)"')
    
18.     img_list = re.findall(p,html)
    
19.     save_img(img_list)
    
20. 
    
21. def save_img(img_list):
    
22.     for each in img_list:
    
23.         #print(each)
    
24.         filename = each.split("/")[-1]
    
25.         with open(filename, 'wb') as f:
    
26.             img = open_url(each)
    
27.             f.write(img)
    
28. 
    
29. 
    
30. if __name__ == '__main__':
    
31.     url = 'http://jandan.net/ooxx'
    
32.     os.mkdir('ooxx')
    
33.     os.chdir('ooxx')
    
34.     get_img(open_url(url))

复制代码

这个是报错
Traceback (most recent call last):
  File "C:\Users\巴鲁斯\Desktop\新建文件夹\mmtu.py", line 34, in <module>
    get_img(open_url(url))
  File "C:\Users\巴鲁斯\Desktop\新建文件夹\mmtu.py", line 19, in get_img
    save_img(img_list)
  File "C:\Users\巴鲁斯\Desktop\新建文件夹\mmtu.py", line 25, in save_img
    with open(filename, 'wb') as f:
OSError: [Errno 22] Invalid argument: '0076BSS5ly1gh25iz10zcj30u0190gra.jpg"'
>>>

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-7-24 18:14:17

大地郡主 发表于 2020-7-24 17:58
好的，我再改下

帮你改完了：

1. import urllib.request
   
2. import re
   
3. import os
   
4. 
   
5. 
   
6. def open_url(url):
   
7.     headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
   
8.     req = urllib.request.Request(url,headers=headers)
   
9.     try:
   
10.         page = urllib.request.urlopen(req)
    
11.         html = page.read()
    
12.     except:
    
13.         html = ''
    
14. 
    
15.     return html
    
16. 
    
17. 
    
18. def get_img(html):
    
19.     p = re.compile("<br /><img\ssrc=(.*?)\sreferrerPolicy")
    
20.     # p = re.compile('<img\ssrc="(.*?\.jpg)"')
    
21.     img_list = re.findall(p, html.decode('utf-8'))
    
22.     save_img(img_list)
    
23. 
    
24. 
    
25. def save_img(img_list):
    
26.     count = 0
    
27.     for each in img_list:
    
28. 
    
29.         count += 1
    
30.         filename = str(count) + ".jpg"
    
31.         with open(filename, 'wb') as f:
    
32.             img = open_url("http:" +each[1:-1])
    
33.             if img == '':
    
34.                 continue
    
35.             f.write(img)
    
36. 
    
37. 
    
38. if __name__ == '__main__':
    
39.     url = r"http://jandan.net/ooxx"
    
40.     os.mkdir('ooxx')
    
41.     os.chdir('ooxx')
    
42.     get_img(open_url(url))

复制代码

跳转到最佳答案楼层

Hello.

\ 改成 / 试试

大地郡主

Hello. 发表于 2020-7-24 17:03
\ 改成 / 试试

不行啊

1q23w31

1. 
   
2. import urllib.request
   
3. import re
   
4. import os
   
5. 
   
6. def open_url(url):
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36')
   
9.     page = urllib.request.urlopen(req)
   
10.     html = page.read().decode('utf-8')
    
11. 
    
12.     return html
    
13. 
    
14. def get_img(html):
    
15. 
    
16.     p = re.compile('<br /><img\ssrc=(.*?)\sreferrerPolicy')
    
17.     #p = re.compile('<img\ssrc="(.*?\.jpg)"')
    
18.     img_list = re.findall(p,html)
    
19.     save_img(img_list)
    
20. 
    
21. def save_img(img_list):
    
22.     for each in img_list:
    
23.         #print(each)
    
24.         filename = each.split("/")[-1]
    
25.         with open([color=Red]filename[/color], 'wb') as f:
    
26.             img = open_url(each)
    
27.             f.write(img)
    
28. 
    
29. 
    
30. if __name__ == '__main__':
    
31.     url = 'http://jandan.net/ooxx'
    
32.     os.mkdir('ooxx')
    
33.     os.chdir('ooxx')
    
34.     get_img(open_url(url))

复制代码

1q23w31

大地郡主 发表于 2020-7-24 17:12
不行啊

1. 
   
2. import urllib.request
   
3. import re
   
4. import os
   
5. 
   
6. def open_url(url):
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36')
   
9.     page = urllib.request.urlopen(req)
   
10.     html = page.read().decode('utf-8')
    
11. 
    
12.     return html
    
13. 
    
14. def get_img(html):
    
15. 
    
16.     p = re.compile('<br /><img\ssrc=(.*?)\sreferrerPolicy')
    
17.     #p = re.compile('<img\ssrc="(.*?\.jpg)"')
    
18.     img_list = re.findall(p,html)
    
19.     save_img(img_list)
    
20. 
    
21. def save_img(img_list):
    
22.     for each in img_list:
    
23.         #print(each)
    
24.         filename = each.split("/")[-1]
    
25.         with open(filename, 'wb') as f:
    
26.             img = open_url(each)
    
27.             f.write(img)
    
28. 
    
29. 
    
30. if __name__ == '__main__':
    
31.     url = 'http://jandan.net/ooxx'
    
32.     os.mkdir('ooxx')
    
33.     os.chdir('ooxx')
    
34.     get_img(open_url(url))

复制代码

里面的with open(filename, 'wb') as f:里的filename换成绝对路径，不要只是文件名

1q23w31

大地郡主 发表于 2020-7-24 17:12
不行啊

with open(filename, 'wb') as f:里的filename换成绝对路径，不要只写个文件名

Twilight6

你的文件名尽量不要用一堆乱数字来命名吧，容易出错，for 循环外面 放个 count ，里面放 count + 1 ，然后文件名用 filename = str(count)+".jpg"

还有你爬虫爬取的 url 是不带 http:// 的，你应该将 img = open_url(each) 改成 img = open_url('http://'+each)

1q23w31

大地郡主 发表于 2020-7-24 17:12
不行啊

代码有好几处出错
首先获取到的filename带有引号
其次， img = open_url(each)这句里面的each不是一个完整链接

大地郡主

Twilight6 发表于 2020-7-24 17:44
你的文件名尽量不要用一堆乱数字来命名吧，容易出错，for 循环外面 放个 count ，里面放 count + 1 ， ...

不行啊，改了之后存进了一张无法打开的图片，但是报错更多了

import urllib.request
import re
import os

def open_url(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36')
    page = urllib.request.urlopen(req)
    html = page.read().decode('utf-8')

    return html

def get_img(html):

    p = re.compile('<br /><img\ssrc=(.*?)\sreferrerPolicy')
    #p = re.compile('<img\ssrc="(.*?\.jpg)"')
    img_list = re.findall(p,html)
    save_img(img_list)

def save_img(img_list):
    count = 0
    for each in img_list:
        #print(each)
        count += 1
        filename = str(count)+".jpg"
        with open(filename, 'wb') as f:
            img = open_url('http://'+each)
            f.write(img)
            

if __name__ == '__main__':
    url = 'http://jandan.net/ooxx'
    os.mkdir('ooxx')
    os.chdir('ooxx')
    get_img(open_url(url))

大地郡主

1q23w31 发表于 2020-7-24 17:56
代码有好几处出错
首先获取到的filename带有引号
其次， img = open_url(each)这句里面的each不是一个 ...

好的，我再改下

Twilight6

大地郡主 发表于 2020-7-24 17:58
好的，我再改下

帮你改完了：

1. import urllib.request
   
2. import re
   
3. import os
   
4. 
   
5. 
   
6. def open_url(url):
   
7.     headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
   
8.     req = urllib.request.Request(url,headers=headers)
   
9.     try:
   
10.         page = urllib.request.urlopen(req)
    
11.         html = page.read()
    
12.     except:
    
13.         html = ''
    
14. 
    
15.     return html
    
16. 
    
17. 
    
18. def get_img(html):
    
19.     p = re.compile("<br /><img\ssrc=(.*?)\sreferrerPolicy")
    
20.     # p = re.compile('<img\ssrc="(.*?\.jpg)"')
    
21.     img_list = re.findall(p, html.decode('utf-8'))
    
22.     save_img(img_list)
    
23. 
    
24. 
    
25. def save_img(img_list):
    
26.     count = 0
    
27.     for each in img_list:
    
28. 
    
29.         count += 1
    
30.         filename = str(count) + ".jpg"
    
31.         with open(filename, 'wb') as f:
    
32.             img = open_url("http:" +each[1:-1])
    
33.             if img == '':
    
34.                 continue
    
35.             f.write(img)
    
36. 
    
37. 
    
38. if __name__ == '__main__':
    
39.     url = r"http://jandan.net/ooxx"
    
40.     os.mkdir('ooxx')
    
41.     os.chdir('ooxx')
    
42.     get_img(open_url(url))

复制代码

大地郡主

Twilight6 发表于 2020-7-24 18:14
帮你改完了：

学到了很多，谢谢您！