[已解决]新手求助 爬取煎蛋网报错 OSError

qiangqiang1

1. import re
   
2. import urllib.request
   
3. import os
   
4. 
   
5. 
   
6. def open_url(url):  #设置访问对象
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0')
   
9.     response = urllib.request.urlopen(req)
   
10.     html = response.read().decode('utf-8')
    
11.     return html
    
12. 
    
13. 
    
14. def get_img(html):   #获取图片
    
15.     p = r'<img src="([^"]+\.jpg")'
    
16.     imglist = re.findall(p,html)
    
17.     '''
    
18.     for each in imglist:
    
19.         print(each)
    
20.            '''
    
21.     for each in imglist:
    
22.         filename =each.split('/')[-1]
    
23.         print(filename)
    
24. #报错应该在这里
    
25.         pic = 'https:'+ each
    
26.         with open(filename, 'wb') as f:
    
27.             img = open_url(pic)
    
28.             f.write(img)
    
29. 
    
30.         
    
31. if __name__ == '__main__':
    
32.     url ='http://jandan.net/ooxx/MjAyMDAxMDMtNjk=#comments'
    
33.     get_img(open_url(url))
    

复制代码

报错如下：

1. Traceback (most recent call last):
   
2.   File "C:\Users\Administrator\Desktop\hello.py", line 32, in <module>
   
3.     get_img(open_url(url))
   
4.   File "C:\Users\Administrator\Desktop\hello.py", line 25, in get_img
   
5.     with open(filename, 'wb') as f:
   
6. OSError: [Errno 22] Invalid argument: '6e2a5d4dly1g10d7j3l6oj20j30rvq5q.jpg"'

复制代码

如果不用图片的原名称，怎么定义图片的名称，比如从1开始取值

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-5-17 17:01:08

qiangqiang1 发表于 2020-5-17 16:57
下载下来的图片无法打开，是不是编码格式的问题

嗯，编码问题 在重新定义一个不用 decode()即可

1. import re
   
2. import urllib.request
   
3. import os
   
4. 
   
5. 
   
6. def open_url(url):  # 设置访问对象
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent',
   
9.                    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0')
   
10.     response = urllib.request.urlopen(req)
    
11.     html = response.read().decode('utf-8', "replace")
    
12.     return html
    
13. 
    
14. def open_url2(url):
    
15.     req = urllib.request.Request(url)
    
16.     req.add_header('User-Agent',
    
17.                    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0')
    
18.     response = urllib.request.urlopen(req)
    
19.     html = response.read()
    
20.     return html
    
21. 
    
22. 
    
23. def get_img(html):  # 获取图片
    
24.     p = r'<img src="([^"]+\.jpg)'
    
25.     imglist = re.findall(p, html)
    
26.     '''
    
27.     for each in imglist:
    
28.         print(each)
    
29.            '''
    
30.     count = 0
    
31.     for each in imglist:
    
32.         count += 1
    
33.         filename = '%d.jpg'
    
34.         pic = 'http:' + each
    
35.         with open(filename % count, 'wb') as f:
    
36.             img = open_url2(pic)
    
37.             f.write(img)
    
38. 
    
39. 
    
40. if __name__ == '__main__':
    
41.     url = 'http://jandan.net/ooxx/MjAyMDAxMDMtNjk=#comments'
    
42.     get_img(open_url(url))
    
43. 
    

复制代码

跳转到最佳答案楼层

Twilight6

你看看把代码改这样行不行的？

1. count = 0
   
2.     for each in imglist:
   
3.         count += 1
   
4.         filename = '%d.jpg' # 名字也是太多奇葩字符了 ，建议参照三楼所说，或者你爬个里面的专辑名？
   
5.         # 这边要改成http  原因看下面截图
   
6.         pic = 'http:' + each
   
7.         with open(filename%count, 'wb') as f:
   
8.             img = open_url(pic)
   
9.             f.write(img)

复制代码

qiuyouzhi

你只要可以下载图片，你为啥非要让打开方式为filename呢？
可以自定义一个i，然后每次写入完i就+1

qiangqiang1

Twilight6 发表于 2020-5-17 14:23
你看看把代码改这样行不行的？

这样写我遇到一个新的错误如下：

1. Traceback (most recent call last):
   
2.   File "C:\Users\Administrator\Desktop\hello.py", line 34, in <module>
   
3.     get_img(open_url(url))
   
4.   File "C:\Users\Administrator\Desktop\hello.py", line 30, in get_img
   
5.     f.write(img)
   
6. TypeError: a bytes-like object is required, not 'str'

复制代码

代码：

1. import re
   
2. import urllib.request
   
3. import os
   
4. 
   
5. 
   
6. def open_url(url):  #设置访问对象
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0')
   
9.     response = urllib.request.urlopen(req)
   
10.     html = response.read().decode('utf-8',"replace")
    
11.     return html
    
12.    
    
13. 
    
14. def get_img(html):   #获取图片
    
15.     p = r'<img src="([^"]+\.jpg)'
    
16.     imglist = re.findall(p,html)
    
17.     '''
    
18.     for each in imglist:
    
19.         print(each)
    
20.            '''
    
21.     count = 0
    
22.     for each in imglist:
    
23.         count += 1
    
24.         filename = '%d.jpg'
    
25.         pic = 'http:' + each
    
26.         with open(filename%count, 'wb') as f:
    
27.             img = open_url(pic)
    
28.             f.write(img)
    
29.             
    
30. if __name__ == '__main__':
    
31.     url ='http://jandan.net/ooxx/MjAyMDAxMDMtNjk=#comments'
    
32.     get_img(open_url(url))
    
33. 
    

复制代码

Twilight6

qiangqiang1 发表于 2020-5-17 15:52
这样写我遇到一个新的错误如下：
代码：

1.     for each in imglist:
   
2.         count += 1
   
3.         filename = '%d.jpg'
   
4.         pic = 'http:' + each
   
5.         with open(filename % count, 'wb') as f:
   
6.             img = open_url(pic)
   
7.             f.write(img.encode())# 这边把 格式转回来就好

复制代码

qiangqiang1

Twilight6 发表于 2020-5-17 15:58

下载下来的图片无法打开，是不是编码格式的问题

Twilight6

qiangqiang1 发表于 2020-5-17 16:57
下载下来的图片无法打开，是不是编码格式的问题

嗯，编码问题 在重新定义一个不用 decode()即可

1. import re
   
2. import urllib.request
   
3. import os
   
4. 
   
5. 
   
6. def open_url(url):  # 设置访问对象
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent',
   
9.                    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0')
   
10.     response = urllib.request.urlopen(req)
    
11.     html = response.read().decode('utf-8', "replace")
    
12.     return html
    
13. 
    
14. def open_url2(url):
    
15.     req = urllib.request.Request(url)
    
16.     req.add_header('User-Agent',
    
17.                    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0')
    
18.     response = urllib.request.urlopen(req)
    
19.     html = response.read()
    
20.     return html
    
21. 
    
22. 
    
23. def get_img(html):  # 获取图片
    
24.     p = r'<img src="([^"]+\.jpg)'
    
25.     imglist = re.findall(p, html)
    
26.     '''
    
27.     for each in imglist:
    
28.         print(each)
    
29.            '''
    
30.     count = 0
    
31.     for each in imglist:
    
32.         count += 1
    
33.         filename = '%d.jpg'
    
34.         pic = 'http:' + each
    
35.         with open(filename % count, 'wb') as f:
    
36.             img = open_url2(pic)
    
37.             f.write(img)
    
38. 
    
39. 
    
40. if __name__ == '__main__':
    
41.     url = 'http://jandan.net/ooxx/MjAyMDAxMDMtNjk=#comments'
    
42.     get_img(open_url(url))
    
43. 
    

复制代码