[已解决]抓取妹子图的header怎么会是语法错误

刘英超

1. import urllib.request
   
2. import os
   
3. 
   
4. def url_open(url):
   
5.         req = urllib.request.Request(url)
   
6.         req.add_header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36")
   
7.         response = urllib.request.urlopen(url)
   
8.         html = response.read()
   
9. 
   
10.         return html
    
11. 
    
12. #获取网页地址
    
13. def get_page(url):
    
14.         html = url_open(url).decode("utf-8")
    
15.         a = html.find("current-comment-page") + 23
    
16.         b = html.find("]", a)
    
17. 
    
18.         return html[a:b]
    
19. 
    
20. #图片地址循环
    
21. def find_imgs(url):
    
22.         html = url_open(url).decode("utf-8")
    
23.         img_addrs = []
    
24. 
    
25.         a = html.find("img src=")
    
26. 
    
27.         while a != -1:
    
28.                 b = html.find(".jpg", a, a+255)
    
29.                 if b != -1:
    
30.                         img_addrs.append(html[a+9:b+4])
    
31.                 else:
    
32.                         b = a + 9
    
33. 
    
34.                 a = html.find("img src=", b)
    
35.         return img_addrs
    
36. 
    
37. 
    
38. 
    
39. 
    
40. def save_imgs(folder, img_addrs):
    
41.         for each in img_addrs:
    
42.                 filename = each.split("/")[-1]
    
43.                 with open(filename, "wb") as f:
    
44.                         img = url_open(each)
    
45.                         f.write(img)
    
46. 
    
47. def download_mm(folder = "OOXX", pages=10):
    
48.         os.mkdir(folder)
    
49.         os.chdir(folder)
    
50. 
    
51.         url = "http://jandan.net/ooxx/"
    
52.         page_num = int(get_page(url))
    
53. 
    
54.         for i in range(pages):
    
55.                 page_num -= i
    
56.                 page_url = url + "page" + str(page_num) + "#comments"
    
57.                 img_addrs = find_imgs(page_url)
    
58.                 save_imgs(folder, img_addrs)
    
59. 
    
60. 
    
61. if __name__ == "__main__":
    
62.         download_mm()
    

复制代码

header那里显示语法错误是什么情况

最佳答案

月排行榜 / 总排行榜

gopythoner

2017-4-20 17:48:14

看到这句了么？
ValueError: unknown url type: '//wx4.sinaimg.cn/mw600/0062c4iGgy1fet7b5v8vwj30p50zk400.jpg'
你的图片地址是无效的，当然就会报错了
这个图片前面应该加上"http:"
这个就是在你获取了图片链接之后不要直接拿去用，应该先加上"http:"之后再拿去请求
看懂报错的提示很重要啊

跳转到最佳答案楼层

刘英超

现在有变成

1. response = urllib.request.urlopen(url)

复制代码

这一行出错了

刘英超

1. Traceback (most recent call last):
   
2.   File "D:\spider\download_mm.py", line 60, in <module>
   
3.     download_mm()
   
4.   File "D:\spider\download_mm.py", line 56, in download_mm
   
5.     save_imgs(folder, img_addrs)
   
6.   File "D:\spider\download_mm.py", line 42, in save_imgs
   
7.     img = url_open(each)
   
8.   File "D:\spider\download_mm.py", line 5, in url_open
   
9.     req = urllib.request.Request(url)
   
10.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 329, in __init__
    
11.     self.full_url = url
    
12.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 355, in full_url
    
13.     self._parse()
    
14.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 384, in _parse
    
15.     raise ValueError("unknown url type: %r" % self.full_url)
    
16. ValueError: unknown url type: '//wx4.sinaimg.cn/mw600/0062c4iGgy1fet7b5v8vwj30p50zk400.jpg'
    
17. >>>

复制代码

错误代码

lumber2388779

把你的错误也发上来最好截图，用你的代码是有另一个错误，headers并没有问题

刘英超

lumber2388779 发表于 2017-4-20 17:01
把你的错误也发上来最好截图，用你的代码是有另一个错误，headers并没有问题

1. import urllib.request
   
2. import os
   
3. 
   
4. def url_open(url):
   
5.         req = urllib.request.Request(url)
   
6.         req.add_header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0")
   
7.         response = urllib.request.urlopen(url)
   
8.         html = response.read()
   
9.         return html
   
10. 
    
11. #获取网页地址
    
12. def get_page(url):
    
13.         html = url_open(url).decode("utf-8")
    
14.         a = html.find("current-comment-page") + 23
    
15.         b = html.find("]", a)
    
16.         return html[a:b]
    
17. 
    
18. #图片地址循环
    
19. def find_imgs(url):
    
20.         html = url_open(url).decode("utf-8")
    
21.         img_addrs = []
    
22.         a = html.find("img src=")
    
23. 
    
24.         while a != -1:
    
25.                 b = html.find(".jpg", a, a+255)
    
26.                 if b != -1:
    
27.                         img_addrs.append(html[a+9:b+4])
    
28.                 else:
    
29.                         b = a + 9
    
30. 
    
31.                 a = html.find("img src=", b)
    
32.         return img_addrs
    
33. 
    
34. 
    
35. def save_imgs(folder, img_addrs):
    
36.         for each in img_addrs:
    
37.                 filename = each.split("/")[-1]
    
38.                 with open(filename, "wb") as f:
    
39.                         img = url_open(each)
    
40.                         f.write(img)
    
41. 
    
42. def download_mm(folder = "OOXX", pages=10):
    
43.         os.mkdir(folder)
    
44.         os.chdir(folder)
    
45.         url = "http://jandan.net/ooxx/"
    
46.         page_num = int(get_page(url))
    
47. 
    
48.         for i in range(pages):
    
49.                 page_num -= i
    
50.                 page_url = url + "page" + str(page_num) + "#comments"
    
51.                 img_addrs = find_imgs(page_url)
    
52.                 save_imgs(folder, img_addrs)
    
53. 
    
54. if __name__ == "__main__":
    
55.         download_mm()
    

复制代码

谢谢大神

刘英超

lumber2388779 发表于 2017-4-20 17:01
把你的错误也发上来最好截图，用你的代码是有另一个错误，headers并没有问题

1. Traceback (most recent call last):
   
2.   File "D:\spider\download_mm.py", line 55, in <module>
   
3.     download_mm()
   
4.   File "D:\spider\download_mm.py", line 52, in download_mm
   
5.     save_imgs(folder, img_addrs)
   
6.   File "D:\spider\download_mm.py", line 39, in save_imgs
   
7.     img = url_open(each)
   
8.   File "D:\spider\download_mm.py", line 5, in url_open
   
9.     req = urllib.request.Request(url)
   
10.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 329, in __init__
    
11.     self.full_url = url
    
12.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 355, in full_url
    
13.     self._parse()
    
14.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 384, in _parse
    
15.     raise ValueError("unknown url type: %r" % self.full_url)
    
16. ValueError: unknown url type: '//ww4.sinaimg.cn/mw600/a82b014bjw1exriw96jdqj20m80m8ae7.jpg'

复制代码

这是错误提示

刘英超

lumber2388779 发表于 2017-4-20 17:01
把你的错误也发上来最好截图，用你的代码是有另一个错误，headers并没有问题

大神  帮忙看一下吧

新手·ing

网站有问题

gopythoner

看到这句了么？
ValueError: unknown url type: '//wx4.sinaimg.cn/mw600/0062c4iGgy1fet7b5v8vwj30p50zk400.jpg'
你的图片地址是无效的，当然就会报错了
这个图片前面应该加上"http:"
这个就是在你获取了图片链接之后不要直接拿去用，应该先加上"http:"之后再拿去请求
看懂报错的提示很重要啊

lumber2388779

刘英超 发表于 2017-4-20 17:10
这是错误提示

你不觉得你获取到的网址少了http吗，在获取路径后自己要在路径前边加上http:
不然肯定报错，自己看下错误提示很容易看出来的 错误提示第16行

SixPy

http://bbs.fishc.com/forum.php?mod=redirect&goto=findpost&ptid=85547&pid=2860577

白色帕森

刘英超 发表于 2017-4-20 17:00
错误代码

网站地址出现了问题，前面加一个http: