各位dalao，帮我看看这个是什么问题

DuiJle

1. #url = 'http://jandan.net/ooxx'
   
2. 
   
3. import urllib.request
   
4. import os
   
5. 
   
6. def url_open(url):
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36')
   
9.     response = urllib.request.urlopen(url)
   
10.     html = response.read()
    
11.     return html
    
12. 
    
13. def get_page(url):
    
14.    
    
15.     html = url_open(url).decode('utf-8')
    
16. 
    
17.     a = html.find('current-comment-page') + 23
    
18.     b = html.find(']', a)
    
19. 
    
20.     return html[a:b]
    
21. 
    
22. def find_imgs(url):
    
23.     html = url_open(url).decode('utf-8')
    
24.     img_addrs = []
    
25. 
    
26.     a = html.find('img src=')
    
27. 
    
28. 
    
29.     while a != -1:
    
30.         b = html.find('.jpg', a, a+255)
    
31.         if b != -1:
    
32.             img_addrs.append(html[a+9:b+4])
    
33.         else:
    
34.             b = a + 9
    
35.         a = html.find('img srt=', b)
    
36. 
    
37.     return img_addrs
    
38. 
    
39. def save_imgs(floder, img_addrs):
    
40.     for each in img_addrs:
    
41.         filename = each.split('/')[-1]
    
42.         with open(filename, 'wb') as f:
    
43.             img = url_open(each)
    
44.             f.write(img)
    
45. 
    
46. 
    
47. def download_ooxx(folder="F:\.vscode\ooxx", pages=10):
    
48.     os.mkdir(folder)
    
49.     os.chdir(folder)
    
50.     url = 'http://jandan.net/ooxx/'
    
51.     page_num = int(get_page(url))
    
52. 
    
53.     for i in range(pages):
    
54.         page_num -= 1
    
55.         page_url = url + 'page-' + str(page_num) + '#comments'
    
56.         img_addrs = find_imgs(page_url)
    
57.         save_imgs(folder, img_addrs)
    
58. 
    
59. if __name__ == '__main__':
    
60.     download_ooxx()
    

复制代码

1. ======================== RESTART: F:\.vscode\ooxx.py ========================
   
2. Traceback (most recent call last):
   
3.   File "F:\.vscode\ooxx.py", line 60, in <module>
   
4.     download_ooxx()
   
5.   File "F:\.vscode\ooxx.py", line 57, in download_ooxx
   
6.     save_imgs(folder, img_addrs)
   
7.   File "F:\.vscode\ooxx.py", line 43, in save_imgs
   
8.     img = url_open(each)
   
9.   File "F:\.vscode\ooxx.py", line 7, in url_open
   
10.     req = urllib.request.Request(url)
    
11.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python35\lib\urllib\request.py", line 268, in __init__
    
12.     self.full_url = url
    
13.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python35\lib\urllib\request.py", line 294, in full_url
    
14.     self._parse()
    
15.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python35\lib\urllib\request.py", line 323, in _parse
    
16.     raise ValueError("unknown url type: %r" % self.full_url)
    
17. ValueError: unknown url type: '//wx4.sinaimg.cn/mw600/852a13f1ly1fhy6kntqq6j20sg11xds4.jpg'

复制代码

这个是怎么回事啊？

DuiJle

已经解决了，下一个问题是，我怎么爬取不了多页，运行程序只能爬十张？？

flyblood

根据你的log：ValueError: unknown url type: '//wx4.sinaimg.cn/mw600/852a13f1ly1fhy6kntqq6j20sg11xds4.jpg'
应该是网址不全，
初看是img = url_open(each)
这句错了，each读取出来的没有带‘http:’
可以改成img = url_open('http:'+each)

在这之前可以先print(each)看看是不是缺少"http:"还是缺少"http://"

YHao

def download_ooxx(folder="F:\.vscode\ooxx", pages=10)楼主，你自己默认参数设定的！！

chengyiye

pages=10，你自己设置10页的，你要是100页，也可以设置pages=100啊

sunnychou

想问楼主，理解那些a+9,b+4么，传授一下
img_addrs.append(html[a+9:b+4])

flyblood

page_num -= 1

应该是page_num -= i

DuiJle

flyblood 发表于 2017-7-27 10:24
根据你的log：ValueError: unknown url type: '//wx4.sinaimg.cn/mw600/852a13f1ly1fhy6kntqq6j20sg11xds4. ...

这个已经解决了，谢谢

DuiJle

YHao 发表于 2017-7-27 10:30
def download_ooxx(folder="F:\.vscode\ooxx", pages=10)楼主，你自己默认参数设定的！！

现在只能爬10张，不是十页

DuiJle

chengyiye 发表于 2017-7-27 10:38
pages=10，你自己设置10页的，你要是100页，也可以设置pages=100啊

设成100还是爬了几张

DuiJle

flyblood 发表于 2017-7-27 10:43
page_num -= 1

应该是page_num -= i

不行，试过了

DuiJle

sunnychou 发表于 2017-7-27 10:40
想问楼主，理解那些a+9,b+4么，传授一下
img_addrs.append(html[a+9:b+4])

http://bbs.fishc.com/thread-74121-1-1.html  到这里看

flyblood

1. for i in range(pages):
   
2.         page_num -= i
   
3.         page_url = url + 'page-' + str(page_num) + '#comments'
   
4.         print(page_url)    #加个打印看看吧。。
   
5.         img_addrs = find_imgs(page_url)
   
6.         save_imgs(folder, img_addrs)

复制代码

DuiJle

flyblood 发表于 2017-7-27 11:00

没毛病啊老铁，一模一样

flyblood

DuiJle 发表于 2017-7-27 11:15
没毛病啊老铁，一模一样

打印出的url一模一样？

flyblood

1. http://jandan.net/ooxx/page-208#comments
   
2. ['//ws4.sinaimg.cn/mw600/0060fsirly1fhy8kue2jhj31eo240npe.jpg']
   
3. http://jandan.net/ooxx/page-207#comments
   
4. ['//wx4.sinaimg.cn/mw600/852a13f1ly1fhy6kntqq6j20sg11xds4.jpg']
   
5. http://jandan.net/ooxx/page-205#comments
   
6. ['//wx4.sinaimg.cn/mw600/852a13f1ly1fhy2q03tulj20qo0k077j.jpg']
   
7. http://jandan.net/ooxx/page-202#comments
   
8. ['//wx4.sinaimg.cn/mw600/852a13f1ly1fhwhgu8l29j20st0zqwm6.jpg']
   
9. http://jandan.net/ooxx/page-198#comments
   
10. []
    
11. http://jandan.net/ooxx/page-193#comments
    
12. ['//wx4.sinaimg.cn/mw600/9f0e9ec6gy1fhr5yxygl4j20ix0sgqge.jpg']
    
13. http://jandan.net/ooxx/page-187#comments
    
14. ['//wx3.sinaimg.cn/mw600/006abxmvgy1fhn2c9mdl5j30zk0zk45p.jpg']
    
15. http://jandan.net/ooxx/page-180#comments
    
16. ['//wx4.sinaimg.cn/mw600/6439ec86gy1fhjjccg1uuj20gm0oytab.jpg']
    
17. http://jandan.net/ooxx/page-172#comments
    
18. ['//wx3.sinaimg.cn/mw600/9f0e9ec6ly1fhf4p1ck4tj20m80xcaca.jpg']
    
19. http://jandan.net/ooxx/page-163#comments
    
20. ['//ws3.sinaimg.cn/mw600/9f0e9ec6ly1fh7z0ta0wsj20r0100nme.jpg']

复制代码

DuiJle

flyblood 发表于 2017-7-27 11:16
打印出的url一模一样？

不是，跟我写的一样

flyblood

好像你每张网页才取了一张图片

flyblood

1. while a != -1:
   
2.         b = html.find('.jpg', a, a+255)
   
3.         if b != -1:
   
4.             img_addrs.append(html[a+9:b+4])
   
5.         else:
   
6.             b = a + 9
   
7.         a = html.find('img srt=', b)
   
8.     print(img_addrs)
   
9.     return img_addrs

复制代码

这段循环再查查看吧

flyblood

1. def find_imgs(url):
   
2.     html=open_url(url).decode('utf-8')
   
3. 
   
4.     img_addrs=[]
   
5.     start=0
   
6.     while True:
   
7.         a=html.find('.sinaimg.cn',start)-3
   
8.         b=html.find('.jpg',a)+4
   
9.         if a<0:
   
10.             break
    
11.         else:
    
12.             img_addrs.append(html[a:b])
    
13.             start=b
    
14.     print(img_addrs)
    
15.     return img_addrs

复制代码

我的版本，给你参照一下