[已解决]056轮一只爬虫的自我修养4：OOXX 链接错误求助（代码已经改好了）

蝴蝶结好看吗

1. import urllib.request
   
2. import os
   
3. 
   
4. def url_open(url):
   
5.     req=urllib.request.Request(url)
   
6.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.2759.400 QQBrowser/9.6.1126')
   
7.     response=urllib.request.urlopen(url)
   
8.     html=response.read()
   
9. 
   
10.     return html
    
11. 
    
12. def get_page(url):
    
13.     html=url_open(url).decode('utf-8')
    
14. 
    
15.     a=html.find('current-comment-page')+23
    
16.     b=html.find(']',a)
    
17. 
    
18.     return html[a:b]
    
19. 
    
20. def find_imgs(url):
    
21.     html=url_open(url).decode('utf-8')
    
22.     img_addrs = []
    
23. 
    
24.     a=html.find('img src=')
    
25. 
    
26.     while a!=-1:
    
27.         b=html.find('.jpg',a,a+225)
    
28.         if b!=-1:
    
29.             if "http:" in html[a+9:b+4]:
    
30.                 img_addrs.append(html[a+9:b+4])
    
31.             else:
    
32.                 img_addrs.append('http:'+html[a+9:b+4])
    
33.         else:
    
34.             b=a+9
    
35. 
    
36.         a=html.find('img src=',b)
    
37. 
    
38.     return img_addrs
    
39. 
    
40. def save_imgs(folder,img_addrs):
    
41.     for each in img_addrs:
    
42.         filename=each.split('/')[-1]
    
43.         with open(filename,'wb')as f:
    
44.             print(each)
    
45.             input()
    
46.             img=url_open(each)
    
47.             f.write(img)
    
48. 
    
49. def download_mm(folder='OOXX',pages=10):
    
50.     os.mkdir(folder)
    
51.     os.chdir(folder)
    
52. 
    
53.     url="http://jandan.net/ooxx/"
    
54.     page_num=int(get_page(url))+1
    
55. 
    
56.     for i in range(pages):
    
57.         page_num-=1
    
58.         page_url=url+'page-'+str(page_num)+'#comments'
    
59.         img_addrs=find_imgs(page_url)
    
60.         save_imgs(folder,img_addrs)
    
61. 
    
62. 
    
63. if __name__=='__main__':
    
64.     download_mm()
    

复制代码

图的链接有时候有“http：”有的时候没有，需要判断一下

最佳答案

月排行榜 / 总排行榜

仿真模型

2017-6-18 08:56:00

ValueError: unknown url type: '//wx3.sinaimg.cn/mw600/d9f2e9cagy1fgojkccu0oj21401z4gph.jpg'

明显没有http:吗！ 还用来这问

跳转到最佳答案楼层

仿真模型

ValueError: unknown url type: '//wx3.sinaimg.cn/mw600/d9f2e9cagy1fgojkccu0oj21401z4gph.jpg'

明显没有http:吗！ 还用来这问

蝴蝶结好看吗

仿真模型 发表于 2017-6-18 08:56
ValueError: unknown url type: '//wx3.sinaimg.cn/mw600/d9f2e9cagy1fgojkccu0oj21401z4gph.jpg'

明显 ...

line29 : img_addrs.append('http:'+html[a+9:b+4])
line52 : page_num-=1
然后翻页后失败了