056轮一只爬虫的自我修养4：OOXX

骚强么么哒

全部自己手打的~
觉得喜欢的话关注哟，礼物送一波~~
不要做伸手党哦！
大家继续努力~

1. import urllib.request
   
2. import os
   
3. #import random
   
4. 
   
5. def url_open(url):       #模块化方便后面调用
   
6.     req = urllib.request.Request(url) #便于添加文件头
   
7.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')
   
8. #User-Agent是检查人类和代码的关键
   
9.     '''
   
10.     proxies = []
    
11.     proxy = random.choice(proxies)
    
12.     proxy_support = urllib.request.Proxyhandler
    
13.     opener = urllib.request.build_opener(proxy_support)
    
14.     proxy_opener = urllib.request.build_opener(proxy_support)
    
15.     urllib.request.install_opener(opener)
    
16.     '''
    
17. #使用代理下载的图片都不是美眉
    
18.    
    
19.     response = urllib.request.urlopen(url)
    
20.     html = response.read()    #这边不解码成utf-8,保存图片是二进制，utf-8是人看的
    
21. 
    
22. 
    
23. #打开网页的时候404，所以测试一下
    
24.     #print(url)
    
25.     #print(html)
    
26.     return html
    
27. 
    
28.    
    
29. def get_page(url):    #获取页码数
    
30.     html = url_open(url).decode('utf-8')
    
31.     a = html.find('current-comment-page') + 23  #偏移距离，正好到数字的位置
    
32. 
    
33.     b= html.find(']',a)   #】有很多，起始位置是a开始
    
34. 
    
35.     return (html[a:b])     #从a到b的位数区间，就是页码数
    
36.    
    
37. def find_imgs(url):   #找到图片的下载地址
    
38.     html = url_open(url).decode('utf-8')
    
39.     img_addrs = [] #列表
    
40. 
    
41.     a = html.find('img src=')
    
42. 
    
43.     while a != -1:   #找得到a的话
    
44.         b=html.find('.jpg',a,a+255)  #找不到会返回值-1，-1就是找不到
    
45. #找到的关键字，从哪里开始，字符长度多长
    
46.         if b != -1:           #如果找到b了。就加入到下载地址
    
47.             img_addrs.append('http:' + html[a+9:b+4])  #网页的开头和结束 #并且缺了http：
    
48.         else:
    
49.             b = a + 9       #找不到b的话，b的地址也要改变
    
50.         a = html.find('img src=',b)     #a每次都会改变，下一张图片
    
51. 
    
52.    
    
53.     #for each in img_addrs:   #打印出网址
    
54.         #print(each)
    
55.     return img_addrs
    
56. 
    
57. 
    
58. def  save_imgs(folder,img_addrs):
    
59.     for each in img_addrs:
    
60.         filename = each.split('/')[-1]   #按斜杠分割，分成若干列表，-1就是最后一个斜杠的列表
    
61.         with open(filename,'wb') as f:
    
62.             img = url_open(each)   #url_open就是二进制read()，每个图片下载地址的二进制
    
63.             f.write(img)    #写入二进制保存成图片
    
64. 
    
65. def download_mm(folder='ooxx',pages=10):    #主函数
    
66.     os.mkdir(folder)    #创建文件夹
    
67.     os.chdir(folder)    #操作文件夹，工作目录。保存的位置
    
68. 
    
69.     url = 'http://jandan.net/ooxx'  
    
70.     page_num = int(get_page(url))      #取到最新页码，用模块的思想，调用函数
    
71. 
    
72.     for i in range(pages):        #i从pege到最新页
    
73.         page_num -= i      #从最新到第一页
    
74.         page_url = url + '/page-' +str(page_num) + '#comments'
    
75. #每一页的网址
    
76.         img_addrs = find_imgs(page_url)   #每一页里面去找图片地址，模块化思想，调用函数
    
77.         save_imgs(folder,img_addrs)      #保存图片到文件夹,模块化思想
    
78. 
    
79. 
    
80. if __name__ == '__main__':   #如果在主程序里调用 name = main。如果在主函数调用的意思
    
81.     download_mm()
    
82. 
    
83.         
    
84.    
    
85.    
    
86.    
    

复制代码

骚强么么哒

I:\B学习\Python全套教程\练习作业\ooxx\5dbc315dly1fj6nh6w8iuj20hs0gymy6.jpg

骚强么么哒

file:///I:/B学习/Python全套教程/练习作业/ooxx/5dbc315dly1fj6nh6w8iuj20hs0gymy6.jpg

ten$1

66