小甲鱼的爬取妹子图失效了，自己写了一个，望指正

fqshct1994

1. import urllib.request
   
2. #引入解析器包
   
3. from bs4 import BeautifulSoup as bs
   
4. import os
   
5. #打开网址
   
6. def open_url(url):
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('user-agent','Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Mobile Safari/537.36')
   
9.     response = urllib.request.urlopen(req)
   
10.     html = response.read()
    
11.     return html
    
12. 
    
13. #将打开后的网页对象解析后返还
    
14. def url_bs(html):
    
15.     soup = bs(html,'html.parser')
    
16.     return soup
    
17. 
    
18. #接收空白列表，将所有上一页递归直至没有上一页为止返回列表尾部元素
    
19. def a(x,ls):
    
20.     d = x.find('a','next-comment-page')
    
21.     url = 'http:'+d['href']
    
22.     url2 = open_url(url).decode()
    
23.     url3 = url_bs(url2)
    
24.     ls.append(url)
    
25.     #用try抓住TypeError防止结尾报错
    
26.     if d:
    
27.         try:
    
28.             a(url3,ls)
    
29.         except TypeError:
    
30.             return
    
31.     else:
    
32.         pass
    
33.     #返回列表尾部的元素，也就是首页的url
    
34.     return ls[-1]
    
35.         
    
36. #判断网页是否首页
    
37. def judge(html):
    
38.     p_page = html.find('a','next-comment-page')
    
39.     #如果有上一页这个元素的话
    
40.     if p_page:
    
41.         new_page = 'http:' + p_page['href']
    
42.         new_html = open_url(new_page).decode()
    
43.         #将页面用写好的解析器解析
    
44.         soup = url_bs(new_html)
    
45.         ls = []
    
46.         #a函数上面有说明
    
47.         p = a(soup,ls)
    
48.         #将返还的用自创open_url函数打开
    
49.         p = open_url(p)
    
50.         return p
    
51.     #没有上一页这个元素说明为首页，直接返回html
    
52.     else:
    
53.         return html
    
54. 
    
55. #把页面变成第二页   
    
56. def next_page(html):
    
57.     a = html.find('a','previous-comment-page')
    
58.     aa = 'http:'+a['href']
    
59.     bb = open_url(aa)
    
60.     cc = url_bs(bb)
    
61.     return cc
    
62.    
    
63. def find_img(html,ls):
    
64.     for i in html.find_all('img'):
    
65.         s = str(i)
    
66.         a = s.find('src')+5
    
67.         b = a + 60
    
68.         new_h = 'http:' + s[a:b].strip('"')
    
69.         ls.append(new_h)      
    
70.     return ls
    
71. 
    
72. #提取图片src，进行url拼接，存入一个列表
    
73. def save_img(img):
    
74.     for i in img:
    
75.         filename = i.split('/')[-1]
    
76.         pic = open_url(i)
    
77.         with open(filename,'wb') as f:
    
78.             f.write(pic)
    
79.         print(filename)
    
80.    
    
81. 
    
82. #主函数下载图片
    
83. def download(folder='pic',pages=10):
    
84.    
    
85.     #在当前目录下创建文件夹
    
86.     os.mkdir(folder)
    
87.    
    
88.     #进入当前文件夹操作
    
89.     os.chdir(folder)
    
90.     url = 'http://i.jandan.net/ooxx'
    
91.    
    
92.     #打开网址
    
93.     html = open_url(url).decode()
    
94.    
    
95.     #得到解析器解析后的对象
    
96.     html2 = url_bs(html)
    
97. 
    
98.     #判断后得到首页
    
99.     first_page = judge(html2)
    
100.    
     
101.     #创建空列表备用传入find_img函数
     
102.     ls =[]
     
103.     for i in range(pages):
     
104.         #将解析过后的第一页传进函数进行提取图片src
     
105.         img_ls = find_img(first_page,ls)
     
106.         save_img(img_ls)
     
107.         #把页面变成第二页
     
108.         first_page = next_page(first_page)
     
109.          
     
110. if __name__ == '__main__':
     
111.     download()
     

复制代码

一个账号

还不错！

fqshct1994

一个账号 发表于 2020-2-10 20:20
还不错！

感谢！

df2k

谢谢分享，学习一下

gfwilliam

请问文件存储在哪？