爬取妹子图

金刚

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. from lxml import etree
   
4. import os
   
5. from time import sleep
   
6. 
   
7. 
   
8. def rs_func_one(url):
   
9.         headers = {
   
10.         "referer": "https://www.mzitu.com/jiepai/",
    
11.         "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36"
    
12.         }
    
13.         rs = requests.get(url, headers=headers)
    
14.         # print(rs.status_code)
    
15.         return rs
    
16. 
    
17. def rs_func_two(url):
    
18.         headers = {
    
19.         "referer": "https://www.mzitu.com/all/",
    
20.         "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36"
    
21.         }
    
22.         cookies = {
    
23.         'cookie': 'Hm_lvt_dbc355aef238b6c32b43eacbbf161c3c=1560850727,1560931430,1560994737; Hm_lpvt_dbc355aef238b6c32b43eacbbf161c3c=1560998871'
    
24.         }
    
25.         rs = requests.get(url, headers=headers, cookies=cookies)
    
26.         sleep(1)
    
27.         # print(rs.status_code)
    
28.         return rs
    
29. 
    
30. def parse_html(html, start_group, end_group):
    
31.         # print(html)
    
32.         '''tree = etree.HTML(html)
    
33.         # url_list = tree.xpath('//div[@class="all"]/ul[@class="archives"]//a[@class]/@href')
    
34.         url_list = tree.xpath('//div[@class="all"]/ul[@class="archives"]//a[@target="_blank"]/@href')
    
35.         # print(url_list)
    
36.         # print(len(url_list))'''
    
37.         soup = BeautifulSoup(html, "lxml")
    
38.         url_list = soup.select('.all > .archives a[target="_blank"]')
    
39.         url_list = url_list[start_group-1:end_group]
    
40.         # print(url_list)
    
41.         # print(len(url_list))
    
42.         group_url_list = list()
    
43.         for tag_object in url_list:
    
44.                 # print(tag_object['href'])
    
45.                 # print(type(tag_object['href']))
    
46.                 # exit()
    
47.                 group_url_list.append(tag_object['href'])
    
48.         return group_url_list
    
49. 
    
50. 
    
51. def parse_html_person(html):
    
52.         tree = etree.HTML(html)
    
53.         # img_sum_person_list = tree.xpath('//a/span[@class]/text()')
    
54.         img_sum_person_list = tree.xpath("//div[@class='pagenavi']/a/span/text()")
    
55.         # print(img_sum_person_list[-2])
    
56.         # print(type(img_sum_person_list[-2]))
    
57.         return img_sum_person_list[-2]
    
58. 
    
59. def parse_last_page_html(html):
    
60.         tree = etree.HTML(html)
    
61.         # jpg_url = tree.xpath("//p[@class]/a/img/@src")
    
62.         jpg_url_list = tree.xpath("//div[@class='main-image']/p/a/img/@src")
    
63.         # print(jpg_url_list)
    
64.         # exit()
    
65.         return jpg_url_list
    
66. 
    
67. 
    
68. def save_img(img, url, folder):
    
69.         filename = url.split('/')[-1]
    
70.         print('正在下载：', filename)
    
71.         with open('./{}/{}'.format(folder, filename), 'wb') as fp:
    
72.                 fp.write(img)
    
73. 
    
74. # 主函数
    
75. def main():
    
76.         folder = input('请输入图片保存的文件夹：')
    
77.         os.mkdir(folder)
    
78.         # 输入阿拉伯数字，用法例：5-10  到现在为止有2997组图片，可以输入1-2997。之后还会更新
    
79.         start_group = int(input('请输入起始组图：'))
    
80.         end_group = int(input('请输入结束组图：'))
    
81.         syn_url = "https://www.mzitu.com/all/"
    
82.         # 请求
    
83.         rs = rs_func_one(syn_url)
    
84.         # print(rs.status_code)
    
85.         # print(rs.url)
    
86.         html = rs.text
    
87.         # print(html)
    
88.         # 组图url保存到列表
    
89.         url_list = parse_html(html, start_group, end_group)
    
90.         # print(url_list)
    
91.         start = start_group
    
92.         for group_url in url_list:
    
93.                 print('开始下载第{}页'.format(start))
    
94.                 rs = rs_func_two(group_url)
    
95.                 html_person = rs.text
    
96.                 # print(html_person)
    
97.                 # 每个图片的总数量
    
98.                 img_sum_person = parse_html_person(html_person)
    
99.                 # print(img_sum_person)
    
100.                 for img_num_url in range(1, int(img_sum_person)+1):
     
101.                         # each_img_url = group_url + '/' + img_num_url
     
102.                         each_img_url = '{}{}{}'.format(group_url, '/', img_num_url)
     
103.                         # print(each_img_url)
     
104.                         rs = rs_func_two(each_img_url)
     
105.                         last_page_html = rs.text
     
106.                         # print(last_page_html)
     
107.                         # exit()
     
108.                         jpg_url_list = parse_last_page_html(last_page_html)
     
109.                         # print(jpg_url_list)
     
110.                         # 一个图片地址
     
111.                         jpg_url = jpg_url_list[0]
     
112.                         rs = rs_func_two(jpg_url)
     
113.                         # print(rs.status_code)
     
114.                         # exit()
     
115.                         img = rs.content
     
116.                         save_img(img, jpg_url, folder)
     
117.                 print('结束下载第{}页'.format(start))
     
118.                 start += 1
     
119. 
     
120. 
     
121. if __name__ == '__main__':
     
122.         main()
     

复制代码

myhic

缺了request 与  lxml模块，补上了还有点问题，能再教我一下吗？

金刚

myhic 发表于 2020-6-4 01:02
缺了request 与  lxml模块，补上了还有点问题，能再教我一下吗？

什么意思？我这个已经很久了，可能源网站的api接口全都变了，我这个爬的都失效了

myhic

在无意之中看到在ooxx2文件夹下有很多妹子的图片，质量一般，也算成功了吧，继续努力会有所收获的。

金刚

myhic 发表于 2020-6-7 21:53
在无意之中看到在ooxx2文件夹下有很多妹子的图片，质量一般，也算成功了吧，继续努力会有所收获的。

嗯，模仿着自己思考着写挺好，下一期也考虑学一下scrapy框架

myhic

scrapy框架是什么还不懂，以后要学的

金刚

myhic 发表于 2020-6-9 06:21
scrapy框架是什么还不懂，以后要学的

爬虫框架

有山先生

Traceback (most recent call last):
  File "C:/Users/Ason/Desktop/666.py", line 1, in <module>
    import requests
ModuleNotFoundError: No module named 'requests'

sinaop