彼岸网美女图片全页面抓取

Brucey

此处仅是彼岸网http://www.netbian.com/美女分类下的所有图片，为单线程。该代码仅供参考学习！！！
如果代码看不懂可参看该视频：https://www.ixigua.com/692231935 ... a67588147c3e9368ceb

结果展示：


代码部分:

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import os
   
4. import atexit
   
5. import time
   
6. 
   
7. headers = {
   
8.     'user-agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36',
   
9. }
   
10. 
    
11. 
    
12. # ********该函数用来打印日志的，大家忽略就行************
    
13. # 程序停止会自动计算下载总时间和下载速度
    
14. @atexit.register
    
15. def calc_time():
    
16.     """
    
17.     日志
    
18.     :return:
    
19.     """
    
20.     # 计算下载总时间
    
21.     end = time.time()
    
22.     duration = end - start
    
23.     hour = duration // 3600
    
24.     minute = (duration - hour * 3600) // 60
    
25.     seconds = int(duration - hour * 3600 - minute * 60)
    
26. 
    
27.     # 计算下载速度
    
28.     size = 0  # 单位是字节
    
29.     files = os.listdir("image")
    
30.     for file in files:
    
31.         try:
    
32.             size += os.path.getsize("./image/" + file)
    
33.         except Exception as e:
    
34.             print(e)
    
35.     # 单位是M
    
36.     size = size / 1024 / 1024
    
37.     # 单位是kb/s
    
38.     speed = size * 1024 / duration
    
39. 
    
40.     print("\033[31m=" * 100)
    
41.     print("一共下载了{}个文件, 大小为{:.2f}M".format(len(files), size))
    
42.     print("下载速度为{:.2f} kb/s".format(speed))
    
43.     print("耗时{}小时{}分钟{}秒".format(hour, minute, seconds))
    
44.     print("=" * 100)
    
45. # ****************************************************************
    
46. 
    
47. 
    
48. # 请求url，得到html代码
    
49. def get_url(url) -> str:
    
50.     response = requests.get(url, headers=headers)
    
51.     return response.content.decode("gbk")
    
52. 
    
53. 
    
54. # 下载图片
    
55. def download(url):
    
56.     print("正在下载链接地址为 %s 的图片" % url)
    
57.     # 二进制文件
    
58.     content = requests.get(url, headers=headers).content
    
59.     # url的格式 http://img.netbian.com/file/2021/0122/2861bb5516bd41b0dfe79f6a9538892d.jpg
    
60.     # 取最后一个"/"之后的字符串作为文件名
    
61.     filename = url.split("/")[-1]
    
62.     # 拼写完整的图片路径，其中这里的"."表示当前这个文件所在的目录
    
63.     file_path = "./image/" + filename
    
64.     # 将二进制数据写入文件
    
65.     with open(file_path, 'wb') as f:
    
66.         f.write(content)
    
67. 
    
68. 
    
69. if __name__ == '__main__':
    
70.     start = time.time()
    
71.     # 判断当前目录下是否有image文件夹，没有就创建
    
72.     if not os.path.exists("image"):
    
73.         os.mkdir("image")
    
74. 
    
75.     for page in range(1, 164):
    
76.         if page == 1:
    
77.             url = 'http://www.netbian.com/meinv/'
    
78.         else:
    
79.             url = 'http://www.netbian.com/meinv/index_%d.htm' % page
    
80. 
    
81.         html = get_url(url)
    
82.         # 利用BeautifulSoup构建解析器
    
83.         soup = BeautifulSoup(html, "lxml")
    
84. 
    
85.         # 选取所有的图片所在的块区域
    
86.         aElements = soup.select('.list a')
    
87.         hrefs = [i["href"] for i in aElements]
    
88. 
    
89.         for href in hrefs:
    
90.             if href.startswith("/desk"):
    
91.                 # url2是缩略图对应的链接
    
92.                 url2 = "http://www.netbian.com" + href
    
93. 
    
94.                 # 请求缩略图链接得到页面内容
    
95.                 html2 = get_url(url2)
    
96.                 soup2 = BeautifulSoup(html2, "lxml")
    
97.                 src = soup2.select('.pic img')[0]["src"]
    
98.                 download(src)
    

复制代码

hornwong