爱豆图片下载（含源码及打包exe可执行文件）

太阳总会升起

呦吼，俺在鱼兮发的第一个资源分享，还请各位大佬批评指正！！！

这个是爬取美桌壁纸（http://www.win4000.com/）里面的明星图片板块，可以选择下载的页数及每页的组数
上代码

1. import requests
   
2. from lxml import etree
   
3. import os
   
4. 
   
5. 
   
6. # etree解析网页并返回
   
7. def parse(url):
   
8.     headers = {
   
9.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
   
10.     }
    
11.     text = requests.get(url=url, headers=headers).text
    
12.     html = etree.HTML(text)
    
13. 
    
14.     return html
    
15. 
    
16. 
    
17. # 获取总页面数
    
18. def get_page(base_url):
    
19.     html = parse(base_url)
    
20.     pages = html.xpath('//div[@class="main"]//div[@class="pages"]/div/a[@class="num"][last()]/text()')[0]
    
21. 
    
22.     return pages
    
23. 
    
24. 
    
25. # 获取每页超链接的url
    
26. def get_a_url(page_url):
    
27.     html = parse(page_url)
    
28.     a_url = html.xpath('//div[@class="w1180 clearfix"]//div[@class="tab_tj"]//ul[@class="clearfix"]//a/@href')
    
29. 
    
30.     return a_url
    
31. 
    
32. 
    
33. #  获取每个超链接对应图片组的个数
    
34. def get_img_count(a_url):
    
35.     html = parse(a_url)
    
36.     img_count = len(html.xpath('//ul[@id="scroll"]/li'))
    
37. 
    
38.     return img_count
    
39. 
    
40. 
    
41. # 获取每个超链接对应图片组的个数的url
    
42. def get_img_url(img_page_url):
    
43.     html = parse(img_page_url)
    
44.     img_url = html.xpath('//img[@class="pic-large"]/@src')[0]
    
45. 
    
46.     return img_url
    
47. 
    
48. 
    
49. # 保存图片
    
50. def save_img(img_url, name):
    
51.     headers = {
    
52.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
    
53.     }
    
54.     img_name = img_url.split('/')[-1]
    
55.     res = requests.get(url=img_url, headers=headers)
    
56.     img_data = res.content
    
57.     if not os.path.isdir(f'.\\{name}_img'):
    
58.         os.mkdir(f'.\\{name}_img')
    
59.     with open(f'.\\{name}_img\\{img_name}', 'wb') as f:
    
60.         f.write(img_data)
    
61. 
    
62. 
    
63. # 主函数
    
64. def main():
    
65.     name = input("请输入想要下载的爱豆姓名：")
    
66.     pinyin = input("请输入对应的汉语拼音：")
    
67. 
    
68.     # 蔡徐坤是例外，单独处理
    
69.     if name == '蔡徐坤':
    
70.         pinyin = 'Angy'
    
71.    
    
72.     base_url = f'http://www.win4000.com/mt/{pinyin}.html'
    
73.     # 获取总页面数
    
74.     try:
    
75.         page_count = get_page(base_url)
    
76.     except:
    
77.         print("没有找到您的爱豆，要不换一个下载试试^_^")
    
78.         exit()
    
79.         
    
80.     # 获取用户想要下载的页面数
    
81.     try:
    
82.         page_num = int(input(f"爬取到该爱豆图片共【{page_count}】页，请输入想要下载的页数："))
    
83.     except:
    
84.         print("输入数字都能错？？？，搁这玩我呢…………")
    
85.         exit()
    
86. 
    
87.     # 判断用户输入是否合法
    
88.     if page_num > int(page_count) or page_num < 1:
    
89.         print(f"你想上天啊，总共就 {page_count} 页，你输 {page_num} 想死啊 %￥#&……*&$^")
    
90.     else:
    
91.         try:
    
92.             # 遍历下载页面
    
93.             for i in range(1, page_num+1):
    
94.                 page_url = f'http://www.win4000.com/mt/{pinyin}_{str(i)}.html'
    
95.                 a_url_list = get_a_url(page_url)
    
96.                 print(f"第【{i}】页获取成功" + '\n')
    
97.                 a_url_list_len = len(a_url_list)
    
98.                 print(f"第【{i}】页共有[{a_url_list_len}]组图片")
    
99.                 a_count = int(input(f"你想下载第【{i}】页多少组图片呢？"))
    
100.                
     
101.                 # 遍历每页的每组图片
     
102.                 for group in range(a_count):
     
103.                     # 获取每页对应图片组的个数
     
104.                     img_count = get_img_count(a_url_list[group])
     
105.                     print(f"第【{i}】页第[{group+1}]组图片爬取中……" + '\n')
     
106. 
     
107.                     # 遍历每个组对应图片的url
     
108.                     for j in range(1, img_count+1):
     
109.                         img_page_url = os.path.splitext(a_url_list[group])[0] + f'_{j}' + os.path.splitext(a_url_list[group])[1]
     
110.                         img_url = get_img_url(img_page_url)
     
111.                         print(f"第【{i}】页第[{group+1}]组图片下载成功，正在保存该组第 {j} 张图片")
     
112.                         save_img(img_url, name)
     
113. 
     
114.                     print(f"第【{i}】页第[{group+1}]组图片保存成功" + "o(*^＠^*)o" + '\n')
     
115. 
     
116.                 print(f"第【{i}】页下载完成" + "`(*>﹏<*)′" + '\n')
     
117. 
     
118.             print(f"您的爱豆 {name} 图片 {page_num} 页下载完成，图片保存在当前文件夹下的 {name}_img 文件夹下")
     
119.             input("按回车退出程序")
     
120.         except:
     
121.             print("未知错误，爬取失败。。。")
     
122.             exit()
     
123. 
     
124. 
     
125. main()

复制代码

之后又用easygui改了个有UI界面的，用pyinstaller打包，并且把源码及打包后的exe可执行文件都放在了（https://wws.lanzous.com/iX7Majmg5wj
），自取

太阳总会升起

感谢看到这的各位

bhcqzf

感谢分享

守望星星

学习

南栀千惠

感谢分享

太阳总会升起

单走一个2516 发表于 2020-12-28 22:28
老哥   我也写了个爬虫   在pycharm上写的   pyinstall-F打包后在我的电脑上可以运行，但是发给同学一打开 ...

可能是存储路径的问题，我试了我电脑上也会报错，因为路径错误，你把存取路径改为和py文件统一目录下试试应该就没问题了

tryhi

感谢分享