网络爬虫案例

此帐号已被注销

必要的easygui 和 requests_html 模块pip install 就行，效果图贴出来了
下面就开始我们的学习（XXOO）吧 ，代码如下：

1. import urllib.robotparser
   
2. from requests_html import HTMLSession
   
3. import os
   
4. import urllib.request
   
5. import easygui as g
   
6. 
   
7. #目标网站
   
8. url = "https://www.lnlnl.cn/meitu/"
   
9. 
   
10. #对文件名进行处理
    
11. def dir_name_process(name):
    
12.     dir_name = ''
    
13.     for i in name:
    
14.         if i  not in "|\\/*:"<>":
    
15.             dir_name += i
    
16.     return dir_name
    
17.          
    
18. #生成session对象
    
19. def session_generate(url):
    
20.     session = HTMLSession()
    
21.     html = session.get(url)
    
22.     return html
    
23. 
    
24. #判断目标网站是否允许爬取
    
25. def judge(url, link):
    
26.     rq = urllib.robotparser.RobotFileParser()
    
27.     rq.set_url(url + '/robot.txt')
    
28.     rq.read()
    
29.     info = rq.can_fetch('*', link)
    
30.     return info
    
31. 
    
32. #选择自己喜欢的类型
    
33. def choose_item(url):
    
34.     r = session_generate(url)
    
35.     r = r.html.find("#main > div > div > div > div.title > span > a:nth-child(n)")
    
36.     name_links = [i.text for i in r]
    
37.     name_link = g.choicebox(msg = "选择你喜欢的类型，嘿嘿",choices = name_links)
    
38.     count = 0;
    
39.     for i in r :
    
40.         if i.text == name_link:
    
41.             return i.attrs['href']
    
42. 
    
43. #判断是否可以爬取，并选择要下载的页数
    
44. def page_fetch(url, link):
    
45.     if not judge(url, link) :#查看Robot协议
    
46.         g.msgbox( msg = "哎呀，站长不让你获取图")
    
47.         return False
    
48.     else :
    
49.         g.msgbox(msg = "恭喜，站长：小子，可以取我的图", title = '询问站长是否可以爬取')
    
50. 
    
51.     h = session_generate(link)
    
52.     links = h.html.xpath('//*[@id="main"]/div/div/div/div/a/@href')
    
53.     links =  sorted((list(set(links))))
    
54.     links.insert(0, link)
    
55.     page = g.multchoicebox(msg ="共有%d页的内容，请选择您想要的页数（从0页开始<(￣3￣)>哼！）"%len(links), choices = range(len(links)))
    
56.     if page == []:
    
57.         yield None
    
58.     for link in page:
    
59.         link = int(link)
    
60.         print("正在下载%d页" %link)
    
61.         yield links[link]
    
62. 
    
63. #在网页中选择想要的主题图片
    
64. def page_download(link):
    
65.     h = session_generate(link)
    
66.     links = h.html.xpath('//*[@id="main"]/div/div/div/ul/li/div/a')
    
67.     name_links = [ link.xpath("//img/@alt")[0]  for link in links ]
    
68.     name_links = g.multchoicebox( msg = "共有%d个主题，选择一下吧ヾ(&#10048;&#9593;&#9697;&#9593;)&#65417;~"%(len(links))  ,choices = name_links)
    
69.     if name_links == None:
    
70.         return None
    
71.     for link in links:
    
72.         name = link.xpath("//img/@alt")[0]
    
73.         if name in name_links:
    
74.             print("正在下载的主题：%s" %(name))
    
75.             link = link.xpath("//@href")
    
76.             yield (name, link[0])
    
77. 
    
78. #下载所选主题的图片
    
79. def get_picture_links(link):
    
80.     link = session_generate(link)
    
81.     links = link.html.xpath('//*[@id="main"]/div/div[1]/div[1]/div[2]/p/img/@src')
    
82.     for link in links:
    
83.         try:
    
84.             req = urllib.request.Request(link)
    
85.             req.add_header('User-Agent', "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Mobile Safari/537.36")
    
86.             response = urllib.request.urlopen(req).read()
    
87.             name = link.split('/')[-1]
    
88.             if ".jpg" not in name or ".png" not in name :
    
89.                 name += ".jpg"
    
90.             f = open(name, 'wb')
    
91.             f.write(response)
    
92.             f.close()
    
93.         except :
    
94.             print("一张图下载失败(||&#3664;_&#3664;) 地址：", link)
    
95.     print("当前主题下载完成！ヾ(&#10048;&#9593;&#9697;&#9593;)&#65417;~")
    
96. 
    
97. #主程序
    
98. if __name__ == "__main__":
    
99.     choice = g.ccbox(msg = "你是否已满18岁?", title = "FBI Warning", choices = ["别多BB快点开车！", "我还差一丢丢"])
    
100.     if choice == True:  #下载过程
     
101.         g.msgbox(msg = "每个主题中图片都不少，别下的太多", title = "上车前的安全提示")
     
102.         dir_path = g.diropenbox(msg = "选择你想要保存XXOO的位置")
     
103.         dir_path = dir_path + "/XXOO"
     
104.         os.mkdir(dir_path)
     
105.         os.chdir(dir_path)
     
106.         link = choose_item(url)
     
107.         for fetch_link in page_fetch(url, link):
     
108.             for data in page_download(fetch_link):
     
109.                 if data == None :
     
110.                     break
     
111.                 name, download_link = data
     
112.                 os.chdir(dir_path)
     
113.                 name = dir_name_process(name)
     
114.                 os.mkdir(name)
     
115.                 os.chdir(name)
     
116.                 get_picture_links(download_link)
     
117.         print("下载任务结束(*￣3￣)╭&#9825;&#10048;小花花砸你")
     
118.     else :
     
119.         g.msgbox(msg = "这不是去幼儿园的车欧，快点换车", title = "温馨提示")

复制代码

如果有疑问或改进的方法，欢迎跟帖，不胜感激（这次去除了一些话，应该能过审核吧）