最终版【18禁】一只贼能爬动图的——黄虫。绅士和妹子都来看看吧！

疾风。意破天晴

学了一个星期鱼哥的《python零基础系列》终于弄出点东西了！

花了一下午搞了一只“黄虫”。欢迎各位高手指导，新手建议。

方便的easygui 与 强大的beautiful soup是必须的

只要弄清楚网站的结构，找到你要爬取的资源的共同点，合理的匿名和异常处理就基本没有问题了。

代码已更新，最终问题解决——>带作品番号...^_^

代码：

1. import urllib.request as ur
   
2. import urllib.parse as up
   
3. import re
   
4. import easygui as e
   
5. import socket  
   
6. from bs4 import BeautifulSoup
   
7. 
   
8. def find_download(h_soup,where,count):
   
9.       #下面的三条语句是为了分类，过滤取番号。没个网站的特点都不一样，要自己找规律。
   
10.       H = h_soup.find("h1",class_ = "article-title").a.get_text()
    
11.       if H[0] != "【" :
    
12.             try :#有些番号未知
    
13.                   str1 = h_soup.find("h2").span.span.get_text()
    
14.             except :
    
15.                   str1 = "404notfind%d"
    
16.       elif "【广告招租】" in H:
    
17.             return count
    
18.       else :
    
19.             str1 = ''
    
20.             for i in H:
    
21.                   str1 += i
    
22.                   if i == "】":
    
23.                         break
    
24.                   
    
25.       timeout = 10#设置下载被允许的最大时间
    
26.       for l in h_soup.find_all("img",class_ = re.compile("align.+"),src = re.compile(".[a-zA-Z]{3,4}[        DISCUZ_CODE_0        ]quot;)):
    
27.             #下面的if是过滤四个垃圾图片
    
28.             if l["src"] in ["http://ww1.sinaimg.cn/large/e75a115bgw1ezy20gtzgpj20m80b4gol.jpg","http://ww2.sinaimg.cn/mw690/e75a115bgw1f8ambv7odog20a00327h9.gif","http://ww3.sinaimg.cn/mw690/e75a115bgw1f76bno2v7kj20a0032wew.jpg","http://ww2.sinaimg.cn/mw690/e75a115bgw1ezm9k3vracj20by0by0tk.jpg"]:
    
29.                   continue
    
30.             url_fin = l["src"]
    
31.             for i in range(3):#网路或资源问题引发错误最多3次
    
32.                   try :
    
33.                         request_fin = ur.Request(url_fin,headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.43 BIDUBrowser/6.x Safari/537.31'})#匿名
    
34.                         fin_img = ur.urlopen(request_fin,timeout = timeout).read()
    
35.                         break
    
36.                   except :
    
37.                         pass
    
38.             else :
    
39.                   continue
    
40.             file = open(where+"\"+"%s_%d.gif" % (str1,count),'wb')
    
41.             file.write(fin_img)
    
42.             file.close()
    
43.             print("已下载:"+"\n"+"%s_%d.gif" % (str1,count))
    
44.             count += 1
    
45.       return count
    
46. 
    
47.             
    
48. def tryopen(req):#网路有错误最多5次
    
49.       errorTimes = 0
    
50.       while errorTimes != 10:
    
51.             try:
    
52.                   errorTimes += 1
    
53.                   return ur.urlopen(req,timeout = 10).read().decode("utf-8")
    
54.             except:
    
55.                   pass
    
56.       return None
    
57.       
    
58. 
    
59. def main():
    
60.       if e.buttonbox("Are you ready?","黄虫",choices = ("of cause!","i'm Gay.")) == "of cause!":
    
61.             while 1:
    
62.                   have = e.multenterbox("输入你要的页数，如果只要一页就填一样的：","黄虫",fields = ("起始页","结束页"))
    
63.                   if have[0] != '' and have[1] != '':
    
64.                         nice = int(have[0])
    
65.                         day = int(have[1])
    
66.                         if nice > 1000 or day > 1000:
    
67.                               e.msgbox("绅士请注意身体！")
    
68.                               continue
    
69.                         break
    
70.                   e.msgbox("serious?")
    
71.             
    
72.             where = e.diropenbox("你要保存到哪？")
    
73.             i = nice
    
74.             while 1:#分三层
    
75.                   url1 = "http://www.gifjia.com/neihan/page/%d/" % i
    
76.                   request1 = ur.Request(url1,headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.43 BIDUBrowser/6.x Safari/537.31'})#匿名
    
77.                   html1 = tryopen(request1)
    
78.                   h1_soup = BeautifulSoup(html1)#主页
    
79.                   text = '&&!@#$#@' #为了第一次能运行
    
80.                   word = 0#词条数
    
81.                   for j in h1_soup.find_all("a",href = re.compile("[0-9]+/[        DISCUZ_CODE_0        ]quot;)):
    
82.                         if text in j["href"]: #为了防止重复爬，他网站有的url后面多点东西但是表示的和当前页面是同一个意思
    
83.                               continue
    
84.                         word += 1
    
85.                         if word > 11:#词条后面还有未知连接防止爬偏了。。11是因为前面还有一个废连接，一共10个词条。太不智能了。。。
    
86.                               break
    
87.                         url2 = j["href"]
    
88.                         text = url2
    
89.                         count = 0 #主页上每一个词条里的图片编号
    
90.                         request2 = ur.Request(url2,headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.43 BIDUBrowser/6.x Safari/537.31'})#匿名
    
91.                         html2 = tryopen(request2)
    
92.                         try :
    
93.                               h2_soup = BeautifulSoup(html2)#第一层连接副页
    
94.                               count = find_download(h2_soup,where,count)
    
95.                         except:
    
96.                               continue
    
97.                         for k in h2_soup.find_all("a",href = re.compile(j["href"]+"[0-9]+/")):
    
98.                               url3 = k["href"]
    
99.                               if j["href"]+"1/" == k["href"]:#防重复爬第一页
    
100.                                     continue
     
101.                               request3 = ur.Request(url3,headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.43 BIDUBrowser/6.x Safari/537.31'})#匿名
     
102.                               html3 = tryopen(request3)
     
103.                               try :                                    
     
104.                                     h3_soup = BeautifulSoup(html3)#副页还分好多页
     
105.                                     count = find_download(h3_soup,where,count)
     
106.                               except:
     
107.                                     pass
     
108.                   if i >= day:
     
109.                         break
     
110.                   i += 1                  
     
111.       else :
     
112.             e.msgbox("╭∩╮(︶︿︶)╭∩╮")
     
113.       
     
114. 
     
115. if __name__ == '__main__':
     
116.       main()

复制代码

里面用到的知识都是鱼哥讲过的，各位比我还新的手只要努力学一周，这种玩意信手拈来

另外，程序可能还会有些小问题，我会持续更新，把发现的问题解决，也欢迎发现问题的各位反馈

疾风。意破天晴

自顶一下，明天看反馈

xuwei276

我看了一个月啥都没学会~~

疾风。意破天晴

xuwei276 发表于 2016-10-19 19:59
我看了一个月啥都没学会~~

兄弟（女士）不必灰心，只要抛开杂念耐心坐一下午，总能搞点东西出来的

20498.4

你咋学得这么快。。。

wxl123992851

真厉害哦，我学了三四天了，希望能和你一样厉害

疾风。意破天晴

20498.4 发表于 2016-10-19 20:33
你咋学得这么快。。。

工科大学呗，你懂得，太闲了

疾风。意破天晴

wxl123992851 发表于 2016-10-19 20:53
真厉害哦，我学了三四天了，希望能和你一样厉害

加油，我们论坛，静态图片有了，动态图片有了，下一步就，，呵呵，不要误解我的意思啊。

hellozhulei

看看大神

jsjyyjs

怎么搞的

风吹雨起#泪花落

可以的

小剑剑

look

麦农

一下 有没有代码

疾风。意破天晴

麦农 发表于 2016-10-19 21:47
一下 有没有代码

楼下的各位。回复可见

mrya

666啊

无心望月

这么厉害，来学习下！

cuml

342517802

AV??

xxzj01

理清关系结构

如果772815726

我也想变得这么厉害