056的爬去妹子图程序

boat_1987

我写了和小甲鱼老师一样的程序，一直报错 HTTP Error 403: Forbidden。这是必须要用代理才行吗？

1. import urllib.request
   
2. import os
   
3. import random
   
4. 
   
5. def url_open(url):
   
6.     req=urllib.request.Request(url)
   
7.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')
   
8. 
   
9.     '''
   
10.     proxies=['111.121.210.159:9999','182.202.115.145:9999','60.214.241.31:9999','39.170.245.115:8123']
    
11.     proxy=random.choice(proxies)
    
12. 
    
13.     proxy_support=urllib.request.ProxyHandler({'http':proxy})
    
14.     opener=urllib.request.build_opener(proxy_support)
    
15.     urllib.request.install_opener(opener)
    
16.     '''
    
17.     response=urllib.request.urlopen(url)
    
18.     html=response.read()
    
19. 
    
20.     return html
    
21. def get_page(url):#获取首页中隐藏的页码
    
22.     #首先打开网页，并做一定的隐藏（修改add_header）
    
23.     html=url_open(url).decode('utf-8')
    
24.     #然后在读取的html中查找到所需的页码
    
25.     a=html.find('current-comment-page')+23#c的编号为0，第23个编号为审查元素中的页码的第一个数字
    
26.     b=html.find(']',a)
    
27.     print(html[a:b])
    
28.     return html[a:b]
    
29. def find_imgs(url):#获取页面中图片的地址
    
30.     html=url_open(url).decode('utf-8')
    
31.     img_addrs=[]
    
32. 
    
33.     a=html.find('img src=')
    
34.     while a!=-1:
    
35.         b=html.find('.jpg',a,a+255)
    
36.         if b!=-1:#b=-1表示没有find到
    
37.             img_addrs.append('http:'+html[a+9:b+4])
    
38.             print('http:'+html[a+9:b+4])
    
39.         else:
    
40.             b=a+9
    
41.         a=html.find('img src=',b)
    
42.     return img_addrs
    
43. 
    
44. def save_imgs(floder,img_addrs):#将图片保存在文件夹
    
45.     for each in img_addrs:
    
46.         print(each)
    
47.         filename=each.split('/')[-1]
    
48.         with open(filename,'wb') as f:
    
49.             img=url_open(each)#打开图片的链接
    
50.             f.write(img)
    
51. 
    
52. def download_mm(floder='OOXX',pages=5):
    
53.      os.mkdir(floder)
    
54.      os.chdir(floder)
    
55. 
    
56.      url='http://jandan.net/ooxx/'
    
57.      page_num=int(get_page(url))#获取首页中隐藏的页码
    
58. 
    
59.      for i in range(page_num):
    
60.          page_num-=i
    
61.          page_url=url+'page-'+str(page_num)#页面的网址
    
62.          img_addrs=find_imgs(page_url)#获取页面中图片的地址
    
63.          save_imgs(floder,img_addrs)#将图片保存在文件夹
    
64. 
    
65. if __name__=='__main__':
    
66.     download_mm()

复制代码

boat_1987

添加了代理报错这个玩意：好难受呀。。。
urllib.error.URLError: <urlopen error [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。>

hldh214

403 就是被服务器 ban 了
如果手动用浏览器可以访问到图片的话, 尝试着多模拟一些浏览器的环境吧 (包括但不限于 UA, Cookie, Referer..........)

大大甲甲鱼鱼

   b=html.find('.jpg',a,a+255)为啥我的B等于-1

yuzhouyichen

我觉得 HTTP Error 403: Forbidden  意思是被禁了，小甲鱼代码有问题  response=urllib.request.urlopen(url)   里面不应该是url,而应该是req ,不然前面你那User-Agent岂不是白写了，另外你就是写对了 现在也爬不了了 因为煎蛋网改了反扒机制

teribsandy

yuzhouyichen 发表于 2018-4-20 21:54
我觉得 HTTP Error 403: Forbidden  意思是被禁了，小甲鱼代码有问题  response=urllib.request.urlopen(ur ...

1. import os
   
2. import urllib2
   
3. 
   
4. def url_open(url):
   
5.         request=urllib2.Request(url)
   
6.         request.add_header('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36')
   
7.         response=urllib2.urlopen(request)
   
8.         html=response.read()
   
9.         return html
   
10. 
    
11. def find_image(url):
    
12.         html=url_open(url).decode('utf-8')
    
13.         image_address=[]
    
14. 
    
15.         a=html.find('img src=')
    
16.         while a!=-1:
    
17.                 b=html.find('.jpg',a,a+255)
    
18.                 if b != -1:
    
19.                         image_address.append(html[a+9:b+4])
    
20.                 else:
    
21.                         b=a+9
    
22. 
    
23.                 a=html.find('img src=',b)
    
24. 
    
25.         for each in image_address:
    
26.                 print each
    
27. 
    
28. find_image('http://jandan.net/ooxx/page-87#comments')

复制代码

这是煎蛋网上某张妹子图的地址：
<img src="http://wx3.sinaimg.cn/mw600/0076BSS5ly1fqjjkv6w6rj30p00go0u3.jpg" style="max-width: 480px; max-height: 750px;">

代码运行成功，却什么也没有打印出来，只显示[Finished in 0.2s]。请问是因为反爬机制吗？是不是可以理解成煎蛋网把这些图片地址加密了？所以图片地址看上去是html[a+9:b+4]，但实际不是。但是即便如此，        for each in image_address: print each 也应该输出点什么，即便不是图片地址。 求解答～～～～～

yuzhouyichen

teribsandy 发表于 2018-4-21 23:25
这是煎蛋网上某张妹子图的地址：

python2版本？或许因为什么都没爬到，列表里为空的原因吧，你试试list1 = []  for i in list1: print i  会不会出现Finished in 0.2s。