[已解决]爬妹子图 mm131.com失败 求助

Unicorn#

爬取妹子图
https://www.mm131.net/xinggan/5164.html

爬取到的都是同一张广告图片， 应该是被反爬了
发不了图片2333把图片转码发了

1. import urllib.request as ur
   
2. import os
   
3. import random
   
4. 
   
5. headers = {}
   
6. headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
   
7.    
   
8. proxy_ip = [{'http':'125.123.122.52:9999'}, {'http':'61.189.242.243:55484'}, {'http':'120.26.199.103:8118'}, {'http':'117.90.4.17:9000'}, {'http':'125.123.66.53:9999'}, {'http':'125.123.127.188:9999'}, {'http':'180.117.128.145:8118'}, {'http':'183.129.244.16:12154'}]
   
9. 
   
10. def get_proxy():
    
11.     r = random.randint(0, 7)
    
12.     ip = proxy_ip[r]
    
13.     proxy_support = ur.ProxyHandler(ip)
    
14.     opener = ur.build_opener(proxy_support)
    
15.     return opener
    
16. 
    
17. def save_pic(pic_link, pic_name, dir_name, head=headers):
    
18.     req = ur.Request(url=pic_link, headers=head)
    
19.     opener = get_proxy()
    
20.     pic_content = opener.open(req).read()
    
21.     path = '\\' + dir_name + '\\' + pic_name +'.jpg'
    
22.     with open(path, 'wb') as file:
    
23.         file.write(pic_content)
    
24.     return
    
25.    
    
26. 
    
27. def get_name(url, head=headers):
    
28.     req = ur.Request(url=url, headers=head)
    
29.     opener = get_proxy()
    
30.     temp = opener.open(req).read().decode('gbk')
    
31.     a = temp.find('<div class="content">') + 30
    
32.     b = temp.find('</h5>', a)
    
33.     name = temp[a:b]
    
34.     folder = '\\%s'%name
    
35.     if not os.path.exists(folder):
    
36.         os.mkdir(folder)
    
37.     return name
    
38.    
    
39. class pic():
    
40.     def __init__(self, url, head, name, h=headers):
    
41.         self.head = head
    
42.         self.url = url.replace(self.head, '')
    
43.         self.name = name
    
44.         self.page = 1
    
45.         self.islast = False
    
46.         self.h = h
    
47.         
    
48.     def __iter__(self):
    
49.         return self
    
50. 
    
51.     def __next__(self):
    
52.         if self.islast:
    
53.             raise StopIteration
    
54.         url = self.head + self.url
    
55.         req = ur.Request(url=url, headers=self.h)
    
56.         opener = get_proxy()
    
57.         temp = opener.open(req).read().decode('gbk')
    
58.         page_name = self.name + '(图%d)'%self.page
    
59.         temp_pic = temp.find(page_name) + len(page_name) + 7
    
60.         temp_pic_end = temp.find('" />', temp_pic)
    
61.         pic_link = temp[temp_pic:temp_pic_end]
    
62.         self.page += 1
    
63.         a = temp.find('\' class="page-en">%d</a>'%self.page)
    
64.         if a == -1:
    
65.             self.islast = True
    
66.         b = temp.rfind('\'', 0, a) + 1
    
67.         self.url = temp[b:a]
    
68.         return (pic_link, page_name)
    
69.                
    
70. 
    
71. 
    
72. def downloader(url = 'https://www.mm131.net/xinggan/5164.html', head = 'https://www.mm131.net/xinggan/'):
    
73.     name = get_name(url)
    
74.     pics = pic(url, head, name)
    
75.     page = 0
    
76.     for each_pic in pics:
    
77.         page += 1
    
78.         print('正在寻找第%d张图片...'%page)
    
79.         (link, pic_name) = each_pic
    
80.         print('正在下载第%d张图片...'%page)
    
81.         save_pic(link, pic_name, name)
    
82.         print('第%d张图片下载完成'%page)
    
83.             
    
84. if __name__ == '__main__':
    
85.     downloader()

复制代码

最佳答案

月排行榜 / 总排行榜

XiaoPaiShen

2019-10-11 22:58:27

Unicorn# 发表于 2019-10-11 20:14
访问网站网址不会，但是访问图片地址才会
这种没法解吗

该网站有 umuuid参数加密 反爬虫机制，我还没找到破解的方法

跳转到最佳答案楼层

wongyusing

header少了refer参数

qq1046764742

加了referer也不行

Unicorn#

wongyusing 发表于 2019-10-9 10:23
header少了refer参数

不是refer的问题，图片被网站替换掉了

qq1046764742

有好的解决方案吗，我也碰到过这种问题

Stubborn

网站源码，有图片链接，请求下来，响应里面也有。

1. url = "https://www.mm131.net/xinggan/5164.html"
   
2. print(requests.get(url).text)

复制代码

Unicorn#

Stubborn 发表于 2019-10-10 16:30
网站源码，有图片链接，请求下来，响应里面也有。

能够找到图片链接的，但是光用浏览器访问，多次访问之后都被强行跳转。
用python访问每次都会被跳转，改headers和用代理都不行

Stubborn

Unicorn# 发表于 2019-10-10 23:41
能够找到图片链接的，但是光用浏览器访问，多次访问之后都被强行跳转。
用python访问每次都会被跳转，改 ...

浏览器都会被跳转，爬虫就没有什么用啦

Unicorn#

Stubborn 发表于 2019-10-11 00:12
浏览器都会被跳转，爬虫就没有什么用啦

访问网站网址不会，但是访问图片地址才会
这种没法解吗

YongQing

XiaoPaiShen

Unicorn# 发表于 2019-10-11 20:14
访问网站网址不会，但是访问图片地址才会
这种没法解吗

该网站有 umuuid参数加密 反爬虫机制，我还没找到破解的方法

明天会更更好

还没有学会爬，不过网址不错，以后学 得爬来试试