爬虫爬取妹子图遇到的困难

百里yu

shuofxz 发表于 2016-2-14 23:02
和你遇到一样的问题，应该是煎蛋网禁止爬虫了
用这个网站 www.chunmm.com是可以爬的
代码给 ...

这报错，用的是你发的代码[囧]

EvanX

应该是煎蛋网屏蔽了，我只能爬22张图片就挂了。鱼友有其他办法吗？

EvanX

已解决。原因是获取图片地址时，用了a = html.find('img src=')此查找条件，将'script><!-- niuza -->\r\n\t\t\t\t<script>\r\nvar str=new Array("1.jpg'这个图片地址也查找了出来，然而这个并不是图片地址，故而文件存储出错。所以建议a = html.find('img src="http://ww')，缩小一下查找范围。可破。

另外一个帖子的鱼油提供的方法，OK的。

PatrickTse

zxszx4 发表于 2015-12-23 17:10
首先你的代码能运行，但我的报错和你的不一样，我的报错信息如下

其次，你的报错我看了，是因为字符串 ...

我也是这个错误

PatrickTse

1. OSError: [Errno 22] Invalid argument: 'script><!-- 6-niuza -->\r\n            <script>\r\nvar str=new Array("1.jpg'

复制代码

这是我的报错

zxszx4

PatrickTse 发表于 2017-1-7 20:22
这是我的报错

抱歉，我很久不上论坛了，那个代码也是初学的时候写的，我找不到了。后来我改进了一些，我把我之后的代码给你吧，这个问题好像是有几个正则匹配有问题。

1. import urllib.request
   
2. import os
   
3. 
   
4. def url_open(url):
   
5.    
   
6.     req = urllib.request.Request(url)
   
7.    
   
8.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 5.1; rv:43.0) Gecko/20100101 Firefox/43.0')
   
9.    
   
10.    
    
11.     response = urllib.request.urlopen(req)
    
12.     html = response.read()
    
13. 
    
14.     return html
    
15. 
    
16. def get_page(url):
    
17.     html = url_open(url).decode('utf-8')
    
18.     a = html.find('current-comment-page') + 23
    
19.     b = html.find(']', a)
    
20.     url_pic=html[a:b]
    
21.     return url_pic
    
22. def find_imgs(url):
    
23.     html = url_open(url).decode('utf-8')
    
24.     img_addrs = []
    
25.     a = html.find('查看原图')
    
26.     while a != -1:
    
27.         b = html.find('"', a+27)
    
28.         if b != -1:
    
29.             pic_url="http:"+html[a+25:b]
    
30.             c=pic_url.find(".gif")
    
31.             if c != -1 :
    
32.                 pic_url=pic_url.replace("thumb180","large")
    
33.             img_addrs.append(pic_url)
    
34.         a = html.find('查看原图', b)
    
35. 
    
36.     return img_addrs
    
37.         
    
38. def save_imgs(folder, img_addrs):
    
39.     for each in img_addrs:
    
40.         filename = each.split('/')[-1]
    
41.         ##print("正在保存"+filename)
    
42.         with open(filename, 'wb') as f:
    
43.             img = url_open(each)
    
44.             f.write(img)
    
45. 
    
46. def download_mm(pages=10):
    
47.     folder="/sdcard/Download/cs/"
    
48.     os.chdir(folder)
    
49.     url = 'http://jandan.net/ooxx/'
    
50.     page_num = int(get_page(url))
    
51.     pages=int(pages)
    
52.     for i in range(pages):
    
53.         page_num -= i
    
54.         page_url = url + 'page-' + str(page_num) + '#comments'
    
55.         img_addrs = find_imgs(page_url)
    
56.         save_imgs(folder, img_addrs)
    
57. 
    
58. 
    
59. if __name__ == '__main__':
    
60.     numbers=input("下载几页的呀？")
    
61.     download_mm(numbers)
    

复制代码

因为之前在手机上运行，关于路径那块你自己修改下，有问题自己改改吧。好像100页之后的网页代码有点改变，所以只能搞的页数少一点的。

PatrickTse

zxszx4 发表于 2017-1-12 11:12
抱歉，我很久不上论坛了，那个代码也是初学的时候写的，我找不到了。后来我改进了一些，我把我之后的代码 ...

谢谢你哈

zxszx4

PatrickTse 发表于 2017-1-12 11:14
谢谢你哈

你这24小时在线呀？

cc9200

不够通用，以后遇到别的结构的网站，还得改代码

cc9200

shuofxz 发表于 2016-2-14 23:02
和你遇到一样的问题，应该是煎蛋网禁止爬虫了
用这个网站 www.chunmm.com是可以爬的
代码给 ...

if b != 1:
        img_addrs.append(html[a+22:b+4])


这里应该是b!=-1吧？如果有就返回索引号，没有就返回-1

cc9200

slaynzane 发表于 2016-2-14 22:34
我的也是这个错误，代码检查了好几遍。

IP被封掉了，只能找代理IP，这个很难，要不是这一条，网络上蜘蛛都爬满了

cc9200

starryzwh 发表于 2015-12-24 12:04
import urllib.request
import os
import random

img = url_open(each)

这一行，有可能失败，IP问题

PatrickTse

cc9200 发表于 2017-1-12 15:52
不够通用，以后遇到别的结构的网站，还得改代码

是的，没错

kindy

1. http://ww1.sinaimg.cn/mw600/6cca1403jw1fbhuzwvwgvj20gf0gfjrv.jpg
   
2. http://ww3.sinaimg.cn/mw600/6cca1403jw1fbkhpg08o9j20gb0fxdge.jpg
   
3. http:"//cdn.jandan.net/static/gg/niuza/"+a+"" border="0" /></a>");
   
4. 
   
5. </script><!-- 6-niuza -->
   
6. 
   
7.             <script>
   
8. 
   
9. var str=new Array("1.jpg
   
10. http://cdn.jandan.net/static/gg/dji5.png" border="0" height="145" width="145"></a><!-- 3-DJI-->
    
11. 
    
12.             <a href="//api.jandan.net/money.php?redirect_id=144" target="_blank"><img src="http://s.jandan.com/static/gg/fixate.jpg
    
13. http:http://s.jandan.com/static/gg/bling.jpg
    
14. Traceback (most recent call last):
    
15.   File "D:\Program Files\python_workspace\download_mm.py", line 71, in <module>
    
16.     download_mm()
    
17.   File "D:\Program Files\python_workspace\download_mm.py", line 67, in download_mm
    
18.     save_imgs(folder, img_addrs)
    
19.   File "D:\Program Files\python_workspace\download_mm.py", line 49, in save_imgs
    
20.     for each in img_addrs:
    
21. TypeError: 'NoneType' object is not iterable

复制代码

我的把这个爬出来就报错了。这问怎么解决呢？ 是因为煎蛋网已经加入了 防爬虫的代码吗？
我在这里卡了三个小时了。没找到解决的办法。所以能不能回答一下呢？
感谢

kindy

kindy 发表于 2017-1-13 23:03
我的把这个爬出来就报错了。这问怎么解决呢？ 是因为煎蛋网已经加入了 防爬虫的代码吗？
我在这里卡了 ...

就是爬到 这里就报错了

1. http:"//cdn.jandan.net/static/gg/niuza/"+a+"" border="0" /></a>");
   
2. 
   
3. </script><!-- 6-niuza -->
   
4. 
   
5. &#160; &#160;&#160; &#160;&#160; &#160;&#160; &#160;<script>
   
6. 
   
7. var str=new Array("1.jp

复制代码

为什么呢？ 请教一下