爬点性感的。初学者Eclipse下python2.7爬虫

mavericks

lilyef2000 发表于 2015-9-8 15:50
我的就是python2.7，运行有问题

什么问题？能贴报错看看吗？

a794581572

看看 嘿嘿

a794581572

最近在学python3版的 如果是3版的就好了

Gordonzf

顶~~~

lilyef2000

mavericks 发表于 2015-9-14 08:28
什么问题？能贴报错看看吗？

今天闲着没事调了一下，通过了，有一点改动，贴上代码

1. # -*- coding: utf-8 -*-
   
2. 
   
3. import re
   
4. import os
   
5. import urllib2
   
6. import urllib
   
7. #打开URL
   
8. def url_open(url):
   
9. req=urllib2.Request(url)
   
10. req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.89 Safari/537.36')
    
11. resp=urllib2.urlopen(req)
    
12. html=resp.read()
    
13. return html
    
14. #找到有图片的链接
    
15. def get_page(url):
    
16. html=url_open(url)
    
17. find_html=r'<a target="_blank" href="(http://www.mm131.com/xinggan/\d{3}\d?\.html)">'
    
18. htmllist=re.findall(find_html,html)
    
19. return htmllist
    
20. #在链接中找图片
    
21. def get_img(url):
    
22. html=url_open(url)
    
23. #获得图片数量
    
24. find_img_num=r"<a href='\d{3}\d?_\d\d?\.html' "
    
25. img_num=len(re.findall(find_img_num,html))
    
26. #获得图片编号
    
27. find_img_id=r"<a href='(\d{3}\d?)_\d\d?\.html' "
    
28. img_id=(re.findall(find_img_id,html))[0]
    
29. #图片链接的规律是http://img1.mm131.com/pic/\d{3}\d/\d\d?\.jpg,其中第二个数字是从1到图片总量的数字
    
30. #根据这个规律，以下是寻找图片的链接保存在一个列表
    
31. num=1
    
32. imglist=[]
    
33. for eachimg in range(0,img_num,1):
    
34.   eachimg='http://img1.mm131.com/pic/%s/%s.jpg' %(img_id,str(num))
    
35.   imglist.append(eachimg)
    
36.   num+=1
    
37. return img_id,img_num,imglist
    
38. #下载图片
    
39. def download():
    
40. url='http://www.mm131.com/xinggan/'#这个是性感美女板块的第一页，可以模仿上面找规律方法，并通过循环来下载所有页或其他板块
    
41. h=get_page(url)
    
42. if not os.path.exists('Beauty'):
    
43.         os.mkdir('Beauty')
    
44. os.chdir('Beauty')
    
45. for eachhtml in h:
    
46.   (pid,num,piclist)=get_img(eachhtml)
    
47.   if not os.path.exists(pid):
    
48.     os.mkdir(pid)
    
49.   os.chdir(pid)
    
50.   for eachpic in piclist:
    
51.    eachpic_name=(eachpic).split('/')[-1]
    
52.    if not os.path.exists(eachpic_name):    #同个美女保存在一个以美女编号为名的文件夹
    
53.      urllib.urlretrieve(eachpic,eachpic_name,None)
    
54.   print u'已成功获取',num,u'张图片保存于',pid,u'中,正在获取下一批,请耐心等待...'
    
55.   os.chdir('E:\mm')#这个相当于返回上一个文件夹
    
56. print u'获取完毕!'
    
57. download()
    

复制代码

开头加入了代码声明
# -*- coding: utf-8 -*-
import reimport os
改为
import re
import os

os.chdir('F:\\workspace\\Reptile\\src\\MyReptile\Beauty')#这个相当于返回上一个文件夹
这一句是要存在这样的目录才能通过的，我在我的E盘建了个mm文件夹，代码改成了
os.chdir('E:\mm')
调试通过

夕阳游龙

看着都是黄的！

mavericks

lilyef2000 发表于 2015-9-15 19:59
今天闲着没事调了一下，通过了，有一点改动，贴上代码

啊，对对，那会贴代码的时候按错键了。

影子

激动人心无法言表

夕阳游龙

哈哈，有涉及黄！

jtydxx

thanks

qqqq79852852

水电经验把

lengyudu

芝麻开门

山歌

学习学习！！！

节操

66666666666666

我疯狂我成功

棒棒哒

screenswindow

居然没有美女镇楼

Jeremysssss

谢谢分享

chuxue

搜索东方闪电

mavericks

都散了吧，网站被和谐了。。。

不坏不修

看看