爬虫遇到的小问题

ianv

在爬“优美图”这个网站时，遇到了正则表达式上的一些问题。
网站的图片代码为

1. <img id="item_d_56716098" class="img ui-draggable" alt="1M" width="245px" height="200px" src="http://fc.topitme.com/c/fb/fc/114846745695efcfbcm.jpg" style="position: relative;">

复制代码

用正则表达式提出图片地址，将表达式写成

1. p=r'width="245px" height="200px" src="(.*?)"'

复制代码

时可以提取，但是当我用

1. p=r'width="245px" height="200px" src="(.*?)" style="position: relative;">'

复制代码

这个表达式时不可以。求问是什么原因？谢谢。整个爬虫的完整代码为：

1. import urllib.request as u
   
2. import re
   
3. import os
   
4. 
   
5. os.mkdir("youmei")
   
6. os.chdir("youmei")
   
7. 
   
8. def open_url(url):
   
9.         req=u.Request(url)
   
10.         req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 UBrowser/5.5.7386.17 Safari/537.36')
    
11.         r=u.urlopen(req)
    
12.         html=r.read().decode('utf-8')
    
13.         return html
    
14. 
    
15. def get_img(html):
    
16.         p=r'width="245px" height="200px" src="(.*?)" style="position: relative;">'
    
17.         imglist=re.findall(p,html,re.S)
    
18. 
    
19.         for each in imglist:
    
20.                 filename=each.split('/')[-1]
    
21.                 u.urlretrieve(each,filename,None)
    
22. '
    
23. if __name__=='__main__':
    
24.         url='http://www.topit.me/pop'
    
25.         get_img(open_url(url))
    
26.                
    

复制代码

hldh214

1. 楼主你这个url里面的图片的标签不是你这个样的,而是类似

1. <img id="item_d_57248120" class="img" alt="1M" width="245px" height="200px" src="http://f3.topitme.com/3/34/65/114942719489a65343m.jpg" />

复制代码

这样的,你那样写当然匹配不到
2. 推荐楼主使用re.compile()预编译正则表达式,这样能加快代码执行速度,不必每次执行查找都编译一次
3. 推荐使用环视的语法,这样可以让你的代码可读性增加,具体语法可以看文档,也可以Google一下
4. 稍微注意下正则表达式的贪婪模式和懒惰模式
附我修改的代码,共同学习,一起进步~

1. import urllib.request as u
   
2. import re
   
3. import os
   
4. import time
   
5. 
   
6. #os.mkdir("youmei")
   
7. #os.chdir("youmei")
   
8. if not os.path.exists('youmei'):
   
9.         os.mkdir('youmei')
   
10. os.chdir('youmei')
    
11. re_get_img = re.compile(r'(?<=width="245px" height="200px" src=").*?(?=" /></a></div>)') # 预编译正则表达式
    
12. 
    
13. def open_url(url):
    
14.         req=u.Request(url)
    
15.         req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 UBrowser/5.5.7386.17 Safari/537.36')
    
16.         r=u.urlopen(req)
    
17.         html=r.read().decode('utf-8')
    
18.         return html
    
19. 
    
20. def get_img(html):
    
21.         #p=r'width="245px" height="200px" src="(.*?)" style="position: relative;">'
    
22.         #imglist=re.findall(p,html,re.S)
    
23. 
    
24.         #for each in imglist:
    
25.         #        filename=each.split('/')[-1]
    
26.         #        u.urlretrieve(each,filename,None)
    
27. 
    
28.                 img_list = re_get_img.findall(html)
    
29.                 for each in range(len(img_list)):
    
30.                         print('正在下载第%d张图片...' % (each + 1))
    
31.                         try:
    
32.                                 img_file = u.urlopen(img_list[each])
    
33.                                 f = open(str(each) + '.jpg', 'wb')
    
34.                                 #我使用的是原始的open来写数据(小甲鱼老师的坑~),urllib.request.urlretrieve()是很棒的方法,效率甩open几条街,受教了~
    
35.                                 f.write(img_file.read())
    
36.                                
    
37.                         except:
    
38.                                 print('第%d张图片下载失败!' % (each + 1))
    
39.                                 time.sleep(3)
    
40.                         f.close()
    
41. 
    
42. if __name__=='__main__':
    
43.         url='http://www.topit.me/pop'
    
44.         get_img(open_url(url))
    
45.                
    

复制代码

ianv

@～风介～

～风介～

ianv 发表于 2015-11-29 23:08
@～风介～

说来惭愧，正则表达式我也是学艺不精啊~@小甲鱼

yjp369

what

xiao_xiao

@鱼神解决下，正好我们也学习下(*^__^*) 嘻嘻……

ianv

hldh214 发表于 2015-11-29 23:07
1. 楼主你这个url里面的图片的标签不是你这个样的,而是类似这样的,你那样写当然匹配不到
2. 推荐楼主使用r ...

太感谢啦