[已解决]python爬虫爬取贴吧图

德坤python

跟着视频一步步敲代码的，也没有提示错误。就是无法打印，怀疑是正则的问题，但是和老师的对比了好几遍，还是找不到错误点在哪
谢谢大家了

1. import urllib.request
   
2. import re
   
3. 
   
4. def open_url(url):
   
5.     req = urllib.request.Request(url)
   
6.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 ')
   
7.     page = urllib.request.urlopen(req)
   
8.     html = page.read().decode('utf-8')
   
9. 
   
10.     return url
    
11. 
    
12. def get_img(html):
    
13.     p = r'<img class="BDE_Image" src="([^"]+\.jpg)"'
    
14.     imglist = re.findall(p,html)
    
15. 
    
16.     for each in imglist:
    
17.          filename = each.split("/")[-1]
    
18.          urllib.request.urlretrieve(each,filename,None)
    
19. 
    
20. if __name__ == '__main__':
    
21.     url = "http://tieba.baidu.com/p/3563409202"
    
22.     get_img(open_url(url))
    

复制代码

最佳答案

月排行榜 / 总排行榜

小火木

2016-7-19 21:37:56

1. import urllib.request
   
2. import re
   
3. 
   
4. def open_url(url):
   
5.     req = urllib.request.Request(url)
   
6.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 ')
   
7.     page = urllib.request.urlopen(req)
   
8.     html = page.read().decode('utf-8')
   
9. 
   
10.     return html #这里返回值错了
    
11. 
    
12. def get_img(html):
    
13.     p = r'<img class="BDE_Image" src="([^"]+\.jpg)"'
    
14.     imglist = re.findall(p,html)
    
15.     n=0
    
16.     for each in imglist:
    
17.          n+=1
    
18.          filename ='美女'+str(n)+'.jpg' #这里的是图片的名称
    
19.         # filename = each.split("/")[-1]
    
20. 
    
21.          local=r'E:\py\file\贴吧' #这是你想保存的位置
    
22.          urllib.request.urlretrieve(each,local+'\\'+filename) ##这个函数filename参数（第二个参数）是完整的路径，而不是图片的名称
    
23.    
    
24. 
    
25. if __name__ == '__main__':
    
26.     url = "http://tieba.baidu.com/p/3563409202"
    
27.     get_img(open_url(url))
    

复制代码

跳转到最佳答案楼层

shuofxz

这个视频出了也有很长时间了，贴吧网页的源代码可能已经改变，所以用原来的程序就不能正常执行了
你可以通过单步调试，查找一下到底是那步出现了问题，还有你打印一下正则匹配完成后的网址，看是不是图片的地址。

下面是我之前写的一个爬贴吧图片的代码，比较简单，你也可以参考一下
http://bbs.fishc.com/thread-68903-1-1.html

德坤python

shuofxz 发表于 2016-7-18 21:02
这个视频出了也有很长时间了，贴吧网页的源代码可能已经改变，所以用原来的程序就不能正常执行了
你可以通 ...

我起初也以为是这个问题，后来将视频暂停与现在贴吧的源码格式进行对比。然而源码格式并没有变化，
不过还是谢谢你了

litang1017

小火木

小火木

1. import urllib.request
   
2. import re
   
3. 
   
4. def open_url(url):
   
5.     req = urllib.request.Request(url)
   
6.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 ')
   
7.     page = urllib.request.urlopen(req)
   
8.     html = page.read().decode('utf-8')
   
9. 
   
10.     return html #这里返回值错了
    
11. 
    
12. def get_img(html):
    
13.     p = r'<img class="BDE_Image" src="([^"]+\.jpg)"'
    
14.     imglist = re.findall(p,html)
    
15.     n=0
    
16.     for each in imglist:
    
17.          n+=1
    
18.          filename ='美女'+str(n)+'.jpg' #这里的是图片的名称
    
19.         # filename = each.split("/")[-1]
    
20. 
    
21.          local=r'E:\py\file\贴吧' #这是你想保存的位置
    
22.          urllib.request.urlretrieve(each,local+'\\'+filename) ##这个函数filename参数（第二个参数）是完整的路径，而不是图片的名称
    
23.    
    
24. 
    
25. if __name__ == '__main__':
    
26.     url = "http://tieba.baidu.com/p/3563409202"
    
27.     get_img(open_url(url))
    

复制代码

williamH

正则表达式是空的。。。

williamH

感觉都是错在正则表达式那里，就可以试一下在imglist 下面加一条print（imglist）会发现列表为空，但真不知道怎么改，希望有大佬可以告知，谢谢//