[已解决]爬虫返回页面内容没有图片地址

小章郎

1. import urllib.request
   
2. import re
   
3. 
   
4. def url_open(url):
   
5.     req = urllib.request.Request(url)
   
6.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0')
   
7.     req.add_header('Referer', 'https://tieba.baidu.com/p/5961757739')
   
8.     response = urllib.request.urlopen(req)
   
9.     html = response.read().decode('utf-8')
   
10.     print(html)
    
11.     return html
    
12. 
    
13. def get_img(html):
    
14.     p = r'<img class="BDE_Image" src="([^"]+\.jpg)"'
    
15.     imglist = re.findall(p, html)
    
16.     for each in imglist:
    
17.         filename = each.split('/')[-1]
    
18.         urllib.request.urlretrieve(each,filename,None)
    
19. 
    
20. 
    
21. if __name__ == '__main__':
    
22.     html = url_open('https://tbmsg.baidu.com/gmessage/get?mtype=1&_=1543322273495')
    
23.     get_img(html)
    

复制代码

上面是视频教材里用爬虫访问女神吧的代码，然鹅，并没能返回任何图片地址

审核元素时是有的啊，我尝试打印返回的页面内容却发现是这样的 好像是json结构吗？可是里面也没有图片地址啊？这个问题要怎么解决，请大大赐教

最佳答案

月排行榜 / 总排行榜

wongyusing

2018-11-28 10:14:19

这个只是js在作妖，找到那段js看一下是怎么做的。改写成python就好啦

跳转到最佳答案楼层

wongyusing

看网页源代码，看什么审查元素啊？？审查元素现在没什么用处

塔利班

别管教材，你url复制到浏览器看看是什么

小章郎

wongyusing 发表于 2018-11-27 22:23
看网页源代码，看什么审查元素啊？？审查元素现在没什么用处

查看网页源代码，一片乱乱的怎么破，大大详细些

小章郎

塔利班 发表于 2018-11-27 22:25
别管教材，你url复制到浏览器看看是什么

用审查元素得到的url复制到浏览器可以正常打开，大大帮我看看，这个图是环保的不会破你童子功的，你放心打开吧

小章郎

wongyusing 发表于 2018-11-27 22:23
看网页源代码，看什么审查元素啊？？审查元素现在没什么用处

我发现无论是煎蛋网，爬ip代理的代理ip或者上面这个都出现审核得到的东西，等读取网页返回的东西时了，东西就不一样了，甚至没有，这个大大一定要详细点说，本人零基础，请不吝赐教

wongyusing

这个只是js在作妖，找到那段js看一下是怎么做的。改写成python就好啦

小章郎

wongyusing 发表于 2018-11-28 10:14
这个只是js在作妖，找到那段js看一下是怎么做的。改写成python就好啦

大大说的js是什么？

wongyusing

小章郎 发表于 2018-11-28 20:04
大大说的js是什么？

javascript