正则爬微博图

xiongjingkui

如图，用的正则爬微博图片，结果出现如下错误，求大神支招

1. import urllib.request as g
   
2. import os
   
3. import re
   
4. 
   
5. def url_open(url):
   
6.     req = g.Request(url)
   
7.     req.add_header('User-Agent:','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36')
   
8.     response = g.urlopen(req)
   
9.     html = response.read()
   
10.     return html
    
11. 
    
12. 
    
13. def get_img(folder,html):
    
14.     p = r'<img class="bigcursor" src="([^"]+\.jpg)"'
    
15.     img_list = re.findall(p,html.decode('utf-8'))
    
16.     for each in img_list:
    
17.         filename = each.split('/')[-1]
    
18.         with open(filename,'wb') as f:
    
19.             img = url_open(each)
    
20.             f.write(img)
    
21.             
    
22. def download(folder = '意境图'):
    
23.     os.mkdir(folder)
    
24.     os.chdir(folder)
    
25.     html = url_open(url)
    
26.     get_img(folder,html)
    
27.    
    
28. if __name__ == "__main__":
    
29.     url = "http://weibo.com/u/1887302565/home?end_id=3875416122685488&pre_page=1&page=2"
    
30.     download()

复制代码

ft3312591

好像是编码问题，具体不明。。。

fre

我试了下 用gb2312 可以解码 不过解出来的 不是内容页
你访问的时候 他给你跳到登录页面了 不是给你内容页
估计要先进行登录之类的操作

fre

直接不解码 进行read()就可以看到 他返回的页面是gb2312编码的

fre

估计要在header里面 增加cookie这样?

xiongjingkui

fre 发表于 2015-8-13 17:13
估计要在header里面 增加cookie这样?

恩，试了试gb2312解码，错误是没有了，可惜没匹配到图

fre

xiongjingkui 发表于 2015-8-13 17:24
恩，试了试gb2312解码，错误是没有了，可惜没匹配到图

因为他返回的不是我们看到的那个个人主页 是一个登录的页面....

遇到这种一步一步测试 你现在可以直接把你decode之后的数据打印一下就知道了..

我试了下 浏览器 没登录也可以看.python里面不行 会跳转 估计是微博有什么防抓取了..
光设置user-agent已经不行了 要加上其他设置 让服务器以为你是正常人..才能返回正确数据

xiongjingkui

fre 发表于 2015-8-13 17:29
因为他返回的不是我们看到的那个个人主页 是一个登录的页面....

遇到这种一步一步测试 你现在可以直 ...

噢，对的，我这复制的是我个人的主页，明白了明白了，中间还有这么一道卡，估计是设置的保护个人隐私的，谢谢啦