[已解决]关于爬虫的一个问题

第一浩男

错误：

1. 请输入网址:https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6
   
2. Traceback (most recent call last):
   
3.   File "F:\Py\课堂练习.py", line 37, in <module>
   
4.     the_list = spider.load_page()
   
5.   File "F:\Py\课堂练习.py", line 29, in load_page
   
6.     item_list = pattern.findall(self.file)
   
7. TypeError: cannot use a string pattern on a bytes-like object

复制代码

程序：

1. # _*_ coding:utf-8_*_
   
2. import urllib.request
   
3. import re
   
4. 
   
5. class Spider:
   
6.     '''
   
7.        微博热搜的一个爬虫类
   
8.     '''
   
9.     def load_page(self):
   
10.         user_agent = 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)'
    
11.         headers = {'User-Agent':user_agent}
    
12. 
    
13.         self.html = input('请输入网址:')
    
14.         self.req = urllib.request.Request(self.html,headers = headers)
    
15. 
    
16.         self.response = urllib.request.urlopen(self.req)
    
17.         self.file = self.response.read()
    
18. 
    
19.         # （将解读出来的代码按gbk格式进行解压之后再按utf-8格式压缩，
    
20.         #   防止解读出来的代码和本地编码方式不一样而出现乱码）
    
21.         #self.new_file = self.file.decode('gbk').encode('utf-8')
    
22. 
    
23.         #用正则表达式过滤文字
    
24.         
    
25.         pattern = re.compile(r'<a.*?target="_blank">(.*?)</a>',re.S)
    
26.         
    
27.         #找到所有匹配表达式的pattern后放入一个列表中
    
28.         
    
29.         item_list = pattern.findall(self.file)
    
30.         
    
31.         return item_list
    
32. 
    
33. 
    
34. # main
    
35. if __name__ == "__main__":
    
36.     spider = Spider()
    
37.     the_list = spider.load_page()
    
38.     for i in the_list:
    
39.         print (i)
    
40.    

复制代码

最佳答案

月排行榜 / 总排行榜

kaohsing

2019-5-14 20:36:31

self.file = self.response.read()  这个是二进制流，这里需要解码，然后后面的正则才可起作用。
如果不解码，后面的匹配语句需要修改。最后匹配出还是二进制数据，还是需要解码。

跳转到最佳答案楼层

kaohsing

self.file = self.response.read()  这个是二进制流，这里需要解码，然后后面的正则才可起作用。
如果不解码，后面的匹配语句需要修改。最后匹配出还是二进制数据，还是需要解码。

kaohsing

[attachimg]111007[/attachimg

wp231957

findall后面要跟字符串，你的不是，所以报错

kaohsing

1. # _*_ coding:utf-8_*_
   
2. '''
   
3. py3.7  pycharm
   
4. '''
   
5. import urllib.request
   
6. import re
   
7. 
   
8. class Spider:
   
9.     def load_page(self):
   
10.         
    
11.         user_agent = 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)'
    
12.         headers = {'User-Agent': user_agent}
    
13.         html = 'https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6'
    
14.         
    
15.         req = urllib.request.Request(html, headers=headers)
    
16.         response = urllib.request.urlopen(req)
    
17.         
    
18.         file = response.read().decode('utf-8')
    
19.         pattern = re.compile(r'<a.*?target="_blank">(.*?)</a>', re.S | re.M)
    
20.         item_list = pattern.findall(file)
    
21.         return item_list
    
22. 
    
23. if __name__ == "__main__":
    
24.     spider = Spider()
    
25.     the_list = spider.load_page()
    
26.     for i in the_list:
    
27.         print(i)

复制代码