[已解决]【爬虫】遇到了些问题

昨非

网页源码连接如下view-source:http://www.xbiquge.la/1/1508/1158793.html

网页url如下：http://www.xbiquge.la/1/1508/1158793.html

代码如下：

1. from urllib.request import Request,urlopen
   
2. from fake_useragent import UserAgent
   
3. 
   
4. 
   
5. url = "http://www.xbiquge.la/1/1508/1158793.html"
   
6. 
   
7. headers={
   
8.             "User-Agent":UserAgent().chrome
   
9.             }
   
10. request =Request(url,headers=headers)
    
11.    
    
12. response = urlopen(request)
    
13. print(response.read())  

复制代码

但奇怪的是，响应内容居然是一堆：

1. b'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03\xed|iOcY\x9a\xe6\xf7\x92\xf2?\xb8\x90\xa6+B\xca\xc0A,\x95\x19\x19\xcbH\x95U\xd2\x8c\xd4S]j\xe5h\xba\xd5j\x85\x1c\xe0\x0c\xc8 \x80\x04\x93\x91\xd9\xad\x96l\x8cW\xf0\xc2\xbe\xd8\xec\x06\x82\xd5\x06\x0cx\xf7\x7f\xa9\xf4\xb9\xcb\xa7\xf8\x0b\xf3\xbc\xe7\xbd\xbe\xbe\x06\x13e\xd7|\x9d\xd4\r\xa7\xf1=\xe7=\xef\xbe\x9ds\xef\x8b\xdf\xfe\xf1\x9f\xbe\xfd\xee_\xff\xf2\'[\xbf\xeb\xfd\xa0\xed/\xff\xfb\x0f\xff\xf8?\xbf\xb5u=\xb0\xdb\xff\xcf\xe3o\xed\xf6?~\xf7G\xdb\xbf\xfc\x8f\xef\xfe\xd7?\xdaz\xba\x1f\xda\xbe\x1bu\x0c\x8d\r\xb8\x06\x86\x87\x1c\x83v\xfb\x9f\xfe\xdce\xeb\xeaw\xb9F\xbe\xb1\xdb?|\xf8\xd0\xfd\xe1q\xf7\xf0\xe8[\xfbw\xffl\xff\x99`\xf5\xd0d\xe3\xeb\x03\x97efw\x9f\xab\xaf\xeb\xd5\x17\xbfy!W\xfc\xf9\xfd\xe0\xd0\xd8\xcb\x16pz\x9e={\xc6\xd3y\xb0\xd3\xd1G\xff\x7

复制代码

read之后，无法decode，（我试了一大堆编码方式，全不行）
麻烦各位帮忙看一下
爬虫这方面确实没啥经验

最佳答案

月排行榜 / 总排行榜

逃兵

2021-3-26 17:49:50

1. import requests
   
2. from lxml import html
   
3. 
   
4. url = "http://www.xbiquge.la/1/1508/1158793.html"
   
5. 
   
6. headers={
   
7.             'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
   
8.             }
   
9. request = requests.get(url,headers=headers)
   
10. 
    
11. request = request.content.decode("utf-8")
    
12.    
    
13. selector = html.fromstring(request)
    
14. 
    
15. txt_list = selector.xpath('//div[@id = "content"]/text()')
    
16. 
    
17. txt = ''
    
18. 
    
19. for i in txt_list:
    
20.     i = repr(i).replace(r'\r','').replace(r'\xa0','').replace("'",'')
    
21.     txt +=i
    
22. 
    
23. print(txt)
    

复制代码

跳转到最佳答案楼层

逃兵

1. import requests
   
2. from lxml import html
   
3. 
   
4. url = "http://www.xbiquge.la/1/1508/1158793.html"
   
5. 
   
6. headers={
   
7.             'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
   
8.             }
   
9. request = requests.get(url,headers=headers)
   
10. 
    
11. request = request.content.decode("utf-8")
    
12.    
    
13. selector = html.fromstring(request)
    
14. 
    
15. txt_list = selector.xpath('//div[@id = "content"]/text()')
    
16. 
    
17. txt = ''
    
18. 
    
19. for i in txt_list:
    
20.     i = repr(i).replace(r'\r','').replace(r'\xa0','').replace("'",'')
    
21.     txt +=i
    
22. 
    
23. print(txt)
    

复制代码

昨非

逃兵 发表于 2021-3-26 17:49

谢谢兄弟了，好多表达都没见过
我回去再研究研究，最佳回去后就设置哈

逃兵

昨非 发表于 2021-3-26 17:52
谢谢兄弟了，好多表达都没见过
我回去再研究研究，最佳回去后就设置哈

爬虫也是我的弱项，这我抄的

昨非

逃兵 发表于 2021-3-26 20:55
爬虫也是我的弱项，这我抄的

嗯，我就是最近赶鸭子上架，直接课设上手
问题挺多的

Daniel_Zhang

1. url = "http://www.xbiquge.la/1/1508/1158793.html"
   
2. 
   
3. headers = {
   
4.     'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
   
5. }
   
6. 
   
7. 
   
8. def way_1():
   
9.     import requests
   
10.     html = requests.get(url, headers=headers)
    
11.     html.encoding = 'utf-8'
    
12.     return html.text
    
13. 
    
14. 
    
15. def way_2():
    
16.     from urllib.request import Request, urlopen
    
17.     import gzip
    
18.     request = Request(url, headers=headers)
    
19.     response = urlopen(request)
    
20.     return gzip.decompress(response.read()).decode("utf-8")
    
21. 
    
22. 
    
23. print(way_1())
    
24. print(way_2())
    

复制代码

Daniel_Zhang

上面提供了两种方法

第一个是我自己的，第二个是在你的基础上改良的

百度是个好东西，虽然没谷歌好

https://blog.csdn.net/DylanYuan/article/details/81533105

昨非

Daniel_Zhang 发表于 2021-3-27 00:43
上面提供了两种方法

第一个是我自己的，第二个是在你的基础上改良的

确实，
但现在百度体验越来越差了
净是些个广告

Daniel_Zhang

昨非 发表于 2021-3-27 01:12
确实，
但现在百度体验越来越差了
净是些个广告

还不睡？

你想想哈，百度的对手是谁啊？没有吧应该？没个对手怎么竞争

要不是yahoo和谷歌退出中国市场，百度早就

百度用户，满打满算 14亿，谷歌 70 亿