爬取知乎

私はり

各位大佬好，我想要爬取知乎某一个问题下的回答，但是好像被反爬了，不知道怎么解决，以下是我的代码

1. import urllib.request
   
2. from lxml import etree
   
3. 
   
4. def creat_request():
   
5.     url = 'https://www.zhihu.com/question/291457090/answer/572425905'
   
6.     headers = {
   
7.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36'
   
8.     }
   
9. 
   
10.     request = urllib.request.Request(url = url,headers = headers)
    
11. 
    
12.     return request
    
13. 
    
14. def get_content(request):
    
15.     response = urllib.request.urlopen(request)
    
16. 
    
17.     content = response.read().decode('utf-8')
    
18. 
    
19.     return content
    
20. 
    
21. def down_load(content):
    
22.     tree = etree.HTML(content)
    
23. 
    
24.     name_list = tree.xpath('//*[@id="QuestionAnswers-answers"]//div[@class="List-item"]//div[@class="RichContent-inner"]//p//text()')
    
25.     for i in range(len(name_list)):
    
26.         name = name_list[i]
    
27.         print(name)
    
28.     with open("攀枝花对四川的认同感.txt",'w',encoding='utf-8')as fp:
    
29.         fp.write(str(name_list))
    
30. 
    
31. 
    
32. 
    
33. if __name__ == '__main__':
    
34.     request = creat_request()
    
35.     content = get_content(request)
    
36.     down_load(content)

复制代码

月下孤井

没有被反爬,是你的xpath写错了,去掉前面的//*[@id="QuestionAnswers-answers"]//div[@class="List-item"]

私はり

月下孤井 发表于 2022-5-20 17:04
没有被反爬,是你的xpath写错了,去掉前面的//*[@id="QuestionAnswers-answers"]//div[@class="List-item"]

修改了xpath返回的还是一个空列表啊，之前那个xpath路径我用浏览器哪个插件能够检索到想要的内容

月下孤井

我这里运行着在down_load函数里print(content)是有正确值的,xpath之后就没有了,改了xpath后运行结果都是没问题的