[已解决]翻页爬取网易云最新评论

小小鹏

1. import requests
   
2. import json
   
3. import bs4
   
4. import re
   
5.          
   
6. def get_comments(url):
   
7.     headers = {
   
8.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36',
   
9.         'referer': 'http://music.163.com/'
   
10.         }
    
11.     params = "AUC/rfnG4oOUAf0ug1rfO7V34dxLIaUuQ+19BGlGvSwcoIO/2k65YhyQJayprwPFeJx2iGjBHVB527JFlzQ6R6hy2GMNqqd214vFrLXZo8YYfYdcbm4+e/M+XoGKAU/KEgjhwue0IVf7dvcNPcEezDuvNs8632tNbLIdM33TFdcTtlrTM+waZ/jI0609s+ilDrkmnrMhtf7x2sUx3TuHurbPfTkbkzwVWo0mJDKexCvWrA1Znl7FZ7D0mNWB6yi6WJPpkYAthWj9IYgizpGlTcLG8IEbxW6Bahe2B10AIY0="
    
12.     encSecKey = "2e8f3c153486e277b289fabe631805f60960e851317fa7559aa0a1db756b8ac018c67cd94370deec8e7b4923093126d1f9caa6fce1aac2d49656b856830bcaafebd6684bd2ace730378fe71ba4ad0283faf89e73284aaf36130531b58972f0d5ed584c58c98d71df9c2247e3510b7db23335e87154d620d981cc8e8d8636ccc5"   
    
13.     data = {
    
14.         "params": params,
    
15.         "encSecKey": encSecKey
    
16.         }  
    
17.     target_url = "https://music.163.com/weapi/comment/resource/comments/get?csrf_token="   
    
18.     res = requests.post(target_url, headers=headers, data=data)   
    
19.     return res
    
20. 
    
21. def find_depth(res):
    
22.     soup = bs4.BeautifulSoup(res.text, 'html.parser')
    
23.     depth = soup.find('a', class_='zbtn znxt js-n-1599034418092')
    
24.     return int(depth)
    
25. 
    
26. def get_all_comments(res):
    
27.     comments_json = json.loads(res.text)
    
28.     all_comments = comments_json['data']['comments']
    
29.     with open('all_comments.txt', 'w', encoding='utf-8') as file:
    
30.         for each in hot_comments:
    
31.             file.write(each['user']['nickname'] + '：\n\n')
    
32.             file.write(each['content'] + '\n')
    
33.             file.write("---------------------------------------\n")
    
34.             
    
35. def main():
    
36.     url = input("请输入链接地址：")
    
37.     res = get_comments(url)
    
38.     depth = find_depth(res)
    
39. 
    
40.     result = []
    
41.     for i in range(depth):
    
42.         url = "https://music.163.com/#/song?id=1450574147"
    
43.         res = get_comments(url)
    
44.         result.extend(res)
    
45.    
    
46.     get_all_comments(res)
    
47. 
    
48. if __name__ == "__main__":
    
49.     main()
    

复制代码

                               
登录/注册后可看大图

运行就报错了，请问是什么原因吗？

最佳答案

月排行榜 / 总排行榜

1q23w31

2020-9-2 21:21:02

第一个问题：每一首歌曲的encSecKey和params是不同的，随便输入一个链接，网易云肯定会检测到你是爬虫，因为你发送的歌曲链接和评论地址对不上，

第二个问题：每一首歌曲中评论的class属性是不同的，你用一个不变的属性，来匹配随意一个歌曲的网页，结果肯定为空

第三个问题：你让输入的歌曲链接，貌似没有用到

                               
登录/注册后可看大图

你让输入的链接，到底是啥链接

跳转到最佳答案楼层

suchocolate

depth = soup.find('a', class_='zbtn znxt js-n-1599034418092')没拿到数据

YunGuo

这个'a', class_='zbtn znxt js-n-1599034418092'查找条件有问题。没有在网页中找到，在浏览器response中搜索一下你查找的这个条件，如果找不到，说明是动态的，需要经过浏览器渲染后生成的。

1q23w31

第一个问题：每一首歌曲的encSecKey和params是不同的，随便输入一个链接，网易云肯定会检测到你是爬虫，因为你发送的歌曲链接和评论地址对不上，

第二个问题：每一首歌曲中评论的class属性是不同的，你用一个不变的属性，来匹配随意一个歌曲的网页，结果肯定为空

第三个问题：你让输入的歌曲链接，貌似没有用到

                               
登录/注册后可看大图

你让输入的链接，到底是啥链接

小小鹏

1q23w31 发表于 2020-9-2 21:21
第一个问题：每一首歌曲的encSecKey和params是不同的，随便输入一个链接，网易云肯定会检测到你是爬虫，因 ...

好哒 那我在重新思考一下