网易云热评爬虫

2079501562

新人求助
小甲鱼老师的网易云爬虫代码爬取的是网易云音乐的热评，且网易云的API已经改变，参数不是固定，需要经过加密算法后产生参数（在搜索歌曲ID时），在爬取热门评论时的传递的参数是相同的，可以视为常量
但是现在想要爬取最新评论，但是问题在于最新评论不止一页
经过网上的搜索拼凑出来的代码如下
参考资料：https://blog.csdn.net/loveliveoil/article/details/107437265

1. import requests
   
2. import json
   
3. import os
   
4. import pprint
   
5. from urllib import parse
   
6. import base64
   
7. from Crypto.Cipher import AES
   
8. 
   
9. second_param = "010001"
   
10. third_param = "00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7"
    
11. forth_param = "0CoJUm6Qyw8W8jud"
    
12. 
    
13. #======知乎大佬给出的搜索歌曲加密函数======#
    
14. def pkcs7padding(text):
    
15.     """
    
16.     明文使用PKCS7填充
    
17.     最终调用AES加密方法时，传入的是一个byte数组，要求是16的整数倍，因此需要对明文进行处理
    
18.     :param text: 待加密内容(明文)
    
19.     :return:
    
20.     """
    
21.     bs = AES.block_size  # 16
    
22.     length = len(text)
    
23.     bytes_length = len(bytes(text, encoding='utf-8'))
    
24.     # tips：utf-8编码时，英文占1个byte，而中文占3个byte
    
25.     padding_size = length if(bytes_length == length) else bytes_length
    
26.     padding = bs - padding_size % bs
    
27.     # tips：chr(padding)看与其它语言的约定，有的会使用'\0'
    
28.     padding_text = chr(padding) * padding
    
29.     return text + padding_text
    
30. 
    
31. def aes_en(text,key,iv):
    
32.     #print('pkcs7padding处理之前：',text)
    
33.     text =pkcs7padding(text)
    
34.     #print('pkcs7padding处理之后：',text)
    
35.     #entext = text + ('\0' * add)
    
36.     # 初始化加密器
    
37.     aes = AES.new(key.encode(encoding='utf-8'), AES.MODE_CBC, iv)
    
38.     enaes_text = str(base64.b64encode(aes.encrypt(str.encode(text))),encoding='utf-8')
    
39.     return enaes_text
    
40. 
    
41. def get_params(first_param):
    
42.     iv = b"0102030405060708"
    
43.     first_key = forth_param
    
44.     second_key = 16 * 'F'
    
45.    
    
46.     h_encText = aes_en(first_param, first_key, iv)
    
47.     h_encText = aes_en(h_encText, second_key, iv)
    
48.     return h_encText
    
49. #========================================#
    
50. 
    
51. #=====最简单的bug级api,该api未被加密======#
    
52. def get_comments_easiestAPI(music_name,music_place):
    
53.     music_id = get_id(music_name,music_place)
    
54.     base_url = 'http://music.163.com/api/v1/resource/comments/R_SO_4_' + str(music_id) + '?limit=20&offset='
    
55.     # http://music.163.com/api/v1/resource/comments/R_SO_4_516997458?limit=20&offset=40
    
56.     # limit和offset就是改变页数的参数，我在代码注释里面写的有，limit是每页获取的(最大)评论数，offset就是（评论页数-1） * 20
    
57.     try:
    
58.         os.remove('网易云' + music_name + '评论.txt')
    
59.     except FileNotFoundError:
    
60.         pass
    
61.     headers = {'User-Agent':'firefox'}
    
62.     res = requests.get(base_url,headers = headers)
    
63.     comments_json = json.loads(res.text)     
    
64.     save_comments(comments_json,music_name,comment_key = 'hotComments')
    
65.     for i in range(1,100):
    
66.         url = base_url + str(20*(i-1))
    
67.         res = requests.get(url,headers = headers)
    
68.         comments_json = json.loads(res.text)
    
69.         save_comments(comments_json,music_name,comment_key = 'comments')
    
70.     print('爬取完毕！')
    
71. #========================================#
    
72. 
    
73. #==============抓取歌曲id函数=============#
    
74. def get_id(music_name,music_place):
    
75.     url = 'https://music.163.com/weapi/cloudsearch/get/web?csrf_token='
    
76.     headers = {'User-agent':'firefox'}
    
77.     search_name = music_name
    
78.     page = "0"     #必须是30的整数倍，因为下面first_param参数中的limit值为30,意思是每页最多显示30个评论
    
79.     first_param = "{"hlpretag":"<span class=\\"s-fc7\\">","hlposttag":"</span>","s":"%s","type":"1","offset":"%s","total":"%s","limit":"30","csrf_token":""}" %(search_name,page,True)
    
80.     params = get_params(first_param)
    
81.     data = {'params':params,
    
82.             'encSecKey':'257348aecb5e556c066de214e531faadd1c55d814f9be95fd06d6bff9f4c7a41f831f6394d5a3fd2e3881736d94a02ca919d952872e7d0a50ebfa1769a7a62d512f5f1ca21aec60bc3819a9c3ffca5eca9a0dba6d6f7249b06f5965ecfff3695b54e1c28f3f624750ed39e7de08fc8493242e26dbc4484a01c76f739e135637c'
    
83.         }
    
84.     res = requests.post(url,headers = headers,data = data)
    
85.     music = json.loads(res.text)
    
86.     music_id = music['result']['songs'][music_place-1]['id']
    
87.     print('歌曲id:', music_id)
    
88.     return music_id
    
89. #=========================================#
    
90. 
    
91. #=============保存评论函数================#
    
92. def save_comments(comment_json,music_name,comment_key):
    
93.     with open('网易云' + music_name + '评论.txt','a',encoding = 'utf-8') as f:
    
94.         if(comment_key == 'hotComments'):
    
95.             f.write('热门评论\n')
    
96.         if(comment_key == 'comments'):
    
97.             f.write('\n\n\n最新评论\n')
    
98.             state = 0
    
99.         for each in comment_json[comment_key]:
    
100.             f.write(each['user']['nickname'] + ' :')
     
101.             f.write(each['content'])
     
102.             f.write('\n')
     
103. #========================================#   
     
104. 
     
105. #====使用还可以用的旧api,同样被加密过======#
     
106. #问题：无法爬取全部最新评论
     
107. def get_comments_oldAPI(music_name,music_place):
     
108.     music_id = get_id(music_name, music_place)
     
109.     try:
     
110.         os.remove('网易云' + music_name + '评论.txt')
     
111.     except FileNotFoundError:
     
112.         pass
     
113.     first_param = '{rid:"", offset:"0", total:"true", limit:"20", csrf_token:""}'
     
114.     #offset就是（评论页数-1） * 20，total在第一页是true，其余是false
     
115.     headers = {'user-agent':'Firefox'}
     
116.     params = get_params(first_param)
     
117.     encSecKey = '257348aecb5e556c066de214e531faadd1c55d814f9be95fd06d6bff9f4c7a41f831f6394d5a3fd2e3881736d94a02ca919d952872e7d0a50ebfa1769a7a62d512f5f1ca21aec60bc3819a9c3ffca5eca9a0dba6d6f7249b06f5965ecfff3695b54e1c28f3f624750ed39e7de08fc8493242e26dbc4484a01c76f739e135637c'
     
118.     data = {'params' : params,'encSecKey' : encSecKey}
     
119.     url = 'http://music.163.com/weapi/v1/resource/comments/R_SO_4_' + str(music_id) + '/?csrf_token='
     
120.     res = requests.post(url,headers = headers,data = data)
     
121.     comments_json = json.loads(res.text)     
     
122.     save_comments(comments_json,music_name,comment_key = 'hotComments')
     
123.     for i in range(1,10):
     
124.         offset = (i-1)*20
     
125.         first_param = "{rid:"", offset:"%s", total:"false", limit:"20", csrf_token:""}" % offset
     
126.         print(first_param)
     
127.         params = get_params(first_param)
     
128.         res = requests.post(url,headers = headers,data = data)
     
129.         comments_json = json.loads(res.text)
     
130.         save_comments(comments_json,music_name,comment_key = 'comments')
     
131.     print('评论下载成功')
     
132. 
     
133. #===========最新版API============#
     
134. #url = 'https://music.163.com/weapi/comment/resource/comments/get?csrf_token='
     
135. #暂时没有人研究，好像非常不好用
     
136. #===============================#
     
137. #==========下载网页用的函数==============#
     
138. def get_webpage(url):
     
139.     headers = {'user-agent':'firefox'}
     
140.     res = requests.get(url,
     
141.                        headers = headers)
     
142.     with open('Page.txt','w',encoding = 'utf-8') as f:
     
143.         f.write(res.text)
     
144. #=======================================#
     
145. 
     
146. def main():
     
147.     # url = 'https://music.163.com/#/song?id=4466775'
     
148.     # get_webpage(url)
     
149.     #music_name = 'lostrivers'
     
150.     # get_id(music_name)
     
151.     music_name = input('请输入搜索名称：')
     
152.     music_place = int(input('请输入第几首歌：'))
     
153.     # get_comments_easiestAPI(music_name,music_place) #最容易的API
     
154.     get_comments_oldAPI(music_name,music_place) #旧版API
     
155.    
     
156.    
     
157. if __name__ == '__main__':
     
158.     main()

复制代码

使用该api（小甲鱼老师的API）进行爬取最新评论时出现了结果，但只有第一页的新评，然而按照代码注释给出的方法无法翻页，应该怎样才能改变参数，进行翻页？

YunGuo

网易云的翻页是跟params和encSecKey这两个参数关联的。
要翻页，这两个参数要变化，也就是说params和encSecKey都不是固定参数，是动态的，需要生成，而你代码中参数是固定的。

2079501562

YunGuo 发表于 2021-2-24 15:04
网易云的翻页是跟params和encSecKey这两个参数关联的。
要翻页，这两个参数要变化，也就是说params和encSe ...

不是的，代码中参考了网上的参数解密方法，是根据给定信息的字符串生成的，每一页都不同，但是按照代码作者注释中改变字符串参数，结果却没有发生变化

2079501562

不知正确的方法应该是如何

YunGuo

2079501562 发表于 2021-2-24 21:16
不知正确的方法应该是如何

你在网上找的其他的代码我不知道是怎么做的，但我当时是分析过网易云的加密的，也成功了。
我说简单点吧。params参数是翻页的关键参数，这个参数加密的原数据中就包含翻页的参数，你的params加密前的数据并不包含翻页参数（我看你代码是想用offset参数进行翻页，其实翻页是有一个pageNo参数的）。

这个是我去年写的代码，放在github上，刚刚试了还可以运行，你可以参考看看。
https://github.com/YungGuo08/WebSpider/tree/master/Music_Download/Music_163