爬取网易云音乐精彩评论

ljj19971222

根据小甲鱼的流程，打开网页，勾选disable cashe之后选取慢速加载页面，这里我只有fast 3g和slow 3g都是秒出页面，然后他出来的页面是播放窗口而不是刚才的评论界面，不过还是能找到精彩评论的那个文件，可是我双击那个文件之后他的网页打开地址并没有根据不同的歌曲而变始终是https://music.163.com/weapi/v1/resource/comments/get这样一个网址请问是为何

ljj19971222

有人吗，不知道怎么发图片啊

ykn大神6

不知道等级够不够

_谪仙

网址不是这个，抓包时把preserve log勾选上

Stubborn

1. #!/usr/bin/env python2.7
   
2. # -*- coding: utf-8 -*-
   
3. # @Time   : 2019/3/1 3:20
   
4. # @Author : Stubbron
   
5. # @Email  : 1263270345@qq.com
   
6. #参考链接：https://blog.csdn.net/qq_40721694/article/details/82356815
   
7. #目标链接：https://music.163.com/song?id=460043703
   
8. #未加密的API:http://music.163.com/api/v1/resource/comments/R_SO_4_460043703
   
9. import requests,codecs
   
10. import json
    
11. import time
    
12. from lxml import etree
    
13. from wordcloud import WordCloud
    
14. import numpy as np
    
15. from PIL import Image
    
16. import os
    
17. import matplotlib.pyplot as plt
    
18. 
    
19. class Config(object):
    
20.     @staticmethod
    
21.     def get_station_file_path(name):
    
22.         currrent_path = os.path.realpath(__file__) #文件绝对路径
    
23.         current_dir = os.path.split(currrent_path)[0]
    
24.         result = current_dir +""+str(name)+ ".json"
    
25.         return result
    
26. class GetComments(object):
    
27. 
    
28.     def __init__(self):
    
29.         self.headers = {
    
30.             'Referer': 'http://music.163.com/',
    
31.             'Host': 'music.163.com',
    
32.             'Accept-Language': "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3",
    
33.             'Accept-Encoding': "gzip, deflate",
    
34.             'Content-Type': "application/x-www-form-urlencoded",
    
35.             'Origin': 'https://music.163.com',
    
36.             'Connection': "keep-alive",
    
37.             'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36'
    
38.                           ' (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
    
39.         }
    
40.         self.session = requests.session()
    
41. 
    
42.     def get_json(self,song_id, offset):
    
43.         """
    
44.         获取json数据
    
45.         :param song_id: 歌曲id
    
46.         :param offset: 评论偏移量
    
47.         :return: json转成的dict
    
48.         """
    
49.         url = 'http://music.163.com/api/v1/resource/comments/R_SO_4_%s?limit=20&offset=%s' % (song_id, offset)
    
50.         response = self.session.get(url=url,headers=self.headers).content
    
51.         json_dict = json.loads(response)
    
52.         return json_dict
    
53. 
    
54. 
    
55.     def structure_url(self, song_id, song_name):
    
56.         """
    
57.         先获取评论总数，再分页爬取
    
58.         :param song_id: 歌曲id
    
59.         :param song_name: 歌曲名字
    
60.         :return:
    
61.         """
    
62.         if os.path.exists(Config.get_station_file_path(song_name)):
    
63.             print('正在读取 %s 的缓存评论' % songs_name)
    
64.             with open(Config.get_station_file_path(song_name),"r",encoding="UTF-8") as f:
    
65.                 result = json.loads(f.read(),encoding="UTF-8")
    
66.             return result
    
67.         else:
    
68.             comments_list = []  #评论保存列表
    
69.             json_dict = self.get_json(song_id, 0)
    
70.             print(json_dict)
    
71.             comments_num = int(json_dict['total'])  # 获取评论总数目
    
72.             if not comments_num % 20:
    
73.                 page = comments_num / 20
    
74.             else:
    
75.                 page = int(comments_num / 20) + 1
    
76.             print("总计%s条评论"%(page * 20))
    
77.             for i in range(page):
    
78.                 json_dict = self.get_json(song_id, i * 20)
    
79.                 for item in json_dict['comments']:
    
80.                     comment = item['content'].replace("\n", "")  # 获取评论内容 并去掉换行符
    
81.                     #liked_count = item['likedCount']  # 点赞总数
    
82.                     #comment_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(item['time'] / 1000))  # 获取评论时间
    
83.                     #comment_info = comment  #comment_time + ' ' + str(liked_count) + ' ' +
    
84.                     comments_list.append(comment)
    
85.                 print('第 %s 页获取完成.' % i)
    
86.             with open(Config.get_station_file_path(song_name),"w",encoding="UTF-8") as f:
    
87.                 json.dump(comments_list,f)
    
88.             return comments_list
    
89. 
    
90.     def wordcloud(self,name):
    
91.         filr = ""
    
92.         mask = np.array(Image.open("timg.jpg"))  # 矢量化图片
    
93.         with open(Config.get_station_file_path(name), "r", encoding="UTF-8") as f:
    
94.             result = json.loads(f.read(), encoding="UTF-8")
    
95.         for i in result:
    
96.             filr += i
    
97.         # print(filr[:50])
    
98.         # 生成词云
    
99.         wordcloud = WordCloud(
    
100.             random_state=4,
     
101.             scale=8,  # 清晰度，越大越慢
     
102.             background_color='white',  # 设置背景颜色
     
103.             max_words=3000,  # 设置最大实现的字数
     
104.             mask=mask,  # 加载图片
     
105.             font_path=r'FZSTK.TTF',  # 设置字体格式，如不设置显示不了中文
     
106.         ).generate(filr)
     
107.         # 展示图片
     
108.         plt.imshow(wordcloud)
     
109.         plt.axis('off')  # 关闭x,y轴显示
     
110.         plt.title("ciyun_one")  # 次元标题
     
111.         plt.show()  # 展示词云
     
112. 
     
113. if __name__ == '__main__':
     
114.     singer_url = 'https://music.163.com/song?id=460043703'  # 记得要去掉#号，太那啥了
     
115.     songs_name = "Perfect"
     
116.     songs_id = "460043703"
     
117.     spider = GetComments()
     
118.     print('正在收集 %s 的评论' % songs_name)
     
119.     json_dict = spider.structure_url(songs_id,songs_name)
     
120.     print('准备生成 %s 的词云' % songs_name)
     
121.     spider.wordcloud(songs_name)
     
122. 
     
123. 
     
124. 
     
125. 
     

复制代码

三月份的代码，不知道时效没有