网易云音乐爬虫

ietar

教程中只针对了有'精彩评论'的热门曲目 略加修改 对非热门曲目同样能爬取评论
（该版本只爬取第1页 若要爬取所有评论还需参考豆瓣top250的爬虫 抓取评论页数 再写个url池子
但是评论页数及每页内容很可能动态变化 而且后面的评论价值不高 就不费事做了）

网易云音乐

1. import requests
   
2. import json
   
3. # from bs4 import BeautifulSoup
   
4. 
   
5. def open_url(url):
   
6.     name_id = url.split('=')[1]
   
7.     headers = {
   
8.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36',
   
9.         'Referer': 'https://music.163.com/song?id={}'.format(name_id)}
   
10. 
    
11.     target_url = r'https://music.163.com/weapi/v1/resource/comments/R_SO_4_{}?csrf_token='.format(name_id)
    
12. 
    
13.     params = r'5VmLhYw/VGeg26QJgUtSOhEzWhqRcqVu7CmbhZLhaTCXFIWimW3PiH7z8/nnQ4ZYbnRJBo/GpriiZE888YkS+iinsgmNmINOurFf56KwAcuC3wHU1edUt3zp+b0j1rws9Df86lDc3+FAWj1cC7lAh35o73Tim0lJIzYrtctelyL60Wdh7oqnFMvf+nhcVtk9'
    
14.     encSecKey = r'3206c885767929f19398b403166868ff3d01c373b69fc0bb37e53a5ecfc04e44407c4343f8dfe004dde784308b38e22e9daeaa99c107273fed19fac999dae004cb0b042d77a4983acb9627d1e197253d65b9457a31f207cd1520cf61d921f350203b0cacfc1c11725297ba77df10f3857ccad1fdf39d118be4573cbe1e707170'
    
15.     data = {
    
16.         'params':params,
    
17.         'encSecKey':encSecKey}
    
18.    
    
19.     res = requests.post(target_url,headers=headers,data=data,timeout=3)   
    
20.     return res
    
21. 
    
22. 
    
23. def get_comments(res,name_id):
    
24.     comments_json = json.loads(res.text)   
    
25.     hot_comments = comments_json['hotComments']
    
26.    
    
27.     with open('comments_of {}.txt'.format(name_id),'w',encoding='utf-8') as f:
    
28.         if hot_comments:
    
29.             f.write('精彩评论:'+'\n')
    
30.             f.write('--------------------------------------------------------\n')
    
31.             for each in hot_comments:
    
32.                 f.write(each['user']['nickname']+':\n\n')
    
33.                 f.write(each['content']+'\n')
    
34.                 f.write('----------------------------\n')  
    
35.         # 无论有没有精彩评论 都记录最新评论
    
36.         f.write('\n'+'最新评论:'+'\n')
    
37.         f.write('--------------------------------------------------------\n')
    
38.         for each in comments_json['comments']:
    
39.             f.write(each['user']['nickname']+':\n\n')
    
40.             f.write(each['content']+'\n')
    
41.             f.write('----------------------------\n')
    
42. 
    
43. 
    
44. def main():
    
45.    
    
46.     # url = r'https://music.163.com/#/song?id=4466775'
    
47.     url = input('请输入链接地址:')
    
48.     name_id = url.split('=')[1]
    
49.     res = open_url(url)  
    
50.     get_comments(res,name_id)
    
51.    
    
52.     return
    
53. 
    
54.    
    
55. if __name__ == '__main__':
    
56.     main()
    
57. 
    
58. 
    

复制代码

小学文化偏要学

学习

wp231957

关注

小学文化偏要学

请教一下，mac3，7使用pycharm复制代码运行报错，没有“requests”
ModuleNotFoundError: No module named 'requests'
该怎么解决呢？感谢

wp231957

需要pip

ietar

小学文化偏要学 发表于 2019-4-17 14:12
请教一下，mac3，7使用pycharm复制代码运行报错，没有“requests”
ModuleNotFoundError: No module named ...

cmd
pip install requests

小学文化偏要学

ietar 发表于 2019-4-17 15:46
cmd
pip install requests

感谢回复，放弃了pycharm，决定使用anaconda学习。

q1186370408

学习

倪小孙

当地

keys866

能爬音乐文件么

miracleze19

666

_谪仙

看

吐泡泡blublublu

感谢分享

q1048519379

学习一下

凯旋16

学习

Stubborn

_谪仙 发表于 2019-4-19 17:24
看

大佬，加QQ否

zero帽宝宝

小学文化偏要学 发表于 2019-4-17 14:12
请教一下，mac3，7使用pycharm复制代码运行报错，没有“requests”
ModuleNotFoundError: No module named ...

应该是下载urllib库吧

wy1018651314

厉害还

Thorns

好好看看

yansimonmst1987

学习学习