二次元控的福音，【幻音】歌单爬虫（附件带歌单表格）

gopythoner

爬虫背景：昨天论坛以为兄弟让分析幻音歌单的网页，我在公司查看了一下，发现页面并不复杂，于是给了个答案，得了最佳。
。。。
这不是重点，重点是，我也是第一次看到这个二次元音乐网站，突然发现上面的歌单挺好听的
于是，觉得下班自己爬一份歌单出来

。。。
。。。——————————————————————————————————————————分割线
于是，爬虫来了

我这个爬虫分为2个部分，主要的部分是爬虫文件spider，另一部分是存储数据的部分（这个部分一个人爱好，我有时候懒得写这个部分就直接存到CSV中，不过这次是为了熟悉一下Excel库的用法，就用Excel来存储的，之后可能改为数据库，这个部分的代码就免了，因为没必要）

主爬虫代码如下（其中有几句是用来存储信息的，大家自己去看吧，代码很简单，因为这个网站的信息都是json，很好整理）
大家可以把这个思路拿过去，然后换成多线程啊（我之所以没用多线程是怕封IP，因为要请求1500次，为什么是1500次可以自己去看看）

1. '''
   
2. 幻音网歌单信息爬虫
   
3. '''
   
4. 
   
5. import requests
   
6. import json
   
7. import time
   
8. from Savedata import myExcel  #这个是导入我存数据的文件
   
9. 
   
10. class myspider(object):
    
11.     def __init__(self):
    
12.         self.headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
    
13.                         " (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36"}
    
14.         self.myexcel = myExcel()
    
15.         self.line = 1
    
16. 
    
17.     # 提取所有歌单的信息
    
18.     def get_playlists(self,url):
    
19.         req = requests.get(url,headers=self.headers)
    
20.         req.encoding = "utf-8"
    
21.         infos = json.loads(req.text)
    
22.         big_lists = infos["genres"]
    
23.         for each in big_lists:
    
24.             small_lists = each["playlists"]
    
25.             for anylist in small_lists:
    
26.                 link = "http://www.huanmusic.com/playlist/{}".format(anylist["_id"])
    
27.                 anylist["link"] = link
    
28.                 # 由于请求歌单的信息可能失败，因此使用try语句
    
29.                 try:
    
30.                     the_data = self.get_one_playlist(link)
    
31.                     anylist["collect"] = the_data[0]
    
32.                     anylist["create_date"] = the_data[1]
    
33.                 except:
    
34.                     anylist["collect"] = "miss"
    
35.                     anylist["create_date"] = "miss"
    
36.                 print(anylist)
    
37.                 self.myexcel.save_data(self.line,anylist)  #保存信息
    
38.                 self.line += 1
    
39.         self.myexcel.save_excel()
    
40.         print("歌单信息保存完毕！")
    
41. 
    
42.     # 获取单个歌单的基本信息，主要是获取创建时间和收藏数，返回一个元祖
    
43.     def get_one_playlist(self,list_url):
    
44.         headers = {
    
45.             "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)"
    
46.             " Chrome/57.0.2987.110 Safari/537.36",
    
47.             "Host":"www.huanmusic.com"
    
48.         }
    
49.         req = requests.post(list_url,headers=headers,timeout=5)
    
50.         data = json.loads(req.text)
    
51.         collect = data["collect"]
    
52.         create_date = data["create_date"]
    
53.         return (collect,create_date)
    
54. 
    
55. if __name__ == '__main__':
    
56.     url = "http://net.huanmusic.com/g_v1_20170713"
    
57.     t = time.time()
    
58.     spider = myspider()
    
59.     spider.get_playlists(url)
    
60.     tt = time.time()
    
61.     print("耗时：{:.2f}秒".format(float(tt-t)))

复制代码

关于爬到 的信息，我存到了Excel里面，总计本来是有1500个歌单的信息的，
我删除了重复性之后剩下1050个左右
看看成果吧

附件是歌单表格，喜欢二次元音乐的可以下载按照表格的信息去选择自己喜欢的歌单（可以按照Popular和收藏2个参数）

小甲鱼

感谢分享！

一个账号

感谢分享！