网易云音乐

无枝为檄

为什么只能爬到10首歌呢？歌单里不止10首

1. #!/user/bin/env python
   
2. # -*- coding:utf-8 -*-
   
3. # time:2021/6/17
   
4. #需求：下载网易云歌单
   
5. import requests as req
   
6. from lxml import etree
   
7. import os
   
8. 
   
9. headers = {
   
10.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
    
11.     }
    
12. url = "https://music.163.com/playlist?id=6775871260"
    
13. # url = "https://music.163.com/playlist?id=6731975194"
    
14. page_text = req.get(url=url,headers=headers).text
    
15. tree = etree.HTML(page_text)
    
16. id_list = tree.xpath('//*[@id="song-list-pre-cache"]//a/@href')
    
17. name_list = tree.xpath('//*[@id="song-list-pre-cache"]//a/text()')
    
18. i = 0
    
19. print(name_list,id_list)
    
20. #为毛只有10首？？
    
21. if not os.path.exists("./wangyi list music"):
    
22.     os.mkdir("./wangyi list music")
    
23. try:
    
24.     for id_ in id_list:
    
25.         id_ = id_.split('=')[-1]
    
26.         name = name_list[i]
    
27.         i +=1
    
28.         base_url = "http://music.163.com/song/media/outer/url?id=%s.mp3" % id_
    
29.         content = req.get(url=base_url,headers=headers).content
    
30.         with open("./wangyi list music/"+name+".mp3",'wb') as fp:
    
31.             fp.write(content)
    
32.             print(name+".mp3下载完成！")
    
33. except FileNotFoundError or OSError:
    
34.     print(name+"因出错没有下载")
    

复制代码

xiaosi4081

可能是要翻到下一页的

可以试着加上"page"参数

无枝为檄

xiaosi4081 发表于 2021-6-19 11:09
可能是要翻到下一页的

可以试着加上"page"参数

页面里面没有翻页这个按钮
你说的page参数是加在哪里呢？

南归

查看更多内容，请下载客户端

无枝为檄

南归 发表于 2021-6-19 15:39
查看更多内容，请下载客户端

页面上显示了20首，为什么其他10首爬不到？

suchocolate

无枝为檄 发表于 2021-6-19 15:58
页面上显示了20首，为什么其他10首爬不到？

20首是登陆后，你的代码里没有登陆。

xiaosi4081

无枝为檄 发表于 2021-6-19 15:58
页面上显示了20首，为什么其他10首爬不到？

如果是6楼说的你没有登陆的话

可以尝试查看网页信息里的cookie

无枝为檄

xiaosi4081 发表于 2021-6-19 18:37
如果是6楼说的你没有登陆的话

可以尝试查看网页信息里的cookie

好

无枝为檄

suchocolate 发表于 2021-6-19 16:18
20首是登陆后，你的代码里没有登陆。

我去试试

无枝为檄

我想用手机号模拟登录 为什么我找不到输入手机号的那个element呢？

1. from selenium import webdriver
   
2. from time import sleep
   
3. 
   
4. bro = webdriver.Chrome(executable_path="./chromedriver.exe")
   
5. wangyi_url = "https://music.163.com/"
   
6. bro.get(wangyi_url)
   
7. login_url = bro.find_element_by_xpath('//*[@id="g-topbar"]/div[1]/div/a').get_attribute("href")
   
8. bro.get(login_url)
   
9. bro.switch_to.frame("g_iframe")
   
10. switch_btn = bro.find_element_by_id('otherbtn')
    
11. switch_btn.click()
    
12. agree_btn = bro.find_element_by_id("j-official-terms")
    
13. agree_btn.click()
    
14. cellphone_btn = bro.find_element_by_class_name("f-mgt10")
    
15. cellphone_btn.click()
    
16. sleep(2)
    
17. # telephone = bro.find_element_by_xpath('//input[@id="p"]')
    
18. telephone = bro.find_element_by_id('p')
    
19. telephone.send_keys("xxx")
    
20. # password = bro.find_element_by_xpath("//input[@id='pw']")
    
21. password = bro.find_element_by_id("pw")
    
22. password.send_keys("xxx")

复制代码