[已解决]selenium爬取不到完整的网页源代码

nahongyan1997

我是用selenium和chromedriver.exe进行爬取网易云音乐，为什么得到的网页源代码不是经过js渲染后的。

最佳答案

月排行榜 / 总排行榜

哈喇子淌一手

2020-2-15 23:18:08

1. import time
   
2. from selenium import webdriver
   
3. 
   
4. def update():
   
5.     options = webdriver.ChromeOptions()
   
6.     driver = webdriver.Chrome('./chrome-win/chromedriver.exe',options=options)
   
7.     driver.get('https://music.163.com/')
   
8.     html=driver.find_elements_by_tag_name('html')[0]
   
9.     print(html.text)
   
10.     driver.switch_to.frame('contentFrame')
    
11.     driver.find_elements_by_class_name('dec')[0].click()
    
12.     driver.find_element_by_css_selector('#content-operation > a.u-btn2.u-btn2-2.u-btni-addply.f-fl').click()
    
13.     while True:
    
14.         time.sleep(1)
    
15.         continue
    
16.     driver.quit()
    
17. if __name__ == "__main__":
    
18.     update()

复制代码

跳转到最佳答案楼层

zltzlt

你的代码呢？

哈喇子淌一手

1. import time
   
2. from selenium import webdriver
   
3. 
   
4. def update():
   
5.     options = webdriver.ChromeOptions()
   
6.     driver = webdriver.Chrome('./chrome-win/chromedriver.exe',options=options)
   
7.     driver.get('https://music.163.com/')
   
8.     html=driver.find_elements_by_tag_name('html')[0]
   
9.     print(html.text)
   
10.     driver.switch_to.frame('contentFrame')
    
11.     driver.find_elements_by_class_name('dec')[0].click()
    
12.     driver.find_element_by_css_selector('#content-operation > a.u-btn2.u-btn2-2.u-btni-addply.f-fl').click()
    
13.     while True:
    
14.         time.sleep(1)
    
15.         continue
    
16.     driver.quit()
    
17. if __name__ == "__main__":
    
18.     update()

复制代码