[已解决]selenium page_source获得的数据跟F12查看框架里面的不一样！！

HCF

我查看源码框架里面是这样的字典形式：

但是我用selenium获得的page_source确是这样的，多了一些html标签：

最佳答案

月排行榜 / 总排行榜

nahongyan1997

2020-7-24 15:33:37

可以用 selenium 模块的 switch_frame 切换框架便可以得到你想要的源代码。
请看示例：

1. # 此脚本需要配合谷歌浏览器与谷歌驱动
   
2. # 作者：那宏岩
   
3. 
   
4. 
   
5. import urllib.request
   
6. import re
   
7. from selenium import webdriver
   
8. from selenium.webdriver import ChromeOptions
   
9. def search(music=None,singer=None):
   
10.     if not music and not singer:
    
11.         raise ValueError('参数错误！！')
    
12.    
    
13.     if not music:
    
14.         name = singer
    
15.     else:
    
16.         name = music
    
17.    
    
18.       # 创建参数设置对象.
    
19.     CLOUD_CHROME_OPTION = ChromeOptions()
    
20.     CLOUD_CHROME_OPTION.binary_location = '.\\plug-in\\Google\\Chrome\\Application\\chrome.exe'
    
21. #    chrome_opt.add_argument('--headless')   # 无界面化.
    
22. #    chrome_opt.add_argument('--disable-gpu')    # 配合上面的无界面化.
    
23. 
    
24.     driver = webdriver.Chrome(options = CLOUD_CHROME_OPTION,executable_path=r'chromedriver.exe')
    
25.     driver.get('https://music.163.com/#/search/m/?s=' + name)
    
26.     driver.switch_to.frame('g_iframe')
    
27.     music_list = re.findall(r'<a href="/song\?id=(\d*)"><b title="(.*?)">',driver.page_source)
    
28.     singer_list = re.findall(r'<a href="/artist\?id=\d*">(.*?)</a>',driver.page_source)
    
29. #     driver.quit()
    
30.     music_num = len(music_list)
    
31.     download_list = list()
    
32.     if singer:
    
33.         for i in range(music_num):
    
34.             if singer in singer_list[i]:
    
35.                 download_list.append(music_list[i]+(singer_list[i],))
    
36.     else:
    
37.         for i in range(music_num):
    
38.             download_list.append(music_list[i]+(singer_list[i],))
    
39.             
    
40.     print(download_list)
    
41.         
    
42.     down_load_sign = input(r'开始下载吗?[Y\N]:')
    
43.     if down_load_sign == 'Y':
    
44.         for each_music in download_list:
    
45.             print(f'{each_music[1]}-{each_music[2]}.mp3正在下载！')
    
46.             urllib.request.urlretrieve(f'http://music.163.com/song/media/outer/url?id={each_music[0]}.mp3',f'C:\\CLOUD Artification Intelligence\\clouddata\\Sound\\{each_music[1]}-{each_music[2]}.mp3')
    
47.             print(f'{each_music[1]}-{each_music[2]}.mp3下载完成！')
    
48.         
    
49.             
    
50. 
    
51. if __name__ == '__main__':
    
52.     while True:
    
53. #         music_name = input('请输入歌曲名:')
    
54. #         singer_name = input('请输入歌手名:')
    
55.         music_name = '大鱼'
    
56.         singer_name = ''
    
57.         search(music_name,singer_name)
    

复制代码

跳转到最佳答案楼层

Twilight6

审核元素可能是其他文件加载的，所以不一样

HCF

Twilight6 发表于 2020-7-24 09:55
审核元素可能是其他文件加载的，所以不一样

那有没有什么办法可以让我获得的界面源码是f12查看到的那种字典呢

陈尚涵

这个问题我还真的没想过

nahongyan1997

可以用 driver.switch_frame()函数切换框架就可以得到你想要的源代码了。
请看示例，这是我以前写的网易云音乐爬虫：

1. # 此脚本需要配合谷歌浏览器与谷歌驱动
   
2. # 作者：那宏岩
   
3. 
   
4. 
   
5. import urllib.request
   
6. import re
   
7. from selenium import webdriver
   
8. from selenium.webdriver import ChromeOptions
   
9. def search(music=None,singer=None):
   
10.     if not music and not singer:
    
11.         raise ValueError('参数错误！！')
    
12.    
    
13.     if not music:
    
14.         name = singer
    
15.     else:
    
16.         name = music
    
17.    
    
18.       # 创建参数设置对象.
    
19.     CLOUD_CHROME_OPTION = ChromeOptions()
    
20.     CLOUD_CHROME_OPTION.binary_location = '.\\plug-in\\Google\\Chrome\\Application\\chrome.exe'
    
21. #    chrome_opt.add_argument('--headless')   # 无界面化.
    
22. #    chrome_opt.add_argument('--disable-gpu')    # 配合上面的无界面化.
    
23. 
    
24.     driver = webdriver.Chrome(options = CLOUD_CHROME_OPTION,executable_path=r'chromedriver.exe')
    
25.     driver.get('https://music.163.com/#/search/m/?s=' + name)
    
26.     driver.switch_to.frame('g_iframe')
    
27.     music_list = re.findall(r'<a href="/song\?id=(\d*)"><b title="(.*?)">',driver.page_source)
    
28.     singer_list = re.findall(r'<a href="/artist\?id=\d*">(.*?)</a>',driver.page_source)
    
29. #     driver.quit()
    
30.     music_num = len(music_list)
    
31.     download_list = list()
    
32.     if singer:
    
33.         for i in range(music_num):
    
34.             if singer in singer_list[i]:
    
35.                 download_list.append(music_list[i]+(singer_list[i],))
    
36.     else:
    
37.         for i in range(music_num):
    
38.             download_list.append(music_list[i]+(singer_list[i],))
    
39.             
    
40.     print(download_list)
    
41.         
    
42.     down_load_sign = input(r'开始下载吗?[Y\N]:')
    
43.     if down_load_sign == 'Y':
    
44.         for each_music in download_list:
    
45.             print(f'{each_music[1]}-{each_music[2]}.mp3正在下载！')
    
46.             urllib.request.urlretrieve(f'http://music.163.com/song/media/outer/url?id={each_music[0]}.mp3',f'C:\\CLOUD Artification Intelligence\\clouddata\\Sound\\{each_music[1]}-{each_music[2]}.mp3')
    
47.             print(f'{each_music[1]}-{each_music[2]}.mp3下载完成！')
    
48.         
    
49.             
    
50. 
    
51. if __name__ == '__main__':
    
52.     while True:
    
53. #         music_name = input('请输入歌曲名:')
    
54. #         singer_name = input('请输入歌手名:')
    
55.         music_name = '大鱼'
    
56.         singer_name = ''
    
57.         search(music_name,singer_name)
    

复制代码

nahongyan1997

可以用 selenium 模块的 switch_frame 切换框架便可以得到你想要的源代码。
请看示例：

1. # 此脚本需要配合谷歌浏览器与谷歌驱动
   
2. # 作者：那宏岩
   
3. 
   
4. 
   
5. import urllib.request
   
6. import re
   
7. from selenium import webdriver
   
8. from selenium.webdriver import ChromeOptions
   
9. def search(music=None,singer=None):
   
10.     if not music and not singer:
    
11.         raise ValueError('参数错误！！')
    
12.    
    
13.     if not music:
    
14.         name = singer
    
15.     else:
    
16.         name = music
    
17.    
    
18.       # 创建参数设置对象.
    
19.     CLOUD_CHROME_OPTION = ChromeOptions()
    
20.     CLOUD_CHROME_OPTION.binary_location = '.\\plug-in\\Google\\Chrome\\Application\\chrome.exe'
    
21. #    chrome_opt.add_argument('--headless')   # 无界面化.
    
22. #    chrome_opt.add_argument('--disable-gpu')    # 配合上面的无界面化.
    
23. 
    
24.     driver = webdriver.Chrome(options = CLOUD_CHROME_OPTION,executable_path=r'chromedriver.exe')
    
25.     driver.get('https://music.163.com/#/search/m/?s=' + name)
    
26.     driver.switch_to.frame('g_iframe')
    
27.     music_list = re.findall(r'<a href="/song\?id=(\d*)"><b title="(.*?)">',driver.page_source)
    
28.     singer_list = re.findall(r'<a href="/artist\?id=\d*">(.*?)</a>',driver.page_source)
    
29. #     driver.quit()
    
30.     music_num = len(music_list)
    
31.     download_list = list()
    
32.     if singer:
    
33.         for i in range(music_num):
    
34.             if singer in singer_list[i]:
    
35.                 download_list.append(music_list[i]+(singer_list[i],))
    
36.     else:
    
37.         for i in range(music_num):
    
38.             download_list.append(music_list[i]+(singer_list[i],))
    
39.             
    
40.     print(download_list)
    
41.         
    
42.     down_load_sign = input(r'开始下载吗?[Y\N]:')
    
43.     if down_load_sign == 'Y':
    
44.         for each_music in download_list:
    
45.             print(f'{each_music[1]}-{each_music[2]}.mp3正在下载！')
    
46.             urllib.request.urlretrieve(f'http://music.163.com/song/media/outer/url?id={each_music[0]}.mp3',f'C:\\CLOUD Artification Intelligence\\clouddata\\Sound\\{each_music[1]}-{each_music[2]}.mp3')
    
47.             print(f'{each_music[1]}-{each_music[2]}.mp3下载完成！')
    
48.         
    
49.             
    
50. 
    
51. if __name__ == '__main__':
    
52.     while True:
    
53. #         music_name = input('请输入歌曲名:')
    
54. #         singer_name = input('请输入歌手名:')
    
55.         music_name = '大鱼'
    
56.         singer_name = ''
    
57.         search(music_name,singer_name)
    

复制代码