[已解决]使用webdriver获取的网页源码 和使用chrome打开网页然后右键查看源码 不一样呢

wp231957

1. #coding=utf-8
   
2. from selenium import webdriver
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. url = 'http://www.lrts.me/ajax/playlist/2/32931/1'
   
6. driver=webdriver.Chrome()  
   
7. driver.get(url)
   
8. driver.implicitly_wait(30)
   
9. print(driver.page_source)

复制代码

而且  使用上述代码打开的chrome 打开的网页 无法响应鼠标操作  整个网页里没有链接一类的可以点击   和直接使用chrome打开的 完全不一样

最佳答案

月排行榜 / 总排行榜

塔利班

2019-4-2 09:38:52

selenium的page_source是和审查元素比较，不是和查看源代码

跳转到最佳答案楼层

塔利班

selenium的page_source是和审查元素比较，不是和查看源代码

wp231957

塔利班 发表于 2019-4-2 09:38
selenium的page_source是和审查元素比较，不是和查看源代码

那类似 这类javascripts 一类的

1. <script src="https://assets.lrts.me/web/assets/javascript/jquery.pagination.js?v=23" type="text/javascript"></script>
   
2.         <script src="https://assets.lrts.me/web/assets/javascript/detailComment.js?v=23" type="text/javascript"></script>
   
3.         <script type="text/javascript">
   
4.         $(function(){
   
5.                 var totalCount='657',page=0,pageSize='10',pflag=false;
   
6.                         function PageCallback(index,jq) {
   
7.                                 if(!pflag&&page!=index) {
   
8.                                         pflag=true;
   
9.                                 }
   
10.                                 if(!pflag) return;
    
11.                                 $.post('/ajax/book/32931/'+index+'/'+pageSize,function(x){
    
12.                                         if(x.status!='success') {
    
13.                                                 alert(x.errMsg);
    
14.                                         } else {
    
15.                                                 var d=x.data.data;
    
16.                                                 var html='',
    
17.                                                         paySection = '';
    
18.                                                 for(i in d) {
    
19.                                                         if(d[i].payType!=0){
    
20.                                                                 paySection = 'pay-section';
    
21.                                                         }
    
22.                                                         html+='<li><time>更新时间:'+d[i].lastModify+'</time><span>'+d[i].section+'</span><a class="player-trigger '+paySection+'" player-info="type=2&resourcesid='+d[i].fatherResId+'&sections='+d[i].section+'"><i class="icon-play-d"  ></i></a><a class="player-trigger '+paySection+'" player-info="type=2&resourcesid='+d[i].fatherResId+'&sections='+d[i].section+'">'+d[i].resName+'</a></li>';
    
23.                                                 }
    
24.                                                 $('#pul').html(html);
    
25.                                                 $('.d-p.player-trigger').attr('player-info',$('#pul li:first a.player-trigger').attr('player-info'));
    
26.                                         }
    
27.                                 });
    
28.                         }

复制代码

是 无法取到呢 还是取到没用呢  （这些代码在chrome浏览器里是能看到的）

塔利班

wp231957 发表于 2019-4-2 10:14
那类似 这类javascripts 一类的

你说的没看懂，你要先看懂JS，他是怎么实现把你想要的部分加载过去的，如果还是bs4能搞定的就用bs4，如果不行可能考虑正则，字符串操作等等

wp231957

塔利班 发表于 2019-4-2 10:16
你说的没看懂，你要先看懂JS，他是怎么实现把你想要的部分加载过去的，如果还是bs4能搞定的就用bs4，如果 ...

我基本功太弱，你能够告诉我如何能看懂js

我百度都不知道搜啥

塔利班

wp231957 发表于 2019-4-2 10:18
我基本功太弱，你能够告诉我如何能看懂js

我百度都不知道搜啥

说实话我都看不懂，其实有空可以学下，顺带把前端的学了吧，我只能说代码写的清楚注释的好的，你根据逻辑能看个大概，如果JS好，就不是问题了