[已解决]爬虫：网页嵌套在另外一个网页内

jfjjx

如图所示，我想要获取的网页嵌套在另外一个网页内，通过requests.get方法得到的网页源代码却不包括这一部分，大家给支个招吧

最佳答案

月排行榜 / 总排行榜

hldh214

2016-8-22 08:48:51

jfjjx 发表于 2016-8-22 08:11
可能是这个需要登录啥的（.jsp后面？的元素），光src这个不好使；
另外，我爬出来的代码没这个src，现在 ...

因为 src 属性是 JS 动态添加的, 这时候你有两种选择
1. 用 JS 引擎解析
2. 手工分析 JS 代码

跳转到最佳答案楼层

SixPy

src="xxxxx.jsp"

jfjjx

SixPy 发表于 2016-8-21 23:39
src="xxxxx.jsp"

<iframe id="mainFrame" frameborder="0" name="mainFrame" border="0" width="1172px" src="/productcenter/util/sso.jsp?ticket=r%2BA9UXuTW2guHuBiUUEMEi6Q8dVNoPSPD8FuJmc4ctc%3D&amp;time=20160821223035" style="height: 1325px;"></iframe>
是指这里面的src属性的值吗？爬出来的代码没有src了：
<iframe id="mainFrame" frameborder="0" name="mainFrame" border="0" width="1172px"></iframe>

SixPy

jfjjx 发表于 2016-8-21 23:58
是指这里面的src属性的值吗？爬出来的代码没有src了：

你现在已经知道源地址了啊~

jfjjx

SixPy 发表于 2016-8-22 07:37
你现在已经知道源地址了啊~

可能是这个需要登录啥的（.jsp后面？的元素），光src这个不好使；
另外，我爬出来的代码没这个src，现在想要只能手动到chrome的网页检查器里面找。。。。怎么破

hldh214

jfjjx 发表于 2016-8-22 08:11
可能是这个需要登录啥的（.jsp后面？的元素），光src这个不好使；
另外，我爬出来的代码没这个src，现在 ...

因为 src 属性是 JS 动态添加的, 这时候你有两种选择
1. 用 JS 引擎解析
2. 手工分析 JS 代码

jfjjx

hldh214 发表于 2016-8-22 08:48
因为 src 属性是 JS 动态添加的, 这时候你有两种选择
1. 用 JS 引擎解析
2. 手工分析 JS 代码

1.  JS引擎表示高大上啊。。。。怎么学比较好
2.  手工分析是到chrome检查器里面找到对应的加载的连接？（别如这个是自动post方法的返回的）

hldh214

jfjjx 发表于 2016-8-22 09:32
1.  JS引擎表示高大上啊。。。。怎么学比较好
2.  手工分析是到chrome检查器里面找到对应的加载的连接？ ...

1. PhantomJS
2. 分析加载的时候都有哪些 JS 被执行了

jfjjx

hldh214 发表于 2016-8-22 09:40
1. PhantomJS
2. 分析加载的时候都有哪些 JS 被执行了

1.  马上去学
2.  分析加载时执行的JS有什么方法吗

SixPy

jfjjx 发表于 2016-8-22 08:11
可能是这个需要登录啥的（.jsp后面？的元素），光src这个不好使；
另外，我爬出来的代码没这个src，现在 ...

说了那么多，你连代码都不贴，连接地址也不给
破个毛线~~
只帖一张图片的，我本来想警告你的~

无符号整形

SixPy 发表于 2016-8-22 10:40
说了那么多，你连代码都不贴，连接地址也不给
破个毛线~~
只帖一张图片的，我本来想警告你的~

警告？未必太严重了啊，这样会留下违规记录

hldh214

jfjjx 发表于 2016-8-22 10:04
1.  马上去学
2.  分析加载时执行的JS有什么方法吗

一般来说是下断点然后调试
Chrome 和 FireFox 都有对应工具

jfjjx

SixPy 发表于 2016-8-22 10:40
说了那么多，你连代码都不贴，连接地址也不给
破个毛线~~
只帖一张图片的，我本来想警告你的~

import requests
url = "https://cbsprodcenter.noahwm.com/productcenter/pcIndex.jsp?ticket=EOc94hJOV3F5hmsporrKFVCrX1WEZ4Om%2bJC31cBURvk%5d&time=20160822112507&showHome=1"
rget = requests.get(url)
with open("htm_code.txt","wb") as f:
    f.write( rget.content )
f.close()
print('Done')

没贴代码是因为基本就只有一个requests.get()方法，而且爬下来的东西跟想问的又没啥关系。。

SixPy

jfjjx 发表于 2016-8-22 11:35
import requests
url = "https://cbsprodcenter.noahwm.com/productcenter/pcIndex.jsp?ticket=EOc94hJO ...

你怎么知道没关系？
初学者就提问就要 贴代码 和 原数据，不要做过多的个人判断。
=============
你给的源地址里有3个参数;

1. ticket=EOc94hJOV3F5hmsporrKFVCrX1WEZ4Om%2bJC31cBURvk%5d
   
2. &time=20160822112507
   
3. &showHome=1

复制代码

在页面源码里可以找到：

1. <script type="text/javascript">
   
2.         var ticket = 'EOc94hJOV3F5hmsporrKFVCrX1WEZ4Om+JC31cBURvk]';
   
3.         var time = '20160822112507';
   
4.         var showHome='1';
   
5.         var productId='';
   
6. </script>

复制代码

进而，在生成的 iframe src 就是：

1. src="/productcenter/util/sso.jsp?
   
2. ticket=EOc94hJOV3F5hmsporrKFVCrX1WEZ4Om%2BJC31cBURvk%5D
   
3. &time=20160822112507"

复制代码

最后，你自己开动脑筋，理解它们之间的关系吧~

jfjjx

SixPy 发表于 2016-8-22 11:55
你怎么知道没关系？
初学者就提问就要 贴代码 和 原数据，不要做过多的个人判断。
=============

辛苦，下次谨记！

jfjjx

SixPy 发表于 2016-8-22 11:55
你怎么知道没关系？
初学者就提问就要 贴代码 和 原数据，不要做过多的个人判断。
=============

里面生成网页（即图片中#document这一部分）怎么获得，得到的链接页面的页面源代码没有这部分

jfjjx

jfjjx 发表于 2016-9-6 18:49
里面生成网页（即图片中#document这一部分）怎么获得，得到的链接页面的页面源代码没有这部分

自顶