写爬虫时关于分段传输transfer encodeing:chunked 的问题

王德发 · 发表于 2018-8-24 18:15:28

写爬虫时发现很多网站已经使用分段传输技术（即transfer encodeing:chunked）了（包括鱼C，百度百科也是这样，），比如小甲鱼之前那个从煎蛋网上下载妹子图的爬虫，因为煎蛋网使用分段传输的原因，网页内容返回后再解码，会导致图片网址链接不再以www.xxxxx.com的形式呈现，这样无论是用find还是用正则表达式都无法找到想要的网址内容，想问问有没有什么解决办法
[YHML5JPB2I1EP7MF`P[)M8.png

王德发 · 发表于 2018-8-24 18:21:51

这是百度百科，蜘蛛本来应该以网址形式出现蜘蛛.png

王德发 · 发表于 2018-8-24 18:24:31

好吧，到底是什么原因导致的我也不肯定，这是我的猜测

无符号整形 · 发表于 2018-8-24 18:46:05

因为网页动态修改源代码只能使用JS DOM库的InnerHtml，所以可以通过selenium或者js2py来解决

拉了盏灯 · 发表于 2018-8-24 19:28:24

selenium +无头浏览器大法好，

小小小小的鱼丶 · 发表于 2018-8-25 10:33:09

这种的话。。。我只会selenium了。。

账号		自动登录	找回密码
密码			立即注册