关于python的小爬虫

1261107909

最近看了一些爬虫教程简单实践后想爬腾讯动漫的图片，不管是直接用requests或webdriver+PhantomJS都不能得到浏览器中‘element’中显示的源码，甚至我保存原网页的html文件至本地（有一个html文件和相关的文件夹），我查看html文件源码时也和浏览器显示的不同，由于刚刚入门，问的问题也可能会非常肤浅，还请各位朋友们多多包涵，同时给我指点一下，谢谢大家啦

hldh214

一般来说 phantomJS 可以解决 90% 的问题
剩下都是细微末节的事情比如 UA 又比如 Cookies

1261107909

hldh214 发表于 2016-9-11 18:06
一般来说 phantomJS 可以解决 90% 的问题
剩下都是细微末节的事情比如 UA 又比如 Cookies

1. <ul class="comic-contain" id="comicContain">
   
2.             <li style="width: 612px; height: 960px;">
   
3.                
   
4.                 <img src="http://ac.tc.qq.com/store_file_download?buid=15017&amp;uin=1422406227&amp;dir_path=/&amp;name=28_08_50_e4cfdaeb5f085b51b3e2688b27697cb5_6844.ori" data-pid="6844" data-w="612" data-h="960" class="loaded" alt="" id="aeaoofnhgocdbnbeljkmbjdmhbcokfdb-mousedown">

复制代码

这是浏览器显示的内容

1. <ul class="comic-contain" id="comicContain">
   
2.         <script type="text/html" id="comicContainMod">
   
3.             {{each list}}
   
4.             <li style="width:{{aW($value.width)}}px;height:{{aH($value.width,$value.height)}}px;">
   
5.                 {{if $index === 0 && firstPicState}}
   
6.                 <img src="{{firstPicState}}" data-pid="{{$value.pid}}" data-w="{{$value.width}}" data-h="{{$value.height}}" class="loaded" alt=""/>

复制代码

这个是爬虫获取的代码，看上去很相似，就是图片网址和一些内容被替换了，不知道这些数据一般存在什么地方。

hldh214

1261107909 发表于 2016-9-11 18:17
这是浏览器显示的内容

你注意一下浏览器的 request 和你用 phantomJS 模拟的 request 有什么区别

H.B.F

实在不行就用selenium+phatomJs咯