考拉熊
发表于 2018-12-22 09:22:26
爱吃大土豆 发表于 2018-12-21 21:13
蒙了 看了一晚上也没分析出来你那个url 怎么分析出来的是需要requests的知识么 ?
然后lx ...
不需要那么多的知识哦
考拉熊
发表于 2018-12-22 09:36:50
爱吃大土豆 发表于 2018-12-21 21:13
蒙了 看了一晚上也没分析出来你那个url 怎么分析出来的是需要requests的知识么 ?
然后lx ...
打开主页,,,然后进开发者模式的Network模式
接着在主页的右上角搜索框输入你想搜索的小说,,,此时是动态加载,无需回车,
接着里面就有你想要的数据了,,
{:7_138:} {:7_138:} {:7_138:} {:7_138:} {:7_138:} {:7_138:} {:7_138:} {:7_138:}
爱吃大土豆
发表于 2018-12-22 10:54:21
考拉熊 发表于 2018-12-22 09:36
打开主页,,,然后进开发者模式的Network模式
{:9_220:}{:9_220:}{:9_220:} 谢谢!!!!!太感谢了我昨天一直在element里面找崩溃 再次感谢{:9_232:}
考拉熊
发表于 2018-12-22 14:39:30
爱吃大土豆 发表于 2018-12-22 10:54
谢谢!!!!!太感谢了我昨天一直在element里面找崩溃 再次感谢{: ...
现在大部分网站都用的异步加载 ,,, 好多数据都是在network里面呢,
爱吃大土豆
发表于 2018-12-24 12:01:21
{:9_230:} 楼主你好,这两天在爬企鹅的付费漫画的时候发现未付费状态下网页源码和network只加载第一张图片,请问这个有什么方法可以破除么{:9_240:}
考拉熊
发表于 2018-12-26 20:38:20
爱吃大土豆 发表于 2018-12-24 12:01
楼主你好,这两天在爬企鹅的付费漫画的时候发现未付费状态下网页源码和network只加载第一张图 ...
你描述的这个,,,我也不清楚,,要不你把链接发来,,
还有 你可以分析第一个得到的url,,看有没有规则得到下一个,
爱吃大土豆
发表于 2018-12-26 21:27:01
考拉熊 发表于 2018-12-26 20:38
你描述的这个,,,我也不清楚,,要不你把链接发来,,
还有 你可以分析第一个得到的url,,看有没有 ...
他那个是动态加载的 不是分页的 图片地址也是随机编码
爱吃大土豆
发表于 2018-12-26 21:39:12
考拉熊 发表于 2018-12-26 20:38
你描述的这个,,,我也不清楚,,要不你把链接发来,,
还有 你可以分析第一个得到的url,,看有没有 ...
https://ac.qq.com/ComicView/index/id/531490/cid/496
考拉熊
发表于 2018-12-27 16:14:54
爱吃大土豆 发表于 2018-12-26 21:39
https://ac.qq.com/ComicView/index/id/531490/cid/496
我大概看了一下 下面是图片的url
https://manhua.qpic.cn/manhua_detail/0/22_14_41_11247adbe3c08d222a8ba70eb9f5f8bf_26839.jpg/0
很显然是用js加密了的,,, 所以只能分析js,,然而我并不太懂js。。。
你可以试一下用 xpath 选择提取,,(//*[@id="comicContain"]/li)
我估计行不通,,可能是动态加载的。。
你也可以模拟动态加载。。
pla1944
发表于 2018-12-27 21:44:08
厉害 厉害
13212717570
发表于 2018-12-28 09:35:01
hi
yw2311
发表于 2018-12-28 10:20:02
不行啊界面一直停留在请输入要下载的漫画,然后点击搜索没有任何效果 已经是12.2 版本了
jasmorning
发表于 2018-12-28 14:17:38
抓取中文时候出了点问题,来看看大神源码学习一下
大灰
发表于 2018-12-28 19:53:18
这个好
sunkang123
发表于 2018-12-29 14:15:51
那就比较厉害了
huazisheng
发表于 2019-7-25 21:36:32
看看效果如何
845212472
发表于 2019-7-25 21:46:26
厉害
浪丶羁绊彡
发表于 2019-8-2 11:58:17
学习
qtldbk
发表于 2019-8-6 16:54:59
kankan
黄逗逗
发表于 2019-8-6 18:27:47
{:10_256:}