新手爬虫求助~~

mlz123456 · 发表于 2018-10-16 21:26:04

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

在爬取起点小说的时候爬取每一章的下载链接在页面审查元素能找到链接但是用requests 下载的页面里面却没有链接而是另一个页面

原页面 https://book.qidian.com/info/1009915605#Catalog 下载的页面：https://book.qidian.com/info/1009915605

但奇怪的是这两个页面审查元素都能找到章节的连接但是requests下来的却没有查看源代码也没有下载链接

求大神解答一下，，应该怎样爬取？

mlz123456 · 发表于 2018-10-16 22:23:15

是我没说清楚么……

塔利班 · 发表于 2018-10-16 22:24:53

有java加载的部分，可以试试selenium

mlz123456 · 发表于 2018-10-16 22:47:55

塔利班发表于 2018-10-16 22:24
有java加载的部分，可以试试selenium

还没学到selenium。。。还有其他办法么- -

塔利班 · 发表于 2018-10-16 22:53:44

我爬虫水的很，，论坛上有几个大神呢
我刚才用selenium打开给我切个免费试读界面，爬出来的page_source也不对，
还是等大神他们来解答吧。

wongyusing · 发表于 2018-10-17 05:52:33

审查元素并不重要，重要的是你有没有右键，查看网页源代码，
requests爬取的就是网页源代码的内容
看一下是否和你审查元素那里一样？

电脑不在身边，只能靠经验来说吧，
起点网站连字数那几个字都用加密后的字体拼接

下载地址会不加密？？

mlz123456 · 发表于 2018-10-17 08:01:39

塔利班发表于 2018-10-16 22:53
我爬虫水的很，，论坛上有几个大神呢
我刚才用selenium打开给我切个免费试读界面，爬出来的page_source也 ...

好的谢谢啦～

mlz123456 · 发表于 2018-10-17 08:02:34

wongyusing 发表于 2018-10-17 05:52
审查元素并不重要，重要的是你有没有右键，查看网页源代码，
requests爬取的就是网页源代码的内容
看一下 ...

源代码和审查元素就是不一样审查元素有章节链接但是源代码没有

wongyusing · 发表于 2018-10-17 08:49:54

mlz123456 发表于 2018-10-17 08:02
源代码和审查元素就是不一样审查元素有章节链接但是源代码没有

我刚拿到电脑，说一下我刚才观察网页后的看法吧。
你能不能尝试一下字符拼接呢？？
观察下面的规律

# 小说地址
url = 'https://book.qidian.com/info/1009915605'

# 下载链接
download_link = 'http://download.qidian.com/epub/1009915605.epub'

注意除了拼接字符串以外，
不出意外，还需要一些曲奇啊、parems等参数。自己观察吧。

mlz123456 · 发表于 2018-10-17 09:21:32

嗯……但是要拼接的太复杂了没有规律只能自己一章一章点进去看...

账号		自动登录	找回密码
密码			立即注册