鱼C论坛

 找回密码
 立即注册
查看: 1165|回复: 2

[已解决]python小白,在爬图片的时。.text解析的文件中用beautifulsoup没有所需网址?

[复制链接]
发表于 2020-8-5 22:33:44 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
.text解析的文件中用beautifulsoup没有所需网址,在开发者工具中是能看到的。(为什么我的requests库get到的东西都很少,,,迷)

我是想爬一个漫画,尝试一下,(爬虫好难,心有点累,求大佬指教)
爬的目标网址是(http://www.mangabz.com/m19894/%23ipg1)图片的地址是(http://image.mangabz.com/1/430/1 ... 669148d461d&uk=

代码和解析的文件没法放在提问里了,我放在了网盘里

链接: https://pan.baidu.com/s/1VwbO0wBV4Z0rJujLFNFtog 提取码: svu2
最佳答案
2020-8-6 09:05:08
本帖最后由 1q23w31 于 2020-8-6 09:21 编辑

网站的网页受到js控制,只请求网页得不出你想要的资源,建议直接请求数据包,或者用selenium动态爬取


                               
登录/注册后可看大图


如图,关闭js之后的网页
2020-8-6 9-2-6.png


                               
登录/注册后可看大图


想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-8-6 09:05:08 | 显示全部楼层    本楼为最佳答案   
本帖最后由 1q23w31 于 2020-8-6 09:21 编辑

网站的网页受到js控制,只请求网页得不出你想要的资源,建议直接请求数据包,或者用selenium动态爬取


                               
登录/注册后可看大图


如图,关闭js之后的网页
2020-8-6 9-2-6.png


                               
登录/注册后可看大图


想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-8-7 00:41:51 | 显示全部楼层
1q23w31 发表于 2020-8-6 09:05
网站的网页受到js控制,只请求网页得不出你想要的资源,建议直接请求数据包,或者用selenium动态爬取

感谢大大
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-1-19 11:08

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表