爬取网页照片

sunshine似我 · 发表于 2017-5-4 15:48:41

您需要登录才可以下载或查看，没有账号？立即注册

x

这是网页审查元素看到的信息

这是我爬取的网页信息，为什么关于照片的信息不见了

sunshine似我 · 发表于 2017-5-4 16:19:55

alltolove 发表于 2017-5-4 16:13
那元素可能是用后端代码加上去的

现在的网页反爬虫也是狠啊，那怎么做？有什么解决办法吗

sunshine似我 · 发表于 2017-5-4 16:26:03

gopythoner 发表于 2017-5-4 16:22
1，链接可能是JS中，这种好说，找对API就行
2，加载出来的，那就只能用模拟浏览器的爬虫工具了，seleniu ...

http://pic.sogou.com/d?query=%BF%E2%C0%EF%B1%DA%D6%BD&mode=1&did=1#did0

sunshine似我 · 发表于 2017-5-4 17:16:52

gopythoner 发表于 2017-5-4 16:39
你的请求连接是这种吧

换成这种

你的方法我大概看了下可行，不过为什么链接要这样改动，不太明白

sunshine似我 · 发表于 2017-5-4 17:24:31

gopythoner 发表于 2017-5-4 17:20
这不是改，而是找到API接口，其实就是我上面说的第一种情况
无非就是在JS或者XHR中找链接，这个网站的链 ...

你说的这些我还不太懂，刚开始学好心累

账号		自动登录	找回密码
密码			立即注册