爬取网页照片

sunshine似我

这是网页审查元素看到的信息

这是我爬取的网页信息，为什么关于照片的信息不见了

alltolove

那元素可能是用后端代码加上去的

sunshine似我

alltolove 发表于 2017-5-4 16:13
那元素可能是用后端代码加上去的

现在的网页反爬虫也是狠啊，那怎么做？有什么解决办法吗

gopythoner

sunshine似我 发表于 2017-5-4 16:19
现在的网页反爬虫也是狠啊，那怎么做？有什么解决办法吗

1，链接可能是JS中，这种好说，找对API就行
2，加载出来的，那就只能用模拟浏览器的爬虫工具了，selenium之类的
你把你要爬的网页发过来，我看看到底是什么类型

sunshine似我

gopythoner 发表于 2017-5-4 16:22
1，链接可能是JS中，这种好说，找对API就行
2，加载出来的，那就只能用模拟浏览器的爬虫工具了，seleniu ...

http://pic.sogou.com/d?query=%BF%E2%C0%EF%B1%DA%D6%BD&mode=1&did=1#did0

gopythoner

gopythoner 发表于 2017-5-4 16:22
1，链接可能是JS中，这种好说，找对API就行
2，加载出来的，那就只能用模拟浏览器的爬虫工具了，seleniu ...

你的请求连接是这种吧

http://pic.sogou.com/d?query=%BF%E2%C0%EF%B1%DA%D6%BD&mode=1&did=1

换成这种

http://pic.sogou.com/pics?query=%BF%E2%C0%EF%B1%DA%D6%BD&did=1&mode=1&start=0&reqType=ajax&tn=0&reqFrom=detail

链接前后不变，变动的是query=%BF%E2%C0%EF%B1%DA%D6%BD这部分，即使你搜索的关键词的url编码格式，这一串字符你不用去编码，可以用中文代替，比如query=库里
我只是打开网页看了一下，没有用代码去试，你可以自己去试
网页请求到的应该是一个字典类型的格式（json格式）
要提取图片很简单，用正则表达式就行

染洛凉

应该不是在源码里的吧，我也不是很清楚，这种应该要抓包。

sunshine似我

gopythoner 发表于 2017-5-4 16:39
你的请求连接是这种吧

换成这种

你的方法我大概看了下可行，不过为什么链接要这样改动，不太明白

gopythoner

sunshine似我 发表于 2017-5-4 17:16
你的方法我大概看了下可行，不过为什么链接要这样改动，不太明白

这不是改，而是找到API接口，其实就是我上面说的第一种情况
无非就是在JS或者XHR中找链接，这个网站的链接在XHR中，你自己可以看的
这种还算简单，很容易找到，而且不需要构造链接，爬虫写多了自然就很快能分析出网页的信息了

sunshine似我

gopythoner 发表于 2017-5-4 17:20
这不是改，而是找到API接口，其实就是我上面说的第一种情况
无非就是在JS或者XHR中找链接，这个网站的链 ...

你说的这些我还不太懂，刚开始学好心累

aiguangkuo

hai yaoxuexi