关于伪装成浏览器的问题

麦克雷

有两个问题：
1.如果爬虫想要伪装成浏览器，是不是只需要将 User-Agent 添加到header里就可以？？？
2.爬取的网站里的图片每一张的cookies都不一样  那我需要在爬虫里对cookies进行什么设置吗？

gopythoner

1：一般来说是的
2：cookie不一样才正常，因为每一个请求都相当于刷新了页面，信息改变了。
这个cookie有没有用才是重点，大部分的请求是不需要附带cookie的，所以，你可以不带cookie请求一下看看，如果能成功，那还管它是不是一样呢？毕竟你不需要这个

麦克雷

gopythoner 发表于 2017-4-27 13:43
1：一般来说是的
2：cookie不一样才正常，因为每一个请求都相当于刷新了页面，信息改变了。
这个cookie有 ...

嘻嘻  又遇到大神你啦。
那我现在遇到了一个问题，就是爬下来的图片无法正常显示  图片文件大小也特别小。
我本来以为是伪装浏览器失败，不过看了你的答案以后猜测应该不是这个原因吧。
那出现这种情况   是什么原因导致的呢？

gopythoner

麦克雷 发表于 2017-4-27 13:56
嘻嘻  又遇到大神你啦。
那我现在遇到了一个问题，就是爬下来的图片无法正常显示  图片文件大小也特别小 ...

你点击一下啊你爬的那个链接不久知道了
如果点击之后出现的图片就是个小图，那你下载的当然也是个小图了
这样就说明你找到的这个链接只是一个缩略图链接，大图链接需要在单独的页面去找
很多图片类型的网页都是这样，一个页面很多图片链接，但是都是小图，大图需要单独打开一个页面获取到链接

麦克雷

gopythoner 发表于 2017-4-27 14:05
你点击一下啊你爬的那个链接不久知道了
如果点击之后出现的图片就是个小图，那你下载的当然也是个小图了 ...

感谢指教。。。。这么久才回复不好意思。