爬虫·爬虫猫眼网获取全国影院链接地址

tremble

网站直接按照定位信息展示当前所在城市的所有影院，
当前城市的所有影院链接地址可以很简单的拿下来
但是全国的，没办法切换全国啊，老铁们，有没有什么好的办法能切换全国影院。
请求网页的时候抓包发现，cookie中加入了一个名为ci的字段
感觉有用，但是在header中加了cookie的ci字段，网页请求的结果异常。
搞不懂这群美团大佬，天天在搞什么

Charles未晞

你手动切到全国，把那个cookie值加到请求头里？

tremble

Charles未晞 发表于 2018-8-31 17:06
你手动切到全国，把那个cookie值加到请求头里？

没有全国的选项，必须选择一个城市，当选择为你定位城市时，cookie中时不添加ci这个字段的。
目前没有什么好的解决办法，就只能通过selenium将全国的影院url都存下来了，遍历全国影院url再玩耍。
特喵的，发现有好多城市都没有猫眼接入的影院。共计列出的1000多个城市就只有200多城市有影院，但是也不全，这200多城市的影院，还有一部分根本就不通过猫眼进行网售。哎，做平台的都是水分很大啊

waitforlove

tremble 发表于 2018-9-3 12:38
没有全国的选项，必须选择一个城市，当选择为你定位城市时，cookie中时不添加ci这个字段的。
目前没有什 ...

需要哪个城市就在header请求头里加个ci=城市的id
比如
header={'cookie':'ci=10'}这里10是上海
requests.get('http://maoyan.com/',headers=header)
这样取到的就是上海的
一共有600个城市.把id爬取下来整理下就好了

tremble

waitforlove 发表于 2018-9-4 13:24
需要哪个城市就在header请求头里加个ci=城市的id
比如
header={'cookie':'ci=10'}这里10是上海

大佬。求带。最近使用selenium也搞了一下，虽然比较慢，但是也能使用，已经将全国的所有影院链接搞下来了，直接遍历方便一丢丢