今日头条爬虫问题

v.ki

今日头条直接爬有反爬怎么解决啊

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import json
   
4. url = "https://www.toutiao.com/"
   
5. headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36',
   
6.            'accept-encoding':'gzip, deflate, br',
   
7.     'accept-language':'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
   
8.    
   
9.     'content-type':'application/json;charset=UTF-8',
   
10.     'origin':'https//www.toutiao.com',
    
11.     'referer':'https//www.toutiao.com/',
    
12.     'sec-fetch-dest':'empty',
    
13.     'sec-fetch-mode':'cors',
    
14.     'sec-fetch-site':'cross-site',
    
15.    
    
16.            }
    
17. res = requests.get(url, headers=headers)
    
18. print(res.text)
    

复制代码

Twilight6

这个总结的很好，你可以参考参考：

今日头条反反爬思路总结

qiuyouzhi

1. 'accept-encoding':'gzip, deflate, br',    'accept-language':'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',

复制代码

这些都不是你应该填的，应该填的是和User-Agent在一起的那种，比如Referer。

v.ki

qiuyouzhi 发表于 2020-7-1 09:09
这些都不是你应该填的，应该填的是和User-Agent在一起的那种，比如Referer。

referer加了的，这些加上也不影响，是为了让压缩的网页自动解压

v.ki

Twilight6 发表于 2020-7-1 09:08
这个总结的很好，你可以参考参考：

今日头条反反爬思路总结

规则改了现在

Twilight6

v.ki 发表于 2020-7-1 09:23
规则改了现在

好的吧~

qiuyouzhi

v.ki 发表于 2020-7-1 09:23
规则改了现在

用selenium？

v.ki

qiuyouzhi 发表于 2020-7-1 09:27
用selenium？

也不可以，动态加载的部分它直接不加载了