今日头条爬虫问题

v.ki

今日头条直接爬有反爬怎么解决啊

import requests
from bs4 import BeautifulSoup
import json
url = "https://www.toutiao.com/"
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36',
           'accept-encoding':'gzip, deflate, br',
    'accept-language':'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
    
    'content-type':'application/json;charset=UTF-8',
    'origin':'https//www.toutiao.com',
    'referer':'https//www.toutiao.com/',
    'sec-fetch-dest':'empty',
    'sec-fetch-mode':'cors',
    'sec-fetch-site':'cross-site',
    
           }
res = requests.get(url, headers=headers)
print(res.text)

Twilight6

这个总结的很好，你可以参考参考：

今日头条反反爬思路总结

qiuyouzhi

'accept-encoding':'gzip, deflate, br',    'accept-language':'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',

这些都不是你应该填的，应该填的是和User-Agent在一起的那种，比如Referer。

v.ki

qiuyouzhi 发表于 2020-7-1 09:09
这些都不是你应该填的，应该填的是和User-Agent在一起的那种，比如Referer。

referer加了的，这些加上也不影响，是为了让压缩的网页自动解压

v.ki

Twilight6 发表于 2020-7-1 09:08
这个总结的很好，你可以参考参考：

今日头条反反爬思路总结

规则改了现在

Twilight6

v.ki 发表于 2020-7-1 09:23
规则改了现在

好的吧~

qiuyouzhi

v.ki 发表于 2020-7-1 09:23
规则改了现在

用selenium？

v.ki

qiuyouzhi 发表于 2020-7-1 09:27
用selenium？

也不可以，动态加载的部分它直接不加载了