抖音爬虫接口问题

yysscc

通过控制台抓包获得xhr文件的链接为https://www.iesdouyin.com/web/ap ... 26d9c43a0cb48dc2832

在response中也有对应视频的json数据，可为什么将该网站输入在新页面中却不能得到json数据，
页面上显示的只有{"has_more": 0, "status_code": 0, "aweme_list": []}这样一行代码呢？

yysscc

感兴趣的朋友可以在电脑上使用http://v.douyin.com/hSJAfw/该网址在控制台查看具体的xhr的详情

wp231957

不上代码，

yysscc

wp231957 发表于 2019-6-25 04:15
不上代码，

1. import requests
   
2. 
   
3. headers = {
   
4. 
   
5.     'accept':'application/json',
   
6.     'accept-encoding':'gzip, deflate, br',
   
7.     'accept-language':'zh-CN,zh;q=0.9',
   
8.     'cookie':'tt_webid=6705869807841183240; _ba=BA0.2-20190624-5199e-t3BC2JjoAhPqDNy68Zom; _ga=GA1.2.1257055546.1561331999; _gid=GA1.2.5685481.1561331999',
   
9.     'referer':'https://www.iesdouyin.com/share/user/58403943903',
   
10.     'user-agent':'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1',
    
11.     'x-requested-with':'XMLHttpRequest'
    
12.    
    
13.     }
    
14. 
    
15. requests.packages.urllib3.disable_warnings()
    
16. r = requests.get('https://www.iesdouyin.com/web/api/v2/aweme/post/?user_id=58403943903&count=21&max_cursor=0&aid=1128&_signature=f758TxASIrF28gZaG3lVoX--fF&dytk=24055961db18626d9c43a0cb48dc2832',headers=headers,verify=False)
    
17. print(r.status_code)
    
18. r.encoding = r.apparent_encoding
    
19. print(r.text)

复制代码

分析阶段，写了一个粗略的代码，大概就是这个问题，没有正常访问到request的json数据，不知道为啥。

newu

怀疑你在做外包，抖音加密是那么容易搞的吗