鱼C论坛

 找回密码
 立即注册
查看: 504|回复: 23

[学习笔记] 爬取抖音app个人主页视频信息

[复制链接]
发表于 2021-7-21 15:13:31 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
本帖最后由 wcq15759797758 于 2021-7-21 15:24 编辑

抖音app防抓包太严了
我随便抓了信息主页
要发起请求带的可变参数太多了,每个抖音主页要带的数据都不一样,没啥时间就没去深究了  我在请求头里结尾加了 #  的 就是会变的

url 请求头信息

url 请求头信息

response响应

response响应

抓取到的数据

抓取到的数据

代码具有时效性 仅供参考 抓到主页数据修改请求头信息即可得到数据
请求头图片里面我没有带上的数据可以不带


附上代码
  1. import json
  2. import requests
  3. headers = {"Accept-Encoding":"gzip",
  4.            "activity_now_client":"1626850313098",#  时间戳
  5.            "passport-sdk-version":"18",
  6.            "sdk-version":"2",
  7.            "X-SS-REQ-TICKET":"1626850311590",  #  时间戳
  8.            "x-vc-bdturing-sdk-version":"2.1.0.cn",
  9.            "X-Ladon":"FX43SViG1Wg5SSiYI6AYsdqeqi2SdHYKlHxSDBHY8MXGqeY8",#
  10.            "X-Khronos":"1626850311",    #  时间戳
  11.            "X-Gorgon":"0404a0f100050b8e5f7a99c9b14be3eb56494185ef14db8ba186",#
  12.            "X-Tyhon":"CUOcQGBQvit5cKQ7KFvqKCRaulVdT4RAehGM7Os=",  #
  13.            "X-Argus":"Z7reD11OudnmspknTR9LCOEFF4VsMDbrqNvi7tcmrKp1/o0QCp7CWTEg64zyEUBOncrMMglVelHgeAJbbqkf91E5f7IX6vCJLG1H9Eub+4UAvaRWIcUvswWbaH/ypokc2Y/XkGWouY/A4DXhY5RzslwKM8I6T0jCjIWfAvVrRsoKSQIITg1Y1MAxdKJICBDvRoLLODBeHvqsrQkuwTYZhJ9we4/4QcHCdM+WuIFEksJ7SRXJvs6+SPoNu7NFxV/IG0azHu9oHnh2ixWI73YYhUrO",
  14.            "Host":"aweme.snssdk.com",  #固定不变
  15.            "Connection":"Keep-Alive",  #固定不变
  16.            "User-Agent":"okhttp/3.10.0.1",  #UA型号
  17.            }

  18. url = 'https://aweme.snssdk.com/aweme/v1/aweme/post/?publish_video_strategy_type=2&source=0&user_avatar_shrink=96_96&video_cover_shrink=248_330&max_cursor=0&sec_user_id=MS4wLjABAAAAUpIowEL3ygUAahQB47vy8sbYMB1eIr40qtlDwxhxFGw&count=20&show_live_replay_strategy=1&is_order_flow=0&page_from=2&longitude=103.563582&latitude=37.00125&location_permission=true&locate_item_id=6984990536016891136&os_api=22&device_type=SM-G977N&ssmix=a&manifest_version_code=160201&dpi=320&uuid=351564342922218&app_name=aweme&version_name=16.2.0&ts=1626850311&cpu_support64=false&app_type=normal&appTheme=light&ac=wifi&host_abi=armeabi-v7a&update_version_code=16209900&channel=tengxun_1128_0531&_rticket=1626850311551&device_platform=android&iid=3255031094063671&version_code=160200&cdid=f957b21b-a922-4785-a884-1bbbc1f587c3&is_android_pad=0&openudid=cc2d84227abb58b9&device_id=1689286912251320&resolution=900*1600&os_version=5.1.1&language=zh&device_brand=Android&aid=1128&minor_status=0&mcc_mnc=46007'
  19. response = requests.get(url=url,headers=headers)
  20. dict = json.loads(response.text)
  21. for item in dict['aweme_list']:
  22.     items = {}
  23.     items['aweme_id'] = item['aweme_id']
  24.     items['desc'] = item['desc']
  25.     items['点赞量'] = item['statistics']['digg_count']
  26.     items['评论数'] = item['statistics']['comment_count']
  27.     items['视频链接'] = 'https://www.douyin.com/video/' + item['aweme_id']
  28.     print(items)
复制代码


路过大佬有好的app抓包环境配置 可以推荐 谢谢大佬们

本帖被以下淘专辑推荐:

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
发表于 2021-7-21 15:38:51 | 显示全部楼层

回帖奖励 +1 鱼币

感谢分享!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
发表于 2021-7-21 17:19:14 | 显示全部楼层

回帖奖励 +1 鱼币

感谢分享!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
 楼主| 发表于 2021-7-21 19:08:10 | 显示全部楼层

不客气
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
发表于 2021-7-21 19:30:51 | 显示全部楼层

回帖奖励 +1 鱼币

感谢
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
发表于 2021-7-21 22:33:41 | 显示全部楼层

回帖奖励 +1 鱼币

学习学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
发表于 2021-7-21 23:58:43 | 显示全部楼层

回帖奖励 +1 鱼币

感谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
发表于 2021-7-22 13:55:40 | 显示全部楼层

回帖奖励 +1 鱼币

谢谢大佬分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
发表于 2021-7-22 16:27:34 | 显示全部楼层

回帖奖励 +1 鱼币

谢谢大佬分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
发表于 2021-7-22 22:40:35 | 显示全部楼层

回帖奖励 +1 鱼币

wow 小白惊呼妙啊! 谢谢分享!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
发表于 2021-7-22 22:41:08 | 显示全部楼层

回帖奖励 +1 鱼币

感谢大佬
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
发表于 2021-7-23 00:36:20 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
发表于 2021-7-23 01:12:35 | 显示全部楼层

回帖奖励 +1 鱼币

大牛啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
 楼主| 发表于 2021-7-23 01:15:41 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
发表于 2021-7-23 19:52:56 | 显示全部楼层

回帖奖励 +1 鱼币

中奖
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
发表于 2021-7-23 22:49:09 | 显示全部楼层

回帖奖励 +1 鱼币


感谢分享!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
发表于 2021-7-23 23:55:08 | 显示全部楼层

回帖奖励 +1 鱼币

感谢大佬分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
发表于 2021-7-24 09:23:27 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
发表于 2021-7-24 16:47:16 | 显示全部楼层

回帖奖励 +1 鱼币

谢谢大佬
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
发表于 2021-7-24 16:55:59 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1

GMT+8, 2021-8-2 16:18

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表