鱼C论坛

 找回密码
 立即注册

扫一扫,访问微社区

查看: 167|回复: 4

[已解决]爬虫中的data元素是什么?

[复制链接]
最佳答案
0 
发表于 2019-5-15 18:17:58 | 显示全部楼层 |阅读模式
2鱼币
data元素是什么意思?作用呢
最佳答案
2019-5-15 18:17:59
问: 当构建一个爬虫请求时,requests.post中的date元素如何确定



requests.post(url, data=post_data) #伪代码

这个post_data在爬取不同网站时其中的内容不一样,这个内容应该如何确定?

答:
用post提交表需要确认服务器需要的数据项,然后组成json对。
  1. requests.post(url=url, data=data)
复制代码


我觉得楼主说的是data的提交。

一般用浏览器的开发者工具确认网页请求时候的方法,cookie,请求头等等
也就是说data也可以在这里找到
模拟一次提交表的过程,就可以看到提交的参数项了

                               
登录/注册后可看大图


                               
登录/注册后可看大图

  1. requests.post(headers=headers,params=json.dumps(payload),url=url)
复制代码


                             ---转载自[segmentfault]

最佳答案

查看完整内容

问: 当构建一个爬虫请求时,requests.post中的date元素如何确定 如 requests.post(url, data=post_data) #伪代码 这个post_data在爬取不同网站时其中的内容不一样,这个内容应该如何确定? 答: 用post提交表需要确认服务器需要的数据项,然后组成json对。 我觉得楼主说的是data的提交。 一般用浏览器的开发者工具确认网页请求时候的方法,cookie,请求头等等 也就是说data也可以在这里找到 模拟一次提交表 ...
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
4 
发表于 2019-5-15 18:17:59 | 显示全部楼层    本楼为最佳答案   
问: 当构建一个爬虫请求时,requests.post中的date元素如何确定



requests.post(url, data=post_data) #伪代码

这个post_data在爬取不同网站时其中的内容不一样,这个内容应该如何确定?

答:
用post提交表需要确认服务器需要的数据项,然后组成json对。
  1. requests.post(url=url, data=data)
复制代码


我觉得楼主说的是data的提交。

一般用浏览器的开发者工具确认网页请求时候的方法,cookie,请求头等等
也就是说data也可以在这里找到
模拟一次提交表的过程,就可以看到提交的参数项了

                               
登录/注册后可看大图


                               
登录/注册后可看大图

  1. requests.post(headers=headers,params=json.dumps(payload),url=url)
复制代码


                             ---转载自[segmentfault]
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-5-15 20:20:19 | 显示全部楼层
这问题估计没人知道
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
21 
发表于 2019-5-15 22:51:16 From FishC Mobile | 显示全部楼层
post请求方式的data,是提交的表单数据。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
19 
发表于 2019-5-16 13:18:27 | 显示全部楼层
数据
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

小甲鱼强烈推荐上一条 /1 下一条

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号

GMT+8, 2019-6-19 23:43

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表