da-qiong 发表于 2021-5-18 20:38:44

求助:爬取需要登录的网站,可有偿

最近在做课程项目,选了爬数据方向的,但是没学太明白,需要一个大佬教教我怎么爬取需要登录的网站的数据(学校itc实验截止时间,不会太复杂),如果大佬还会一点微信小程序的前端就更好了,可有偿!!!跪谢!

qiuyouzhi 发表于 2021-5-18 20:55:36

1,selenium/requests.session登录
2,正则/BS4/XPath/等等 抓数据
3,整理
可以说下网站和要爬的数据吗

da-qiong 发表于 2021-5-18 20:56:28

qiuyouzhi 发表于 2021-5-18 20:55
1,selenium/requests.session登录
2,正则/BS4/XPath/等等 抓数据
3,整理


网站是itc.hzau.edu.cn是我们学校的itc

da-qiong 发表于 2021-5-18 21:02:54

qiuyouzhi 发表于 2021-5-18 20:55
1,selenium/requests.session登录
2,正则/BS4/XPath/等等 抓数据
3,整理


抱歉说漏了一点,我需要帮助的就是可以接受输入然后完成登录就行,如果可以的话大佬方便加个QQ吗

南归 发表于 2021-5-18 21:21:00

https://ae01.alicdn.com/kf/Uc9b442aa2c3b4169a65d0d71cc8be38e6.jpg

简单分析了一下,登录参数容易得到

da-qiong 发表于 2021-5-19 10:40:53

南归 发表于 2021-5-18 21:21
简单分析了一下,登录参数容易得到

大佬,那请问我密码账号正确时,不会出现验证码的时候,传登录参数的时候怎么搞啊,还是需要像你这样传入验证码吗

南归 发表于 2021-5-19 11:46:23

da-qiong 发表于 2021-5-19 10:40
大佬,那请问我密码账号正确时,不会出现验证码的时候,传登录参数的时候怎么搞啊,还是需要像你这样传入 ...

因为我没有正确的账号密码.输错一次就出了验证码,所以没法分享密码正确,无验证码的情况

da-qiong 发表于 2021-5-19 12:33:02

南归 发表于 2021-5-19 11:46
因为我没有正确的账号密码.输错一次就出了验证码,所以没法分享密码正确,无验证码的情况

大大方便QQ详谈吗,QQ2192729905
页: [1]
查看完整版本: 求助:爬取需要登录的网站,可有偿