[已解决]求助：爬取需要登录的网站，可有偿

da-qiong · 发表于 2021-5-18 20:38:44

您需要登录才可以下载或查看，没有账号？立即注册

x

最近在做课程项目，选了爬数据方向的，但是没学太明白，需要一个大佬教教我怎么爬取需要登录的网站的数据（学校itc实验截止时间，不会太复杂），如果大佬还会一点微信小程序的前端就更好了，可有偿！！！跪谢！

最佳答案

南归

2021-5-18 21:21:00

登录/注册后可看大图

简单分析了一下,登录参数容易得到

qiuyouzhi · 发表于 2021-5-18 20:55:36

1，selenium/requests.session登录
2，正则/BS4/XPath/等等抓数据
3，整理
可以说下网站和要爬的数据吗

da-qiong · 发表于 2021-5-18 20:56:28

qiuyouzhi 发表于 2021-5-18 20:55
1，selenium/requests.session登录
2，正则/BS4/XPath/等等抓数据
3，整理

网站是itc.hzau.edu.cn是我们学校的itc

da-qiong · 发表于 2021-5-18 21:02:54

qiuyouzhi 发表于 2021-5-18 20:55
1，selenium/requests.session登录
2，正则/BS4/XPath/等等抓数据
3，整理

抱歉说漏了一点，我需要帮助的就是可以接受输入然后完成登录就行，如果可以的话大佬方便加个QQ吗

南归 · 发表于 2021-5-18 21:21:00

登录/注册后可看大图

简单分析了一下,登录参数容易得到

da-qiong · 发表于 2021-5-19 10:40:53

南归发表于 2021-5-18 21:21
简单分析了一下,登录参数容易得到

大佬，那请问我密码账号正确时，不会出现验证码的时候，传登录参数的时候怎么搞啊，还是需要像你这样传入验证码吗

南归 · 发表于 2021-5-19 11:46:23

da-qiong 发表于 2021-5-19 10:40
大佬，那请问我密码账号正确时，不会出现验证码的时候，传登录参数的时候怎么搞啊，还是需要像你这样传入 ...

因为我没有正确的账号密码.输错一次就出了验证码,所以没法分享密码正确,无验证码的情况

da-qiong · 发表于 2021-5-19 12:33:02

南归发表于 2021-5-19 11:46
因为我没有正确的账号密码.输错一次就出了验证码,所以没法分享密码正确,无验证码的情况

大大方便QQ详谈吗，QQ2192729905

账号		自动登录	找回密码
密码			立即注册