鱼C论坛

 找回密码
 立即注册
查看: 2517|回复: 75

[作品展示] 使用Python爬取正方教务系统在校成绩

[复制链接]
最佳答案
6 
发表于 2018-2-16 22:17:47 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
本帖最后由 mgsky1 于 2018-2-19 22:51 编辑

今天刚完工的,跟着@小甲鱼 的教程,用所学的知识完全是可以实现的,度娘上的参差不齐,还有人投机取巧去除验证码的,但是这个不一定管用,至少我们学校是行不通的~就没怎么参考度娘的。这段代码托管在Github,后面有链接。
关键点有两个:
1、抓包,看请求头,看看浏览器到底提交了什么给服务器,正方的系统是用Asp.Net写的,有一个ViewState很关键
2、可持续的Cookie,如果没有Ta的话,因为服务器健忘,就会忘了你是谁了
这段程序用到了
1、cookiejar与opener的绑定
2、pickle持久化存储,终于体会到了腌泡菜的感觉
3、简单正则
4、BeautifulSoup
5、PrettyTable 主要用于输出更美观

效果图
游客,如果您要查看本帖隐藏内容请回复


今天把思路稍微写了一下,包括整个的前期的分析过程,最后的BeautifulSoup4的分析感觉写的不咋地,毕竟当时也是根据文档和需求摸索的,
游客,如果您要查看本帖隐藏内容请回复


各位看官觉得好的,又有Git账号的,点个Star哦~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
190 
发表于 2018-2-16 22:34:07 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
2 
发表于 2018-2-16 22:37:29 | 显示全部楼层
本帖最后由 孤独的嫖客 于 2018-2-16 23:41 编辑

瞅瞅看,
爬虫向朋友欢迎加入692858412Python基础/爬虫,是一个Python语言学习小组,欢迎大牛进群接受指导。什么性能,什么语言,都是浮云。够简洁,就Python!(非培训机构,一起学习,祝大家新春快乐!)


                               
登录/注册后可看大图

更新一下:
小甲鱼老师视频入门OK,0基础确实合适,但是爬虫/web开发/数据分析等方向,建议还是看时间就近的视频比较好
我看了你的代码
用的包都是老包了
直接用request包的Session()就可以保存会话,
urllib这包已经过时了,当然不否认还可以用
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-2-16 23:10:30 | 显示全部楼层
感谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
31 
发表于 2018-2-17 08:42:39 | 显示全部楼层
感谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-2-17 12:25:36 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
6 
 楼主| 发表于 2018-2-17 23:26:18 From FishC Mobile | 显示全部楼层
我觉得这个是不是要放到作品展示区好点⊙▽⊙
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
6 
 楼主| 发表于 2018-2-17 23:31:18 From FishC Mobile | 显示全部楼层
孤独的嫖客 发表于 2018-2-16 22:37
瞅瞅看,
爬虫向朋友欢迎加入692858412Python基础/爬虫,是一个Python语言学习小组,欢迎大牛进群接 ...

多谢建议哦~一起进步(^_^)
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-2-17 23:41:26 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-2-18 01:06:34 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-2-18 16:17:49 | 显示全部楼层
谢谢楼主分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-2-18 20:59:26 | 显示全部楼层
gh
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-2-19 07:52:21 | 显示全部楼层
谢谢
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
2 
发表于 2018-2-19 14:06:55 | 显示全部楼层
6
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-2-19 16:40:13 | 显示全部楼层
6666666666666厉害了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-2-19 20:11:08 | 显示全部楼层
孤独的嫖客 发表于 2018-2-16 22:37
瞅瞅看,
爬虫向朋友欢迎加入692858412Python基础/爬虫,是一个Python语言学习小组,欢迎大牛进群接 ...

嗯嗯,嗯嗯,
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-2-19 23:14:18 | 显示全部楼层
感谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
2 
发表于 2018-2-19 23:53:03 | 显示全部楼层

槑,你咋来了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-2-20 01:08:19 | 显示全部楼层
谢谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-2-20 10:01:51 | 显示全部楼层
学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

小甲鱼强烈推荐上一条 /1 下一条

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号

GMT+8, 2018-9-23 01:56

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表