使用Python爬取正方教务系统在校成绩

mgsky1 · 发表于 2018-2-16 22:17:47

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 mgsky1 于 2018-2-19 22:51 编辑

今天刚完工的，跟着@小甲鱼的教程，用所学的知识完全是可以实现的，度娘上的参差不齐，还有人投机取巧去除验证码的，但是这个不一定管用，至少我们学校是行不通的~就没怎么参考度娘的。这段代码托管在Github，后面有链接。
关键点有两个：
1、抓包，看请求头，看看浏览器到底提交了什么给服务器，正方的系统是用Asp.Net写的，有一个ViewState很关键
2、可持续的Cookie，如果没有Ta的话，因为服务器健忘，就会忘了你是谁了
这段程序用到了
1、cookiejar与opener的绑定
2、pickle持久化存储，终于体会到了腌泡菜的感觉
3、简单正则
4、BeautifulSoup
5、PrettyTable 主要用于输出更美观

效果图

游客，如果您要查看本帖隐藏内容请回复

今天把思路稍微写了一下，包括整个的前期的分析过程，最后的BeautifulSoup4的分析感觉写的不咋地，毕竟当时也是根据文档和需求摸索的，

游客，如果您要查看本帖隐藏内容请回复

各位看官觉得好的，又有Git账号的，点个Star哦~

°蓝鲤歌蓝 · 发表于 2018-2-16 22:34:07

孤独的嫖客 · 发表于 2018-2-16 22:37:29

本帖最后由孤独的嫖客于 2018-2-16 23:41 编辑

瞅瞅看,

爬虫向朋友欢迎加入692858412Python基础/爬虫,是一个Python语言学习小组，欢迎大牛进群接受指导。什么性能，什么语言，都是浮云。够简洁，就Python！(非培训机构,一起学习,祝大家新春快乐!)

登录/注册后可看大图

更新一下:
小甲鱼老师视频入门OK,0基础确实合适,但是爬虫/web开发/数据分析等方向,建议还是看时间就近的视频比较好
我看了你的代码
用的包都是老包了
直接用request包的Session()就可以保存会话,
urllib这包已经过时了,当然不否认还可以用

LEIpeng · 发表于 2018-2-16 23:10:30

感谢分享

像番茄加两个蛋 · 发表于 2018-2-17 08:42:39

感谢分享

郭先森 · 发表于 2018-2-17 12:25:36

mgsky1 · 发表于 2018-2-17 23:26:18

我觉得这个是不是要放到作品展示区好点⊙▽⊙

mgsky1 · 发表于 2018-2-17 23:31:18

孤独的嫖客发表于 2018-2-16 22:37
瞅瞅看,
爬虫向朋友欢迎加入692858412Python基础/爬虫,是一个Python语言学习小组，欢迎大牛进群接 ...

多谢建议哦～一起进步(^_^)

laoxing · 发表于 2018-2-17 23:41:26

哈n0 · 发表于 2018-2-18 01:06:34

shiwenhu · 发表于 2018-2-18 16:17:49

谢谢楼主分享

KarRoystine · 发表于 2018-2-18 20:59:26

qiuyouzhi · 发表于 2018-2-19 07:52:21

谢谢

mintaka · 发表于 2018-2-19 14:06:55

w666666 · 发表于 2018-2-19 16:40:13

6666666666666厉害了

lujin608 · 发表于 2018-2-19 20:11:08

孤独的嫖客发表于 2018-2-16 22:37
瞅瞅看,
爬虫向朋友欢迎加入692858412Python基础/爬虫,是一个Python语言学习小组，欢迎大牛进群接 ...

嗯嗯，嗯嗯，

M-Xinlei · 发表于 2018-2-19 23:14:18

感谢分享

孤独的嫖客 · 发表于 2018-2-19 23:53:03

lujin608 发表于 2018-2-19 20:11
嗯嗯，嗯嗯，

槑,你咋来了

cf_hu · 发表于 2018-2-20 01:08:19

谢谢分享

Revolver · 发表于 2018-2-20 10:01:51

学习一下

账号		自动登录	找回密码
密码			立即注册

[作品展示] 使用Python爬取正方教务系统在校成绩

马上注册，结交更多好友，享用更多功能^_^