mgsky1 发表于 2018-2-16 22:17:47

使用Python爬取正方教务系统在校成绩

本帖最后由 mgsky1 于 2018-2-19 22:51 编辑

今天刚完工的，跟着@小甲鱼 的教程，用所学的知识完全是可以实现的，度娘上的参差不齐，还有人投机取巧去除验证码的，但是这个不一定管用，至少我们学校是行不通的~就没怎么参考度娘的。这段代码托管在Github，后面有链接。
关键点有两个：
1、抓包，看请求头，看看浏览器到底提交了什么给服务器，正方的系统是用Asp.Net写的，有一个ViewState很关键
2、可持续的Cookie，如果没有Ta的话，因为服务器健忘，就会忘了你是谁了
这段程序用到了
1、cookiejar与opener的绑定
2、pickle持久化存储，终于体会到了腌泡菜的感觉
3、简单正则
4、BeautifulSoup
5、PrettyTable 主要用于输出更美观

效果图
**** Hidden Message *****

今天把思路稍微写了一下，包括整个的前期的分析过程，最后的BeautifulSoup4的分析感觉写的不咋地，毕竟当时也是根据文档和需求摸索的，{:10_250:}
**** Hidden Message *****

各位看官觉得好的，又有Git账号的，点个Star哦~{:5_92:}

°蓝鲤歌蓝 发表于 2018-2-16 22:34:07

赞

孤独的嫖客 发表于 2018-2-16 22:37:29

本帖最后由 孤独的嫖客 于 2018-2-16 23:41 编辑

瞅瞅看,{:5_95:}
爬虫向朋友欢迎加入692858412Python基础/爬虫,是一个Python语言学习小组，欢迎大牛进群接受指导。什么性能，什么语言，都是浮云。够简洁，就Python！(非培训机构,一起学习,祝大家新春快乐!)

static/image/hrline/2.gif
更新一下:
小甲鱼老师视频入门OK,0基础确实合适,但是爬虫/web开发/数据分析等方向,建议还是看时间就近的视频比较好
我看了你的代码
用的包都是老包了
直接用request包的Session()就可以保存会话,
urllib这包已经过时了,当然不否认还可以用

LEIpeng 发表于 2018-2-16 23:10:30

感谢分享

像番茄加两个蛋 发表于 2018-2-17 08:42:39

感谢分享

郭先森 发表于 2018-2-17 12:25:36

{:5_92:}

mgsky1 发表于 2018-2-17 23:26:18

我觉得这个是不是要放到作品展示区好点⊙▽⊙

mgsky1 发表于 2018-2-17 23:31:18

孤独的嫖客 发表于 2018-2-16 22:37
瞅瞅看,
爬虫向朋友欢迎加入692858412Python基础/爬虫,是一个Python语言学习小组，欢迎大牛进群接 ...

多谢建议哦～一起进步(^_^)

laoxing 发表于 2018-2-17 23:41:26

{:5_91:}

哈n0 发表于 2018-2-18 01:06:34

赞

shiwenhu 发表于 2018-2-18 16:17:49

谢谢楼主分享

KarRoystine 发表于 2018-2-18 20:59:26

gh

qiuyouzhi 发表于 2018-2-19 07:52:21

谢谢

mintaka 发表于 2018-2-19 14:06:55

6

w666666 发表于 2018-2-19 16:40:13

6666666666666厉害了

lujin608 发表于 2018-2-19 20:11:08

孤独的嫖客 发表于 2018-2-16 22:37
瞅瞅看,
爬虫向朋友欢迎加入692858412Python基础/爬虫,是一个Python语言学习小组，欢迎大牛进群接 ...

嗯嗯，嗯嗯，

M-Xinlei 发表于 2018-2-19 23:14:18

感谢分享

孤独的嫖客 发表于 2018-2-19 23:53:03

lujin608 发表于 2018-2-19 20:11
嗯嗯，嗯嗯，

{:5_91:}槑,你咋来了{:5_109:}

cf_hu 发表于 2018-2-20 01:08:19

谢谢分享

Revolver 发表于 2018-2-20 10:01:51

学习一下
页: [1] 2 3 4 5 6 7
查看完整版本: 使用Python爬取正方教务系统在校成绩