鱼C论坛

 找回密码
 立即注册
查看: 3700|回复: 345

[作品展示] 【爬取鱼C 3W+ 条数据】通过 Pandas & Matplotlib 简单的处理数据和绘制的图表

  [复制链接]
最佳答案
2113 
发表于 2020-5-28 23:59:32 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
本帖最后由 Twilight6 于 2020-6-3 14:30 编辑



Matplotlib.pyplot实战——绘制简单图表


                               
登录/注册后可看大图






4月底正好刚刚开始接触数据可视化,当时就想爬些数据拿来练习,可又一直感觉找不到可以爬的数据...

突然有一天一个念头从我脑海一闪而过——我一天天的在论坛划水,为什么不爬些论坛的数据呢?结果就有了这个帖子......

当时爬虫写了十来分钟,爬数据爬了1小时半......因为我怕给服务器 压力太大,而且当时也闲着,电脑也没干啥,就 time.sleep 爬一页休息 5 秒

睡个午觉醒来,发现 1000 页的数据就全爬完了~~~可是Python交流板块明明 1200+ 页的,我发现后面几页怎么也访问不了,就算了

只爬取了每页的帖名,浏览量,评论量,一页有 32 个帖子,一共爬了1000页, 本还想爬 作者

可是我数据提取还不熟练,VIP 用户和非 VIP 用户里面的标签属性不同,而最后回帖的数据和作者的数据标签很类似,后面我就放弃爬作者了(学艺不精,唉!)

都是些简单的图表,大家将就着看看,我爬来的数据,不管适不适合这些图,我都搞了哈哈~

小提示图片点击可放大观看
游客,如果您要查看本帖隐藏内容请回复



上面的图都很简单数据 也几乎直接打开文件就拿来用了

爬虫我的代码我就不放上去了~



嘿嘿~最后
你的评分,就是对楼主最大的鼓励

                               
登录/注册后可看大图






评分

参与人数 22荣誉 +43 鱼币 +53 贡献 +28 收起 理由
千古 + 1 鱼C有你更精彩^_^
aaron.yang + 3 鱼C有你更精彩^_^
nahongyan1997 + 1 + 1 鱼C有你更精彩^_^
hyqzzs + 5 + 5 + 3 鱼C有你更精彩^_^
天下有敌 + 4 + 2 + 1 楼主贴心,还知道不给服务器造成压力
qiuyouzhi + 5 + 5 + 3 感谢楼主无私奉献!
Minhal + 5 + 3 无条件支持楼主!
Python初学者8号 + 1 + 1 + 1
maxliu06 + 1 + 1 感谢楼主无私奉献!
小甲鱼的铁粉 + 1 收徒吗?很真诚的那种

查看全部评分

本帖被以下淘专辑推荐:

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
2 
发表于 2020-5-29 01:03:55 From FishC Mobile | 显示全部楼层
3万条数据...我去?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
73 
发表于 2020-5-29 07:26:40 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
110 
发表于 2020-5-29 08:48:16 | 显示全部楼层
have a look
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
5 
发表于 2020-5-29 08:53:52 | 显示全部楼层
看看
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
2113 
 楼主| 发表于 2020-5-29 08:58:15 | 显示全部楼层
都没人来,自己捞一捞
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2020-5-29 08:59:06 | 显示全部楼层
加油加油
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
6 
发表于 2020-5-29 09:02:25 | 显示全部楼层

回帖奖励 +2 鱼币

育碧
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2020-5-29 09:25:23 | 显示全部楼层
66666666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2020-5-29 09:40:07 | 显示全部楼层
mark
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2020-5-29 09:55:48 | 显示全部楼层

回帖奖励 +2 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2020-5-29 10:34:20 | 显示全部楼层

回帖奖励 +2 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2020-5-29 11:09:38 | 显示全部楼层
tql
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
57 
发表于 2020-5-29 13:21:05 From FishC Mobile | 显示全部楼层
……感觉没啥用
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
2113 
 楼主| 发表于 2020-5-29 13:23:12 | 显示全部楼层
_2_ 发表于 2020-5-29 13:21
……感觉没啥用

确实没啥用  
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2020-5-29 13:54:29 | 显示全部楼层

回帖奖励 +2 鱼币

厉害了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2020-5-29 14:54:06 From FishC Mobile | 显示全部楼层
6
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
550 
发表于 2020-5-29 17:04:55 | 显示全部楼层
加油~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
2113 
 楼主| 发表于 2020-5-29 17:25:51 | 显示全部楼层



                               
登录/注册后可看大图

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2020-5-29 17:54:59 | 显示全部楼层
Twilight6 发表于 2020-5-29 09:56
兄弟,别每次都这样操作好吗...你以为我看不见嘛

因为发太多会被删掉,所以还是自己主动点删掉(好吧,就是为了育碧)
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1

GMT+8, 2020-9-20 18:07

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表