鱼C论坛

 找回密码
 立即注册
查看: 26522|回复: 129

[作品展示] 爬虫 | 爬取FishC淘贴入库 数据可视化

  [复制链接]
发表于 2018-7-2 21:28:44 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 新手·ing 于 2018-7-3 16:49 编辑

声明:为了减小对论坛的压力,请不要过分爬取论坛。


       要点
  • requests,re获取数据
  • MySQL存储数据
  • pyecharts大数据可视化


1.爬取数据
tkink.png

红框中的内容就是我们要爬取的数据,右键—查看源代码,
写出正则表达式如下:
pattern.png

成功获取数据。
page.png

由于每一页的网址都是有规律的,于是使用循环构造网址:
url.png

循环在main函数内部。


2.数据存储
连接数据库并存入数据。
database.png

这里不得不吐槽一下,Python操作MySQL,转义,占位符支持的真的不是很好,经常会有一些莫名其妙的报错。

不过,数据成功入库后,笔者心里就有一种极大的成就感。

data.png

笔者使用的数据库可视化工具是 Navicat,很棒,只不过不是免费的。
笔者把安装包放在桌面,试用期一到,就重新下载嘿嘿。


3.数据可视化
这一步是最有趣的,尤其是一张美观的图表展现在眼前时。
笔者使用pyecharts,(Echarts:百度良心开源框架)

这是根据订阅量制成的柱状图:
FishC淘贴订阅量top10.png

这是根据主题数制成的柱状图:
FishC淘贴主题数top10.png

根据淘贴数量制成的云图:
echarts.png

通过这三张图,我们可以直观的看出 不二如是 大佬是这个论坛的顶梁柱之一,订阅量和主题数都稳居榜首。


4.逻辑代码
main.png
                                                                                                                                                                                                                                                                                          
回复查看源代码:
游客,如果您要查看本帖隐藏内容请回复

@小甲鱼 申精。

评分

参与人数 7荣誉 +34 鱼币 +29 贡献 +27 收起 理由
cjjJasonchen + 5 + 5 + 3 鱼C有你更精彩^_^
歌者文明清理员 + 5 + 3 鱼C有你更精彩^_^
MSK + 5 + 5 + 3 鱼C有你更精彩^_^
ド゛゜范 + 1 + 1 鱼C有你更精彩^_^
康小泡 + 6 + 6 + 6 鱼C有你更精彩^_^
小甲鱼 + 6 + 6 + 6 鱼C有你更精彩^_^
不二如是 + 6 + 6 + 6 鱼C有你更精彩^_^

查看全部评分

本帖被以下淘专辑推荐:

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-7-3 09:37:14 | 显示全部楼层
小建议:关注公众号获得源码,理论上很难加精哦~

文章很实用,属于通俗易懂系列,并且外延性很强!

至于想加精,源码是否直接开源,新手自行决定~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-7-3 08:51:45 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-7-3 10:09:39 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-7-3 15:26:30 | 显示全部楼层
实用性很强!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-7-3 16:50:04 | 显示全部楼层
不二如是 发表于 2018-7-3 09:37
小建议:关注公众号获得源码,理论上很难加精哦~

文章很实用,属于通俗易懂系列,并且外延性很强!

好的。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-7-3 16:54:16 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-7-3 19:45:22 From FishC Mobile | 显示全部楼层
1
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-7-3 20:03:17 | 显示全部楼层
不二如是 发表于 2018-7-3 09:37
小建议:关注公众号获得源码,理论上很难加精哦~

文章很实用,属于通俗易懂系列,并且外延性很强!

申精。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

发表于 2018-7-3 20:31:45 From FishC Mobile | 显示全部楼层
学习学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-7-3 20:57:52 | 显示全部楼层
学习学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-7-3 22:05:36 | 显示全部楼层
来学习了!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-7-3 22:28:02 | 显示全部楼层
RE: 爬虫 | 爬取FishC淘贴入库 数据可视化 [修改]
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-7-4 08:53:02 | 显示全部楼层
厉害啊

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-7-4 10:14:17 | 显示全部楼层
努力学习啊。。。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-7-4 12:13:04 | 显示全部楼层
鱼C有你更精彩^_^
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-7-4 13:34:01 | 显示全部楼层
我在不二脑袋上哈哈
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-7-4 13:54:48 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-7-4 15:39:09 | 显示全部楼层
看了一遍 果然没有我的id
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-7-4 23:52:57 | 显示全部楼层
牛逼啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-12-25 23:00

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表