鱼C论坛

 找回密码
 立即注册
查看: 2883|回复: 22

[技术交流] 终于还是向论坛下手了 | 爬虫分析问题时间流

[复制链接]
发表于 2019-1-20 19:17:36 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 新手·ing 于 2019-1-23 18:36 编辑

相信一部分乐于助人的鱼油在新奖励模式的推动下,会废寝忘食的守在电脑前,耐心的为新人回答问题。

然而,总不可能整天盯着电脑,只能随缘碰到一个问题就解决一个。

基于以上问题,我决定爬取论坛之前已经解决过的将近4万个问题的问题发布时间,分析大部分问题的发布时间规律。

(HKMK8OOMHFL5GAQ[`{M@M4.png

红框中的时间即为所求,而查看源代码就可以发现,数据都是可以直接爬取的。

而每一页的链接只要修改一下page即可。

于是乎写出代码:
游客,如果您要查看本帖隐藏内容请回复
只是一个65行的辣鸡小爬虫。

不过不要妄想着直接爬了,论坛大概是加了反爬虫措施。

为了论坛安危(个人安危)我是不会提供 proxy.txt 的!

就看看结论吧~

游客,如果您要查看本帖隐藏内容请回复


可以看到,4~5点,21~22点为问题高峰期,从12点开始下降。

不过这2000页大概爬了15分钟左右(单线程),仿佛闻到了显卡的香气,准备去学习下多线程。

代码写的比较业余,有问题希望可以和大家一起探讨。

评分

参与人数 1荣誉 +6 鱼币 +6 贡献 +6 收起 理由
不二如是 + 6 + 6 + 6 夜晚学习令我鸡冻

查看全部评分

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2019-1-20 19:51:16 | 显示全部楼层
学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-1-21 02:54:16 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2019-1-21 20:11:59 From FishC Mobile | 显示全部楼层
感谢楼主!!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-1-21 22:03:29 | 显示全部楼层
感谢楼主
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-1-23 18:36:38 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2019-1-24 18:11:44 | 显示全部楼层
66666666666666666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-1-24 19:12:36 From FishC Mobile | 显示全部楼层
学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-1-25 14:58:31 | 显示全部楼层
6666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2019-1-25 15:57:35 | 显示全部楼层
代理服务器违法吗?涉及安危问题?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-1-25 16:27:54 | 显示全部楼层
虚无→与→飘渺 发表于 2019-1-25 15:57
代理服务器违法吗?涉及安危问题?

不像是以前那样一点都不管制了,现在不是正常手段获取的数据肯定是违法的。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-1-26 17:28:25 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2019-1-26 19:56:27 | 显示全部楼层
晚上看代码的人应该多
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-1-26 23:33:33 | 显示全部楼层
学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-1-29 20:51:18 | 显示全部楼层

学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-1-29 20:56:59 | 显示全部楼层
先手y
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-1-29 21:40:53 | 显示全部楼层
过分.论坛都不放过
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-1-29 22:25:50 | 显示全部楼层
支持支持
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-1-30 10:00:56 | 显示全部楼层
楼主 加一点注释可好
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-1-30 10:16:41 | 显示全部楼层
学习了~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 13:18

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表