鱼C论坛

 找回密码
 立即注册
查看: 3045|回复: 11

[作品展示] Python3+MongoDB爬取链接所有二手房信息,学以致用

[复制链接]
发表于 2019-5-6 10:59:08 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
过了爬妹子图的年纪了,找找链家的好房。
目标:链家-二手房
地区:重庆各大区
存储:MongoDB,默认各位已经安装好了,MySQL关系数据库用着不够灵活。
上个图吧,这是mongo筛选打出来的,实际爬取的信息更多。
微信截图_20190506104956.png


这个是实际数据输出。
实际数据.png

以下是代码,修修补补添加有点多,大佬们将就看看,把url改成你们省份的也可以爬,那天改成北京的试了试可以的,最近今天在看数据分析,后续上一个有关房价的数据分析。
游客,如果您要查看本帖隐藏内容请回复


多进程爬取效率比较高,目前版本默认有的分区全部爬取,但是链家只给了100页数据 超过100页的好像爬不到。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2019-5-6 11:02:32 | 显示全部楼层
最开始是保存CSV文件的 你们把注释放开也可以保存,用上mongo后就没用文件存储了,毕竟不好分析一个个文件。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-10-30 10:31:42 | 显示全部楼层
我想问一下我直接按别的代码写的,然后村到mongo数据库里面,那我怎么查看这个数据库啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-3-12 10:40:23 | 显示全部楼层
我来学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-3-12 10:44:28 | 显示全部楼层
多谢楼主提供这个.
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-6-18 11:24:42 | 显示全部楼层
本帖最后由 yyyyttt 于 2020-6-18 11:26 编辑

感谢
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-6-19 18:29:50 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2021-2-8 20:01:34 | 显示全部楼层
学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-10-22 19:25:01 | 显示全部楼层

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2021-10-22 21:03:13 | 显示全部楼层
66666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2023-12-15 00:27:59 From FishC Mobile | 显示全部楼层
感谢大佬
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2023-12-15 07:50:04 | 显示全部楼层
学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-12-23 22:42

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表