Python3+MongoDB爬取链接所有二手房信息，学以致用

Y0uWill_1Will · 发表于 2019-5-6 10:59:08

您需要登录才可以下载或查看，没有账号？立即注册

x

过了爬妹子图的年纪了，找找链家的好房。
目标：链家-二手房
地区：重庆各大区
存储：MongoDB，默认各位已经安装好了，MySQL关系数据库用着不够灵活。
上个图吧，这是mongo筛选打出来的，实际爬取的信息更多。
微信截图_20190506104956.png

这个是实际数据输出。
实际数据.png

以下是代码，修修补补添加有点多，大佬们将就看看，把url改成你们省份的也可以爬，那天改成北京的试了试可以的，最近今天在看数据分析，后续上一个有关房价的数据分析。

游客，如果您要查看本帖隐藏内容请回复

多进程爬取效率比较高，目前版本默认有的分区全部爬取，但是链家只给了100页数据超过100页的好像爬不到。

Y0uWill_1Will · 发表于 2019-5-6 11:02:32

最开始是保存CSV文件的你们把注释放开也可以保存，用上mongo后就没用文件存储了，毕竟不好分析一个个文件。

tt520 · 发表于 2019-10-30 10:31:42

我想问一下我直接按别的代码写的，然后村到mongo数据库里面，那我怎么查看这个数据库啊

夜空空空 · 发表于 2020-3-12 10:40:23

我来学习一下

chunchun2017 · 发表于 2020-3-12 10:44:28

多谢楼主提供这个.

yyyyttt · 发表于 2020-6-18 11:24:42

本帖最后由 yyyyttt 于 2020-6-18 11:26 编辑

感谢

YAUMN · 发表于 2020-6-19 18:29:50

sym961018 · 发表于 2021-2-8 20:01:34

学习一下

Livia2574 · 发表于 2021-10-22 19:25:01

牛

山鬼謡 · 发表于 2021-10-22 21:03:13

66666

梅开朗基罗 · 发表于 2023-12-15 00:27:59

感谢大佬

yesiam111 · 发表于 2023-12-15 07:50:04

学习一下

账号		自动登录	找回密码
密码			立即注册

[作品展示] Python3+MongoDB爬取链接所有二手房信息，学以致用