Y0uWill_1Will 发表于 2019-5-6 10:59:08

Python3+MongoDB爬取链接所有二手房信息，学以致用

过了爬妹子图的年纪了，找找链家的好房。
目标：链家-二手房
地区：重庆各大区
存储：MongoDB，默认各位已经安装好了，MySQL关系数据库用着不够灵活。
上个图吧，这是mongo筛选打出来的，实际爬取的信息更多。



这个是实际数据输出。


以下是代码，修修补补添加有点多，大佬们将就看看，把url改成你们省份的也可以爬，那天改成北京的试了试可以的，最近今天在看数据分析，后续上一个有关房价的数据分析。
**** Hidden Message *****

多进程爬取效率比较高，目前版本默认有的分区全部爬取，但是链家只给了100页数据 超过100页的好像爬不到。

Y0uWill_1Will 发表于 2019-5-6 11:02:32

最开始是保存CSV文件的 你们把注释放开也可以保存，用上mongo后就没用文件存储了，毕竟不好分析一个个文件。

tt520 发表于 2019-10-30 10:31:42

我想问一下我直接按别的代码写的，然后村到mongo数据库里面，那我怎么查看这个数据库啊

夜空空空 发表于 2020-3-12 10:40:23

我来学习一下

chunchun2017 发表于 2020-3-12 10:44:28

多谢楼主提供这个.

yyyyttt 发表于 2020-6-18 11:24:42

本帖最后由 yyyyttt 于 2020-6-18 11:26 编辑

感谢

YAUMN 发表于 2020-6-19 18:29:50

{:10_277:}{:10_254:}

sym961018 发表于 2021-2-8 20:01:34

学习一下

Livia2574 发表于 2021-10-22 19:25:01

牛

山鬼謡 发表于 2021-10-22 21:03:13

66666

梅开朗基罗 发表于 2023-12-15 00:27:59

感谢大佬

yesiam111 发表于 2023-12-15 07:50:04

学习一下
页: [1]
查看完整版本: Python3+MongoDB爬取链接所有二手房信息，学以致用