论坛 › Python交流 › 爬虫可以爬什么？

乙冗 发表于 2020-7-8 09:54:32

网络爬虫

爬虫，指的是从互联网采集数据的程序脚本 。

爬天爬地爬空气 ，无聊的时候爬一爬吃鸡数据、b站评论，能得出很多有意思的结论。知乎有个很有意思的问题——"利用爬虫技术能做到哪些很酷很有趣很有用的事情"，感兴趣的朋友可以自行搜索。

目前正值各大企业的秋季招聘期，没有合适的简历模板，用Python爬一波就搞定。



附代码如下，感兴趣的小伙伴可以尝试下：



数据分析

爬取大量的数据只是第一步，要让这些数据发挥价值，就需要学会数据分析。

对数据进行诸如清洗 、去重 、存储 、分析 、可视化等处理 ，将大量的数据以易读的形式呈现出来 ，才能高效的获取到需要的信息 。

这方面重点推荐学习 Numpy 、Pandas 、Matpoltlib 等 Python 库。

 高效便捷，例如对爬取的近 20000 样本进行分析得到如下可视化结果。



人工智能

其实，Python 无论是在传统机器学习还是深度学习领域都占有不可替代的地位。许多诸如 Scikit-learn 等机器学习库使得 Python 极具优势 ；

Keras 、TensorFlow 、Pytorch 等深度学习主流框架也决定了 Python 在深度学习领域的天选之子地位。

小甲鱼的铁粉 发表于 2020-7-8 11:29:51

妹子图

ZSMJ老甲鱼 发表于 2020-7-8 12:50:56

能爬到牢底坐穿哈哈哈哈

lhgzbxhz 发表于 2020-7-8 14:57:30

小说、漫画、电影什么的，反正白嫖爽得一B

Tip0 发表于 2020-7-9 07:43:20

爬虫爬到好，牢饭吃的早

fhq0915 发表于 2020-7-9 08:00:42

网站网页的关键字

一步到永远 发表于 2020-7-9 13:06:38

爬网站，爬游戏

馒头队长 发表于 2020-7-9 15:56:32

虫

Mr2tao 发表于 2020-7-10 00:56:03

可以爬取自己想要的信息

太阳总会升起 发表于 2020-7-10 23:42:04

可见即可爬{:5_109:}

杜若左 发表于 2020-7-11 06:23:19

可见即可爬

一忧子 发表于 2020-7-14 10:40:50

爬虫是有个什么公约不能一直爬的吧，吧刃甲网站搞崩了就拉你去坐牢{:5_104:}

zedi 发表于 2020-7-14 11:09:19

-Francis. 发表于 2020-7-2 20:26
牢饭吃的早

实惠还管饱

小凌乱 发表于 2020-7-16 22:43:04

{:10_266:}萌新膜拜大佬们

陈尚涵 发表于 2020-7-24 08:39:09

有手什么都能爬

Levin-e 发表于 2020-7-24 11:05:22

面向监狱编程{:10_279:}

风尘岁月 发表于 2020-7-24 20:16:46

能拿到你想要的东西 包括经济 技术 以及你私下的一下东西

weiter 发表于 2020-7-25 09:32:49

Levin-e 发表于 2020-7-24 11:05
面向监狱编程

面向地狱编程{:10_244:}

革命年 发表于 2020-7-25 09:36:36

爬虫什么都能爬，只要是不违法的，合规的，没有被封禁的东西，能在网上看到的东西，基本上就都爬的到，你想查一个资料就可以交给爬虫去爬
““““但是注意这个爬虫不能用在违法犯罪行为上，否则你就等着坐牢去吧””””

慕晴呀 发表于 2020-7-25 09:52:41

电脑屏幕能捕捉到的信息都能爬

查看完整版本: 爬虫可以爬什么？