|
马上注册,结交更多好友,享用更多功能^_^
您需要 登录 才可以下载或查看,没有账号?立即注册
x
爬虫是什么呢?
平时生活中,可能听到很多人在讲爬虫,
但是关于爬虫是什么,可以做什么等等,并不是那么清楚。今天就聊一聊爬虫“这只特殊的虫子”!
爬虫,即网络爬虫,也叫做网络机器人,可以代替人们自动地在互联网中进行数据信息的采集与整理
可以把它理解为在网络上爬行的一只蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛,如果它遇到自己的猎物(所需要的资源),那么它就会将其抓取下来。
爬虫就是一个探测机器,它的基本操作就是模拟人的行为去各个网站溜达,点点按钮,查查数据,或者把看到的信息背回来。就像一只不知疲倦的机器虫在楼里爬来爬去。
你可以简单的想象:每个爬虫都是你的“分身”,你就是孙悟空,拔起一撮汗毛,吹出一堆猴子。
所以我们经常说,爬虫能通过网址获得网络中的数据、然后根据目标解析数据、存储目标信息,可以节省大量的人力物力。
简单地说,网络爬虫就是获取互联网公开数据的自动化工具,别告诉我你没有接触过爬虫,比如百度、google,它们本质上就是超级爬虫,
百度搜索引擎的爬虫叫作百度蜘蛛。
百度蜘蛛每天会在海量的互联网信息中进行爬取,爬取优质信息并收录,当用户在百度搜索引擎上检索对应关键词时,百度将对关键词进行分析处理,从收录的网页中找出相关网页,按照一定的排名规则进行排序并将结果展现给用户。
大数据时代是离不开爬虫的。
|
|