鱼C论坛

 找回密码
 立即注册
查看: 15163|回复: 1222

[好文转载] 一个月入门Python爬虫,轻松爬取大规模数据

    [复制链接]
最佳答案
93 
发表于 2019-4-15 17:24:00 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
本帖最后由 Stubborn 于 2020-1-12 23:17 编辑


Python爬虫为什么受欢迎

如果你仔细观察,就不难发现,懂爬虫、学习爬虫的人越来越多,一方面,互联网可以获取的数据越来越多,另一方面,像 Python这样的编程语言提供越来越多的优秀工具,让爬虫变得简单、容易上手。

利用爬虫我们可以获取大量的价值数据,从而获得感性认识中不能得到的信息,比如:
  • 知乎:爬取优质答案,为你筛选出各话题下最优质的内容。
  • 淘宝、京东:抓取商品、评论及销量数据,对各种商品及用户的消费场景进行分析。
  • 安居客、链家:抓取房产买卖及租售信息,分析房价变化趋势、做不同区域的房价分析。
  • 拉勾网、智联:爬取各类职位信息,分析各行业人才需求情况及薪资水平。
  • 雪球网:抓取雪球高回报用户的行为,对股票市场进行分析和预测。



对于小白来说,爬虫可能是一件非常复杂、技术门槛很高的事情。比如有人认为学爬虫必须精通 Python,然后哼哧哼哧系统学习 Python 的每个知识点,很久之后发现仍然爬不了数据;有的人则认为先要掌握网页的知识,遂开始 HTML\CSS,结果入了前端的坑,瘁……
但掌握正确的方法,在短时间内做到能够爬取主流网站的数据,其实非常容易实现,但建议你从一开始就要有一个具体的目标。
在目标的驱动下,你的学习才会更加精准和高效。那些所有你认为必须的前置知识,都是可以在完成目标的过程中学到的。这里给你一条平滑的、零基础快速入门的学习路径。  
  • 学习 Python 包并实现基本的爬虫过程
  • 了解非结构化数据的存储
  • 学习scrapy,搭建工程化爬虫
  • 学习数据库知识,应对大规模数据存储与提取
  • 掌握各种技巧,应对特殊网站的反爬措施
  • 分布式爬虫,实现大规模并发采集,提升效率


1,学习 Python 包并实现基本的爬虫过程
大部分爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行,这其实也是模拟了我们使用浏览器获取网页信息的过程。
Python中爬虫相关的包很多:urllib、requests、bs4、scrapy、pyspider 等,建议从requests+Xpath 开始,requests 负责连接网站,返回网页,Xpath 用于解析网页,便于抽取数据。
如果你用过 BeautifulSoup,会发现 Xpath 要省事不少,一层一层检查元素代码的工作,全都省略了。这样下来基本套路都差不多,一般的静态网站根本不在话下,豆瓣、糗事百科、腾讯新闻等基本上都可以上手了。
当然如果你需要爬取异步加载的网站,可以学习浏览器抓包分析真实请求或者学习Selenium来实现自动化,这样,知乎、时光网、猫途鹰这些动态的网站也可以迎刃而解。

2,了解非结构化数据的存储

爬回来的数据可以直接用文档形式存在本地,也可以存入数据库中。
开始数据量不大的时候,你可以直接通过 Python 的语法或 pandas 的方法将数据存为csv这样的文件。
当然你可能发现爬回来的数据并不是干净的,可能会有缺失、错误等等,你还需要对数据进行清洗,可以学习 pandas 包的基本用法来做数据的预处理,得到更干净的数据。


3,学习 scrapy,搭建工程化的爬虫

掌握前面的技术一般量级的数据和代码基本没有问题了,但是在遇到非常复杂的情况,可能仍然会力不从心,这个时候,强大的 scrapy 框架就非常有用了。
scrapy 是一个功能非常强大的爬虫框架,它不仅能便捷地构建request,还有强大的 selector 能够方便地解析 response,然而它最让人惊喜的还是它超高的性能,让你可以将爬虫工程化、模块化。
学会 scrapy,你可以自己去搭建一些爬虫框架,你就基本具备爬虫工程师的思维了。

4,学习数据库基础,应对大规模数据存储

爬回来的数据量小的时候,你可以用文档的形式来存储,一旦数据量大了,这就有点行不通了。所以掌握一种数据库是必须的,学习目前比较主流的 MongoDB,Redis 就OK(MySql可以了解)。
MongoDB 可以方便你去存储一些非结构化的数据,比如各种评论的文本,图片的链接等等。你也可以利用PyMongo,更方便地在Python中操作MongoDB。
因为这里要用到的数据库知识其实非常简单,主要是数据如何入库、如何进行提取,在需要的时候再学习就行。

5,掌握各种技巧,应对特殊网站的反爬措施
当然,爬虫过程中也会经历一些绝望啊,比如被网站封IP、比如各种奇怪的验证码、userAgent访问限制、各种动态加载等等。
遇到这些反爬虫的手段,当然还需要一些高级的技巧来应对,常规的比如访问频率控制、使用代理IP池、抓包、验证码的OCR处理等等。
往往网站在高效开发和反爬虫之间会偏向前者,这也为爬虫提供了空间,掌握这些应对反爬虫的技巧,绝大部分的网站已经难不到你了

6,分布式爬虫,实现大规模并发采集

爬取基本数据已经不是问题了,你的瓶颈会集中到爬取海量数据的效率。这个时候,相信你会很自然地接触到一个很厉害的名字:分布式爬虫。
分布式这个东西,听起来很恐怖,但其实就是利用多线程的原理让多个爬虫同时工作,需要你掌握 Scrapy + MongoDB + Redis 这三种工具。
Scrapy 前面我们说过了,用于做基本的页面爬取,MongoDB 用于存储爬取的数据,Redis 则用来存储要爬取的网页队列,也就是任务队列。
所以有些东西看起来很吓人,但其实分解开来,也不过如此。当你能够写分布式的爬虫的时候,那么你可以去尝试打造一些基本的爬虫架构了,实现一些更加自动化的数据获取。


你看,这一条学习路径下来,你已然可以成为老司机了,非常的顺畅。所以在一开始的时候,尽量不要系统地去啃一些东西,找一个实际的项目(开始可以从豆瓣、小猪这种简单的入手),直接开始就好。
因为爬虫这种技术,既不需要你系统地精通一门语言,也不需要多么高深的数据库技术,高效的姿势就是从实际的项目中去学习这些零散的知识点,你能保证每次学到的都是最需要的那部分。
当然唯一麻烦的是,在具体的问题中,如何找到具体需要的那部分学习资源、如何筛选和甄别,是很多初学者面临的一个大问题。

末尾大概的讲下自己的学习吧:
去年10月份开始接触,来到了鱼C,看了一些基础教程,还是有很多地方不是很明白,比如类,和魔法方法,我承认我写的代码,几乎把类当做一个“函数集合“去用的,不过这并不影响我写爬虫,最开始,学习的urllib,和bs4,第一个爬虫爬的就是妹子图。到后面学习了request发现,这个实在非常非常非常非常方便,所以前面的urllib几乎没有用了。还有解析库xpath,这两个,我都没有怎么系统学习过,真的,多写写多写写,忽然就会了。可能还有一些高级的方法,我想等以后我需要了再去学习把。大致会用这两个之后,系统学习了re,这个很强大,需要学习哦。然后学习了进行,线程,和协程(这个是了解下),后面继续学习了Mangodb,mysql,redis。django学习了一半,待恢复,昨天看完了Scrapy的教程。接下来准备用Scrapy-redis写一个持续去重爬虫。然后复习下之前的12360网站订票函数。还有pandas,hadoop,Centos基础,anconda 好多啊
这里是我写的一些爬虫笔记和小案例。多看,不如多敲,代码量记得跟上哦!-->戳我前进
兴趣是你最好的老师,坚持是最棒的学习方法
这里分享下两个非常有用的谷歌插件在设置里面-扩展程序:
这个是谷歌账号同步,可以进行访问谷歌商店
gbkepcmpjglfonklehdgjnimebhnmlel_1.2.rar (19.9 KB, 下载次数: 207)

评分

参与人数 6荣誉 +31 鱼币 +31 贡献 +21 收起 理由
害怕型全嘲豪 + 5 + 5 + 3
k往事如烟k + 5 + 5 + 3
q恶魔猎手 + 5 + 5 + 3
不二如是 + 6 + 6 + 6 鱼C有你更精彩^_^
zhang0127 + 5 + 5 + 3
cwhsmile + 5 + 5 + 3 鱼C有你更精彩^_^

查看全部评分

本帖被以下淘专辑推荐:

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-4-15 18:10:25 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
294 
发表于 2019-4-15 18:25:12 From FishC Mobile | 显示全部楼层
看看
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-4-15 18:42:51 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
1 
发表于 2019-4-15 19:30:55 | 显示全部楼层

回帖奖励 +1 鱼币

发誓好好学习爬虫,吃吧鸡先。。。。。。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-4-15 19:48:31 | 显示全部楼层

回帖奖励 +1 鱼币

学习!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
7 
发表于 2019-4-15 19:56:34 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-4-15 20:14:04 | 显示全部楼层
@Stubborn 楼主你好,你的头像是谁!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-4-15 21:06:54 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-4-15 21:13:14 | 显示全部楼层

回帖奖励 +1 鱼币

学习学习!虽然还没开始PYTHON
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-4-15 23:23:57 From FishC Mobile | 显示全部楼层

回帖奖励 +1 鱼币

加油
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-4-15 23:29:30 | 显示全部楼层

回帖奖励 +1 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
1 
发表于 2019-4-15 23:49:11 From FishC Mobile | 显示全部楼层
赞一个
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-4-16 00:31:18 From FishC Mobile | 显示全部楼层
6666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-4-16 01:18:42 | 显示全部楼层

回帖奖励 +1 鱼币

爬起来 感谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-4-16 04:57:55 | 显示全部楼层

回帖奖励 +1 鱼币

学习学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-4-16 08:18:26 | 显示全部楼层
222222222222222222222

评分

参与人数 1荣誉 -1 鱼币 -1 收起 理由
_2_ -1 -1 请不要无意义灌水!

查看全部评分

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-4-16 08:26:53 | 显示全部楼层

回帖奖励 +1 鱼币

看看
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-4-16 09:26:56 | 显示全部楼层

回帖奖励 +1 鱼币

感谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2019-4-16 09:39:36 From FishC Mobile | 显示全部楼层

评分

参与人数 1荣誉 -1 鱼币 -1 收起 理由
_2_ -1 -1 请不要无意义灌水!

查看全部评分

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

小甲鱼强烈推荐上一条 /1 下一条

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1

GMT+8, 2020-2-21 22:48

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表