35 认识Scrapy框架

和vvv · 发表于 2017-7-1 16:21:29

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由和vvv 于 2019-7-24 08:49 编辑
35 认识Scrapy框架

（1）为什么要认识Scrapy框架呢？这就相当于当初我为什么选择学Python语言（简单易懂效果好啊）。说起框架，先简单地说几句吧。

（2）所谓框架（先来一段），是整个或部分系统的可重用设计，表现为一组抽象构件及构件实例间交互的方法;另一种定义认为，框架是可被应用开发者定制的应用骨架。前者是从应用方面而后者是从目的方面给出的定义。不管怎样，框架有这样一个好处：一个框架是一个可复用的设计构件，能够极大程度上地提高效率和速率。

（3）Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。就是这样的：

Scrapy is an application framework for crawling web sites and extracting structured data which can be used for a wide range of useful applications, like data mining, information processing or historical archival.
Even though Scrapy was originally designed for web scraping, it can also be used to extract data using APIs (such as
Amazon Associates Web Services) or as a general purpose web crawler.

这段话的意思就是说Scrapy框架和厉害，不仅仅可以用来爬取数据，进行数据的处理，还能做很多的事。一句话，牛逼！

（4）想当年，我们写的爬虫都是单个单个的文件，毫无组织毫无纪律，因此只能进行一些小动作。而学习了框架之后，你的手下就有了许多服从命令的兵，你的主要作用就是排兵布阵，进行全局的掌控。决胜千里，那些小动作，已不再需要你去做了，已经有更屌的人为你做了。

（5）学习一个框架，不能只重视学习使用，而应学习原理。框架是谁写的呢？人写的。因此，如果有一天出故障了，你怎么办。因此，我认为，学习框架的最高境界就是我自己也写出了一个不错的框架。到那时，想干什么，还不是动动手的事。

我还是这样认为的，教程还是官方文档的好（其他的做辅助）。这是Scrapy官网：https://scrapy.org/

karlyes · 发表于 2017-7-1 17:31:45

为什么呢？

zhengsc · 发表于 2017-7-1 17:46:05

看看

当时就吓傻了 · 发表于 2017-8-1 02:31:19

来看看

cc1206 · 发表于 2017-8-1 03:45:29

学习下

景命 · 发表于 2017-9-4 19:02:48

加油

JKmorgan · 发表于 2017-9-4 19:06:40

加油

chinahubo · 发表于 2017-9-5 10:17:29

新手学习

hzswh557 · 发表于 2017-9-5 11:21:53

我也要学习

qianlixiaozhuoz · 发表于 2017-9-5 11:31:04

learn

一个热爱学习的 · 发表于 2017-9-5 18:29:22

看看

带三个表 · 发表于 2017-9-12 18:52:02

666666666666666

pabc53 · 发表于 2017-9-19 00:14:33

为什么呢

Jailz · 发表于 2017-9-20 15:49:58

看看

tmkuej · 发表于 2017-9-26 09:56:22

为什么呢？

了解2号 · 发表于 2017-9-26 10:06:37

爬虫最帅

mass · 发表于 2017-9-26 13:39:31

回复可见

Brance · 发表于 2017-9-26 15:07:06

了解一下

文明的读书人 · 发表于 2017-9-26 16:59:00

why？

瓦蓝 · 发表于 2017-9-26 22:18:39

账号		自动登录	找回密码
密码			立即注册

[技术交流] 35 认识Scrapy框架

马上注册，结交更多好友，享用更多功能^_^

评分

本帖被以下淘专辑推荐: