cuibaowenown2 发表于 2016-9-15 20:26:49

Python3爬虫框架Scrapy例子

本帖最后由 cuibaowenown2 于 2016-9-15 20:42 编辑




python3安装Scrapy：
pip3 install Scrapy
Scrapy文档：
英文文档：http://doc.scrapy.org/en/latest/intro/tutorial.html
中文文档(版本不是最新)：http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/tutorial.html
英文水平好的可以直接看英文文档，英文水平居中的可以结合看，英文水平太差的可以只看中文文档(该文档有部分与最新版有冲突，要注意)

下面给出我自己写的程序的例子：


简易介绍用法：
scrapy list    ---------- 查看爬虫
scrapy crawl ... ------- 开始用某爬虫爬

或者回复此贴免费下载：
**** Hidden Message *****

MIDENG 发表于 2016-9-15 21:18:21

。。。。。

2103166357 发表于 2016-9-15 21:44:21

ython3爬虫框架Scrapy例子 [修改]

风吹雨起#泪花落 发表于 2016-9-15 22:29:03

{:10_249:}{:10_334:}

fenlinno1 发表于 2016-9-16 02:33:59

编写第一个爬虫

hiraicn 发表于 2016-9-16 08:40:48

感谢制作教程，学习一下scrapy

zhengod 发表于 2016-9-16 15:12:32

学习

肥皂皂 发表于 2016-9-16 20:51:02

看一下咯

huangxudong 发表于 2016-9-19 09:33:16

谢谢分享！

一起哈啤 发表于 2016-9-20 14:21:52

23333333333333333333333

sunjiyuan1989 发表于 2016-9-21 15:29:02

好东西

13079538773 发表于 2016-9-22 14:20:34

重新编译一下好东西

羊羊羊 发表于 2016-9-25 20:28:36

感谢

CdgJpR 发表于 2016-9-28 15:46:17

没有2.7的爬虫吗？好像都是3.x的。。

小猫拉屎 发表于 2016-10-10 11:38:37

请教一下
我的系统win8-64位，安装的是python3.5，lxml文件已经安装成功（通过.whl的形式安装）
然后我在cmd里执行 pip3 install scrapy后，它在最后显示
error:Unable to find vcvarsall.bat

这个怎么解决？我电脑上已经有MC++ 2008跟2010了，修改.py配置文件也无法解决

vitalist 发表于 2016-10-10 12:54:11

学习

2495159023 发表于 2016-10-21 01:59:55

{:5_99:}

hellobug 发表于 2016-10-31 15:26:57

学习一下

jin6220 发表于 2016-11-12 20:35:38

姐姐 能不能爬豆瓣 做个换代理的爬虫？需要学习你的例子。

jin6220 发表于 2016-11-12 20:36:48

爬豆瓣害羞组的照片啊。。。
页: [1] 2 3 4 5 6 7
查看完整版本: Python3爬虫框架Scrapy例子