Python3.X下安装Scrapy

塔利班 · 发表于 2018-8-16 09:53:58

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

相信很多同学对于爬虫需要安装Scrapy时候，不想特地去安装2.X版本
我也是这样一个懒人，我从网上找到这篇文章
在Python3.x下安装和测试Scrapy爬网站
根据上边的教程可以在我的电脑上正确安装Scrapy
电脑环境:Win7 64位系统
Python版本:3.6
以下转自https://zhuanlan.zhihu.com/p/23103620?refer=gooseeker

Scrapy所依赖的Twisted和Lxml在Windows/Python 3.x的平台还不能通过pip直接安装，所以直接使用pip也无法安装Scrapy。

1、安装Twisted和Lxml
通过下载对应的.whl文件来安装Twisted和Lxml，下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/
这里根据你自己的计算机系统和python版本选择合适的Twisted和Lxml，比如我的电脑，我选择的是
lxml‑3.7.3‑cp36‑cp36m‑win32.whl和Twisted‑17.1.0‑cp36‑cp36m‑win32.whl

打开命令提示符窗口，输入命令如下两条命令来完成Twisted和Lxml。
pip install C:\Twisted‑17.1.0‑cp36‑cp36m‑win32.whl
pip install C:\lxml‑3.7.3‑cp36‑cp36m‑win32.whl
根据你自己的文件目录进行修改命令
2、安装Scrapy
在命令提示符中使用pip安装Scrapy
pip install Scrapy即可完成Scrapy的安装
3. Scrapy测试，敲一个基于Scrapy框架的爬虫程序
打开命令提示符窗口，输入命令如下命令
Scrapy startproject turtoria
如果安装成功的话,此处不会有任何报错，并会在你输入命令所在目录创建出turtoria文件夹

安装使用过程可能会碰到跟我报一个缺少win32api的问题,这个问题解决方案也很简单,从http://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应的pywin32后,然后将Python安装目录\Lib\site-packages\pywin32_system32目录下两个文件拷贝到C:\Windows\System32目录就可以解决

自己当时爬虫学的一塌糊涂，，各种爬不明白爬不到，现在回头学，文章是转的论坛别人的，怕自己忘了，重新发一遍

凌九霄 · 发表于 2018-8-16 10:50:26

我的scarpy就是pip直接安装的，我的python版本3.5.2，因为直接从pypi安装慢，所以我使用了国内的镜像站点。其间报了个错，说是什么cl.exe找不到云云，度娘说要安装c++编译器。我的机器是装了vs2017的，但是只装了c#，所以在维护界面勾选了c++支持，然后就OK了。

塔利班 · 发表于 2018-8-16 10:51:55

凌九霄发表于 2018-8-16 10:50
我的scarpy就是pip直接安装的，我的python版本3.5.2，因为直接从pypi安装慢，所以我使用了国内的镜像站点。 ...

哦，那lxml也是连带安装的还是单独pip的

凌九霄 · 发表于 2018-8-16 10:54:56

我的lxml本来就有，我所有的模块都是直接pip的

塔利班 · 发表于 2018-8-16 10:56:25

嗯，挺好，我看视频甲鱼老师都是小心的用exe安装的，轮子Pip我都小心翼翼的，，

凌九霄 · 发表于 2018-8-16 11:07:03

他那个教程大概有好几年了吧，所以跟现实有些出入也不奇怪。
360截图20180816110304189.jpg

刚刚又升到最新版本，也很正常

JessiFly · 发表于 2018-8-19 11:56:09

感谢楼主分享，按照楼主给的步骤成功安装了Scrapy。

电脑环境:Win10 64位系统
Python版本:3.6

驿站之主 · 发表于 2018-8-24 10:31:28

感谢楼主分享，按照楼主给的步骤成功安装了Scrapy。
电脑环境:Win10 64位系统
Python版本:3.7

CP777 · 发表于 2018-9-2 16:25:54

本帖最后由 CP777 于 2018-9-2 16:30 编辑

谢谢楼主

yghyghygh113 · 发表于 2018-9-8 21:09:56

感谢楼主分享，按照楼主给的步骤成功安装了Scrapy。
电脑环境:Win10 64位系统
Python版本:3.7

比比皆是 · 发表于 2018-9-8 22:41:55

非常感谢楼主，Python3.7完美安装

lz575757 · 发表于 2018-9-9 22:16:03

谢了老铁

MagicChen · 发表于 2018-10-7 10:52:39

下载网址里面的下载链接都已经失效了，求最新的下载地址额

塔利班 · 发表于 2018-10-7 11:04:21

MagicChen 发表于 2018-10-7 10:52
下载网址里面的下载链接都已经失效了，求最新的下载地址额

你哪个失效了

MagicChen · 发表于 2018-10-8 11:57:27

塔利班发表于 2018-10-7 11:04
你哪个失效了

lxml‑4.2.5‑cp35‑cp35m‑win_amd64.whl

但是点哪个都是一样404，难道要先翻墙？

amber1111 · 发表于 2018-10-27 16:42:29

刚刚尝试用PIP直接安装Scrapy,是可以直接安装的，python版本3.7

hellohero · 发表于 2018-12-10 18:11:47

yghyghygh113 发表于 2018-9-8 21:09
感谢楼主分享，按照楼主给的步骤成功安装了Scrapy。
电脑环境:Win10 64位系统
Python版本:3.7

老铁，你下的twisted和lxml是哪个，我找半天找不到

wiselin · 发表于 2018-12-14 10:04:19

MagicChen 发表于 2018-10-8 11:57
lxml‑4.2.5‑cp35‑cp35m‑win_amd64.whl

但是点哪个都是一样404，难道要先翻墙 ...

没有失效，刚试了，你从知乎那篇原文点进去就可以

wiselin · 发表于 2018-12-14 10:06:55

hellohero 发表于 2018-12-10 18:11
老铁，你下的twisted和lxml是哪个，我找半天找不到

用ctrl+f搜，找到对应的python版本，比如你是3.6，64位的就下cp3.6，amd64那个，32位就下没有amd64那个

wh0210 · 发表于 2019-5-28 15:16:34

win10 64位 python3.7亲测有效！！！

账号		自动登录	找回密码
密码			立即注册

[技术交流] Python3.X下安装Scrapy

马上注册，结交更多好友，享用更多功能^_^