lumber2388779 发表于 2017-3-14 23:03:44

Python3.X下安装Scrapy

本帖最后由 lumber2388779 于 2017-4-26 20:17 编辑

相信很多同学对于爬虫需要安装Scrapy时候，不想特地去安装2.X版本
我也是这样一个懒人，我从网上找到这篇文章
在Python3.x下安装和测试Scrapy爬网站
根据上边的教程可以在我的电脑上正确安装Scrapy
电脑环境:Win7 64位系统
Python版本:3.6
以下转自https://zhuanlan.zhihu.com/p/23103620?refer=gooseeker

Scrapy所依赖的Twisted和Lxml在Windows/Python 3.x的平台还不能通过pip直接安装，所以直接使用pip也无法安装Scrapy。

1、安装Twisted和Lxml
通过下载对应的.whl文件来安装Twisted和Lxml，下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/
这里根据你自己的计算机系统和python版本选择合适的Twisted和Lxml，比如我的电脑，我选择的是
lxml‑3.7.3‑cp36‑cp36m‑win32.whl和Twisted‑17.1.0‑cp36‑cp36m‑win32.whl

打开命令提示符窗口，输入命令如下两条命令来完成Twisted和Lxml。
pip install C:\Twisted‑17.1.0‑cp36‑cp36m‑win32.whl
pip install C:\lxml‑3.7.3‑cp36‑cp36m‑win32.whl
根据你自己的文件目录进行修改命令
2、安装Scrapy
在命令提示符中使用pip安装Scrapy
pip install Scrapy即可完成Scrapy的安装
3. Scrapy测试，敲一个基于Scrapy框架的爬虫程序
打开命令提示符窗口，输入命令如下命令
Scrapy startproject turtoria
如果安装成功的话,此处不会有任何报错，并会在你输入命令所在目录创建出turtoria文件夹

安装使用过程可能会碰到跟我报一个缺少win32api的问题,这个问题解决方案也很简单,从http://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应的pywin32后,然后将Python安装目录\Lib\site-packages\pywin32_system32目录下两个文件拷贝到C:\Windows\System32目录就可以解决

我自己对原文做了一定修改和精简方便各位初学者，如果有问题也可以在本帖回复，我能够作答一定会告诉你的

越越大宝贝 发表于 2017-3-30 17:44:51

我看了下，你是通过pip install scrapy 安装的!!
我是通过pip install Scrapy-1.3.3-py2.py3-none-any.whl安装的！！安装好了后运行Scrapy startproject turtoria提示“不是内部或外部命令”。
出现这个问题之后，我又按照你的方法pip install scrapy又安装了一遍!显示的信息和通过pip install Scrapy-1.3.3-py2.py3-none-any.whl一样的（我的这个最下面没有successfully提示，但也没有报错！）。
运行运行Scrapy startproject turtoria还是提示“不是内部或外部命令”。

进击的小蜗牛 发表于 2017-4-25 22:26:16

补充两点：一、在cmd中能pip成功需先把Python.exe文件夹目录和pip.py文件夹目录添加到环境变量中，缺一不可（具体怎么添加环境变量请自行搜索）。二、在pip install C:\Twisted‑17.1.0‑cp36‑cp36m‑win32.whl前要先pip install wheel，最好每步验证一下有没有pip成功可以在Python shell里import lxml（其他同理）若不报错，则说明pip成功

lumber2388779 发表于 2017-4-26 20:19:36

进击的小蜗牛 发表于 2017-4-25 22:26
补充两点：一、在cmd中能pip成功需先把Python.exe文件夹目录和pip.py文件夹目录添加到环境变量中，缺一不可 ...

其实从官网下载安装python的时候可以选取自动安装pip工具的,然后pip安装whl包的时候基本都会有提示安装成功,有个别安装成功后无法import,比如缺少win32api这个我在贴上已经补充了

保登心爱 发表于 2017-4-27 11:02:04

成功安装了不会用--

星空的旋律 发表于 2017-5-6 16:46:36

我还没学到那么远，先过来给大佬顶贴

hikaru2015 发表于 2017-5-6 19:01:41

第一次装不出轨，后来删了前两个部件，重新安装，就ok了，谢谢楼主

春风过江南 发表于 2017-5-12 15:04:23

你的电脑操作系统是64位为什么下载lxml‑3.7.3‑cp36‑cp36m‑win32.whl这个？win32应该是32位的。

文质彬彬胡汉三 发表于 2017-5-12 15:42:16

非常感謝朋友！終於解決了

snakeshe 发表于 2017-5-15 18:53:32

make

lumber2388779 发表于 2017-5-15 20:17:43

春风过江南 发表于 2017-5-12 15:04
你的电脑操作系统是64位为什么下载lxml3.7.3cp36cp36mwin32.whl这个？win32应 ...

因为我64位系统，但是我安装的python版本是32位的，这个主要看你的python版本
自己两种测试过都可以安装成功，下载对应的版本即可

Bruin 发表于 2017-5-18 16:40:10

这个咋弄

Bruin 发表于 2017-5-18 17:52:52

Bruin 发表于 2017-5-18 16:40
这个咋弄

这个我已经弄好了，但是我安装numpy出现问题了，望大神指导

burlyxu 发表于 2017-7-14 00:14:47

感谢，安装成功了，我最后碰到是在输入pip install Scrapy命令后，安装过程中出现下载scrapy模块时候网络无法下载的问题，出现这种情况，多试几次就可以了，可能是我本身的网络问题吧。

burlyxu 发表于 2017-7-14 00:15:50

Bruin 发表于 2017-5-18 16:40
这个咋弄

没有下对版本吧，注意自己的系统版本和python版本。

lumber2388779 发表于 2017-7-14 00:24:41

burlyxu 发表于 2017-7-14 00:15
没有下对版本吧，注意自己的系统版本和python版本。

多谢回答{:10_256:} 这个当时在QQ已经回答过了 所以没有在论坛再回复

mass 发表于 2017-9-6 09:19:28

已安装成功，楼主666

ynnlovexw 发表于 2017-9-27 08:04:36

马上就会用到了，先感谢一下。

lumber2388779 发表于 2017-9-28 09:17:34

ynnlovexw 发表于 2017-9-27 08:04
马上就会用到了，先感谢一下。

有问题可以问下我

chvanhui 发表于 2017-9-29 19:52:25

简单易懂，谢谢大神
页: [1] 2
查看完整版本: Python3.X下安装Scrapy