在Window环境中安装scrapy框架
在Window环境中安装scrapy框架前言
最近在进行爬虫学习的时候遇到需要建设scrapy框架,但是在看了视频和一些网上的教程后发现有些步骤其实跟实际还是有些出入,所以在这里做了一些总结供大家一起探讨。过程中涉及到的知识可能不太专业和不全请多多指正。
本次操作是基于windows(64位)平台和python3.9基础上进行的
1、下载包
要成功架设Scrapy框架首先需要安装其依赖的包,否则不会成功。经过测试可能归纳为以下4个包:
1:pywin32(https://www.lfd.uci.edu/~gohlke/pythonlibs/#pywin32)
2:lxml(https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml)
3:pyOpenSSL(https://pypi.org/project/pyOpenSSL/#files)
4:Twisted(https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted)
网上有些教程是说可以使用pip命令进行安装,但是在实际安装的时候发现会出很多问题出来。所以为了稳妥起见建议还是去下载包然后手动安装,同时因为包下载后的后缀为.whl。部份教程要求要下载安装where,但是本次测试中没有安装过,可能是python自带了吧。这个就根据实际情况进行选择。在选择包的时候注意要根据自身python的版本和电脑位数进行选择
2、安装包
2.1 将包都下载好后将其放入python安装路径中的Scripts文件夹中,比如:
(C:\Users\HL\appdata\local\programs\python\python39\Scripts)这样。因为后面要用pip命令进行安装。虽然也可以将其路径放在系统变量中进行访问,但感觉有点麻烦就没这样做。
2.2 在命令提示符中将当前路径转换到python中的Scripts文件夹中,然后运行pip命令进行安装下载好的包,如下所示:
pip install pywin32-300-cp39-cp39-win_amd64.whl
注意:后缀名也要加上并且文件名中不能有特殊字符,一般下载下来不会有,但是有时候下载重复了就会自动加上一些。所以要注意
3 当所有的包都安装成功后就可以安装最终的Scrapy了。这时就可能直接使用pip命令进行安装了
pip install Scrapy
页:
[1]