linux下安装python及Scrapy

富友郑鹏展

各位鱼油！大家中秋节快乐！由于本人这两天闲来蛋疼，突发奇想想在linux下玩玩python和scrapy，毕竟python本来就是一门脚本语言，对于很多高手来说，在linux下玩python也是一种享受啊！写这篇文章也是给自己的一个总结。好了，废话不多说，咱们说干就干！:lol:

首先当然就是要装linux系统了，简单说一下吧。我用的是centos5.5版本的，ssh终端用的是Xshell。现在想玩linux也是相当方便了，下个虚拟机装完就可以了。具体方法这里就不多说了，想玩的话网上找找吧，一大堆的教程。（这里推荐 @小甲鱼 老湿的ctentos安装教程 http://bbs.fishc.com/thread-65015-1-1.html :lol: ）

系统装完后，下面就要装python了，九步让你搞定！

其实linux是有自带python的，所以第一步检查当前python版本

python -V



诶！版本是2.4.3的，我们都知道scrapy支持的python环境是2.7，所以必须升级python！


第二步，yum安装GCC编译器

yum -y install gcc


第三步，下载并解压python-2.7.9安装包

在https://www.python.org/ftp/python/2.7.9/这个网址中可以找到相应的安装包。

把安装包放到你相应的目录中，然后执行 tar zxvf Python-2.7.9.tgz


第四步，进入python文件夹目录

cd Python-2.7.9


第五步，安装

./configure --prefix=/usr/local/python2.7（这个路径你也可以换成你自己要安装的路径，这里我就换成这个了，也方便下面的讲解）
make && make install


第六步，查看2.7版本是否生效

/usr/local/python2.7/bin/python2.7 -V



很好！很高兴，你成功了！不过当前版本还是2.4的，这个只说明我们2.7已经安装成功了，我们需要创建软连接来转化。


第七步，创建软连接默认指向python2.7

先把/usr/bin/python这个文件的名字改成python2.4

mv /usr/bin/python /usr/bin/python2.4

输入y回车确定

建立软连接

ln -s /usr/local/python2.7/bin/python2.7  /usr/bin/python


第八步，测试当前python版本




第九步，解决yum不能正常使用问题

yum命令是linux下的依赖包升级安装命令，它是基于python2.4的环境的，目前系统指向python2.7后，yum不能正常使用

解决办法：先 vim /usr/bin/yum 将 #!/usr/bin/python 修改为 #!/usr/bin/python2.4




好了！至此你的python终于升级完成了！接下来就该安装scrapy了！


首先需要安装setuptools，这是为后面安装pip做准备的，可以到https://pypi.python.org/pypi/setuptools/0.6c11下载
setuotools-0.6c11.tar.gz,解压 tar zxvf  setuotools-0.6c11.tar.gz ，打开 cd setuotools-0.6c11，安装 python setup.py install
  

然后安装pip（注意！后面有吐槽！）
可以到https://pypi.python.org/pypi/pip/7.1.2下载并解压安装pip-7.1.2.tar.gz，安装过程可以参考setuptools。
这时候你还不能在linux命令行界面直接使用pip，还记得我们上面在安装python2.7时用到的软连接吗？依样画葫芦就可以了！




ok！pip安装完成！


然后当你兴冲冲用pip install scrapy时，诶！怎么回事？老是提示不能下载安装？怎么回事啊？pip安装应该没问题啊！ 其实这个问题也困扰了我好久，然后我上网查看了资料，发现原来是被国内的某墙给墙了（这时候我内心千万只草泥马飞奔而过！），然后我发挥阿Q精神，其实这是我们领导要锻炼我们熟悉pip的命令呀！我竟然怀疑领导的良苦用心！（这时候我内心又飞奔而过千万只草泥马！:cry ）好了，吐槽到此为止:lol:
   
那既然这样肿么办？伟大的互联网给了我帮助！使用国内镜像源来安装python pypi包。

如果想手动指定源，可以在pip后面跟-i 来指定源，比如用豆瓣的源来安装web.py框架：pip install web.py -i http://pypi.douban.com/simple  --trusted-host pypi.douban.com  注意后面要有/simple目录！！！要配制成默认的话，需要创建或修改配置文件（linux的文件在~/.pip/pip.conf，windows在%HOMEPATH%\pip\pip.ini），修改内容为：
code:
[global]
index-url = http://pypi.douban.com/simple

下面是具体方法：

先创建目录mkdir ~/.pip

再 vim ~/.pip/pip.conf

把上面的内容添加到pip.conf中去

这样在使用pip来安装时，会默认调用该镜像。

现在就可以直接使用 pip install web.py --trusted-host pypi.douban.com 命令直接下载安装你想要的pypi包了！
  
最后一步，安装scrapy了，不过正式用pip安装前，还需要安装几个依赖包，下面是具体步骤。

在ftp://xmlsoft.org/libxml2/下载两个包 libxml2-2.9.2.tar.gz 和 libxslt-1.1.28.tar.gz

两个包的安装过程都一样，先安装libxml2再安装libxslt，举例安装libxml2：

tar zxvf libxml2-2.9.2.tar
cd libxml2-2.9.2
./configure
make && make install

安装scrapy时会找不到libffi-devel 依赖包，也可能没办法用yum -y install libffi-devel 系统提示找不到这个依赖包

解决方案是：

创建 /etc/yum.repos.d/rpmforge.repo 文件，然后把下面的内容添加到该文件中

#Name: RPMforge RPM Repository for Red Hat Enterprise 5 - dag
#URL: http://rpmforge.net/
[rpmforge]
name = Red Hat Enterprise $releasever - RPMforge.net - dag
#baseurl = http://apt.sw.be/redhat/el5/en/$basearch/dag
mirrorlist = http://apt.sw.be/redhat/el5/en/mirrors-rpmforge
#mirrorlist = file:///etc/yum.repos.d/mirrors-rpmforge
enabled = 1
protect = 0
gpgkey = file:///etc/pki/rpm-gpg/RPM-GPG-KEY-rpmforge-dag
gpgcheck = 1

然后执行命令rpm --import http://apt.sw.be/RPM-GPG-KEY.dag.txt

最后在执行yum -y install libffi-devel

前面那些步骤完成后：

再执行pip install scrapy --trusted-host pypi.douban.com  

Ok，这时候应该scrapy安装完毕了，但是命令行下直接scrapy还是不行，还记得上面安装pip的做法吗？直接建立软连接就ok了！

等等，怎么scrapy的时候还是报错啊！？

undefined symbol: xmlSchematronSetValidStructuredErrors

解决方案：仔细分析之后发现，还是因为动态库路径的问题，也就是说etree.so在引用libxml2.so时出错，找不到libxml2.so

解决方法很简单，将libxml2.so的路径添加到库加载路径中即可

具体操作如下：

[root@SY50 lib]# vi /etc/ld.so.conf

在ld.so.conf中添加 /usr/local/lib

[root@SY50 lib]# ldconfig

Ok！！现在完美解决了！可以开心高兴的在linux下玩scrapy了！！（如果在安装时发现我有写错的，麻烦各位鱼油指出！一起学习一起进步！:lol: ）



               
        

零度非安全

感谢楼主的无私奉献

ianv

感谢楼主的无私奉献

qqqq79852852

谁一波，学习了！！！

小甲鱼

厉害哦，感谢分享。

顺便帮你排下版~~~

富友郑鹏展

小甲鱼 发表于 2015-10-7 17:47
厉害哦，感谢分享。

顺便帮你排下版~~~

谢谢 @ 小甲鱼 老湿！！:lol::lol:

ym2333

谢谢分享

lizhiyong_11

富友郑鹏展 发表于 2015-10-8 00:26
谢谢 @ 小甲鱼 老湿！！:lol::lol:

第五步执行完事后提示错误，但是我看不懂，不知道哪里错了，

1. zipimport.ZipImportError: can't decompress data; zlib not available
   
2. make: *** [install] Error 1
   
3. [root@localhost Python-3.6.2]# /usr/local/python3.6.2/bin/python3.6.2 -V
   
4. bash: /usr/local/python3.6.2/bin/python3.6.2: No such file or directory
   
5. [root@localhost Python-3.6.2]#
   

复制代码