Python3.4 安装 Scrapy 并运行成功

SixPy

Python3.4 安装 Scrapy 并运行成功

正在整理~~~稍候~

SixPy

到这里 http://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载 scrapy 安装包
Scrapy-1.1.1-py2.py3-none-any.whl

按 Ctrl+F 查找，就看到了。

按 win+R，输入 cmd ，打开小黑窗。
再 输入  pip  install 和 Scrapy 安装包的全路径

回车后，会自动下载相关的包，并自动安装。

SixPy

安装 PyWin32
原本在楼上那个网站，找到 PyWin32，并下载与你的操作系统相匹配的安装包。
用 pip  install  安装。

SixPy

到这里
https://github.com/twisted/twisted/tree/trunk/twisted/internet

下载2个文件：
_pollingfile.py
_win32stdio.py

复制到
python目录的 Lib\site-packages\twisted\internet



更新：
有鱼油可能不知道如何下该网站的py文件。
https://raw.githubusercontent.com/twisted/twisted/trunk/twisted/internet/_pollingfile.py
https://raw.githubusercontent.com/twisted/twisted/trunk/twisted/internet/_win32stdio.py

直接在浏览器里打开2个文件的原地址就下载到文件的本体了。

                               
登录/注册后可看大图

2016-08-22 更新
模块作者更新了文件，文件路径改变了
https://github.com/twisted/twisted/tree/trunk/src/twisted/internet
https://raw.githubusercontent.com/twisted/twisted/trunk/src/twisted/internet/_pollingfile.py
https://raw.githubusercontent.com/twisted/twisted/trunk/src/twisted/internet/_win32stdio.py

SixPy

还没完呢~

打开
python目录的  lib\site-packages\twisted\python\compat.py

用编辑器打开 compat.py
定位到 68 行。
把漏写的变量加上
修改前：

1.         if [x for x in addr if x not in string.hexdigits + ':.']:
   

复制代码

修改后：

1.         x = [x for x in addr if x not in string.hexdigits + ':.']
   
2.         if x:
   

复制代码

SixPy

到此，安装和修复bug，告一段落了~

下面是测试运行~

SixPy

新建一个文件夹来做测试
我的是：
D:\Python34\work\scrapy_test

运行 cmd ，在小黑窗里 改变目录到那个新建的文件夹

D：
cd  D:\Python34\work\scrapy_test

输入：
scrapy startproject tutorial

然后scrapy 会新建一个叫 tutorial 的项目。
里面的文件夹结构都是自动建好的~

SixPy

把 D:\Python34\work\scrapy_test\tutorial\tutorial 文件夹里的
items.py 的代码改为如下内容，并保存。

1. # -*- coding: utf-8 -*-
   
2. 
   
3. # Define here the models for your scraped items
   
4. #
   
5. # See documentation in:
   
6. # http://doc.scrapy.org/en/latest/topics/items.html
   
7. 
   
8. import scrapy
   
9. 
   
10. class DmozItem(scrapy.Item):
    
11.     title = scrapy.Field()
    
12.     link = scrapy.Field()
    
13.     desc = scrapy.Field()
    

复制代码

SixPy

新建一个  Spider.py
内容如下：

1. 
   
2. import scrapy
   
3. from tutorial.items import DmozItem
   
4. 
   
5. class DmozSpider(scrapy.Spider):
   
6.     name = "dmoz"
   
7.     allowed_domains = ["dmoz.org"]
   
8.     start_urls = [
   
9.         "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
   
10.         "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
    
11.     ]
    
12. 
    
13.     def parse(self, response):
    
14.         for sel in response.xpath('//ul/li'):
    
15.             item = DmozItem()
    
16.             item['title'] = sel.xpath('a/text()').extract()
    
17.             item['link'] = sel.xpath('a/@href').extract()
    
18.             item['desc'] = sel.xpath('text()').extract()
    
19.             yield item

复制代码

保存到 这文件夹里
D:\Python34\work\scrapy_test\tutorial\tutorial\spiders

SixPy

好了 ，准备妥当
回到  cmd小黑窗
输入：
scrapy crawl dmoz -o item.json

回车，进行测试。

============
最后，在
D:\Python34\work\scrapy_test\tutorial
这个文件夹里找到 scrapy 生成的 item.json
用 notepad 打开，里面是 JSon结构的txt。
内容大致如下：

1. [
   
2. [
   
3. {"desc": [" ", " "], "title": ["        About       "], "link": ["/docs/en/about.html"]},
   
4. {"desc": [" ", " "], "title": ["   Become an Editor "], "link": ["/docs/en/help/become.html"]},
   
5. {"desc": [" ", " "], "title": ["            Suggest a Site          "], "link": ["/docs/en/add.html"]},
   
6. {"desc": [" ", " "], "title": [" Help             "], "link": ["/docs/en/help/helpmain.html"]},
   
7. {"desc": [" ", " "], "title": [" Login                       "], "link": ["/editors/"]},
   
8. {"desc": ["                                        ", " Share via Facebook "], "title": [], "link": []},
   
9. {"desc": [" ", "  Share via Twitter  "], "title": [], "link": []},
   
10. {"desc": ["                                        ", " Share via LinkedIn "], "title": [], "link": []},
    
11. {"desc": ["                                        ", " Share via e-Mail   "], "title": [], "link": []},
    
12. {"desc": [" ", " "], "title": [], "link": []},
    
13. {"desc": [" ", "  "], "title": [], "link": []},
    
14. {"desc": [" ", " "], "title": ["        About       "], "link": ["/docs/en/about.html"]},
    
15. {"desc": [" ", " "], "title": ["   Become an Editor "], "link": ["/docs/en/help/become.html"]},
    
16. {"desc": [" ", " "], "title": ["            Suggest a Site          "], "link": ["/docs/en/add.html"]},
    
17. {"desc": [" ", " "], "title": [" Help             "], "link": ["/docs/en/help/helpmain.html"]},
    
18. {"desc": [" ", " "], "title": [" Login                       "], "link": ["/editors/"]},
    
19. {"desc": ["                                        ", " Share via Facebook "], "title": [], "link": []},
    
20. {"desc": [" ", "  Share via Twitter  "], "title": [], "link": []},
    
21. {"desc": ["                                        ", " Share via LinkedIn "], "title": [], "link": []},
    
22. {"desc": ["                                        ", " Share via e-Mail   "], "title": [], "link": []},
    
23. {"desc": [" ", " "], "title": [], "link": []},
    
24. {"desc": [" ", "  "], "title": [], "link": []}
    
25. ]

复制代码

SixPy

真TM累~
总算完了~

scrapy 有什么用呢？

过河卒子Rover

感谢分享，下班回去试试！

305910416

SixPy 发表于 2016-7-18 18:06
真TM累~
总算完了~

爬虫呀~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

305910416

安装个Scrapy 这么复杂的

mozzielx

支持

baiyixk

表示还是没成功

SixPy

baiyixk 发表于 2016-8-5 15:17
表示还是没成功

你是下载了网页
应该下py文件的本体
点 raw 按钮，就是 文件的本体。

SixPy

baiyixk 发表于 2016-8-5 15:17
表示还是没成功

http://bbs.fishc.com/forum.php?mod=redirect&goto=findpost&ptid=73916&pid=2612102

看4楼，更新了下载方法~

ssg2006

第一步安装就不成功，截图如附件

SixPy

ssg2006 发表于 2016-8-19 13:51
第一步安装就不成功，截图如附件

http://bbs.fishc.com/forum.php?mod=redirect&goto=findpost&ptid=74931&pid=2636168