关于scrapy 没有Books 和Resources文件

cshiao

   和小甲鱼一样先定义了Item容器 然后 编写爬虫Spider 可是在cmd中爬取的时候 没有Books和Spider文件

这是Item：# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class DmozItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    link = scrapy.Field()
    desc = scrapy.Field()
   
这是Spider：
import scrapy


class Dmozspider(scrapy.Spider):
    name = "dmoz"
    allowed_domains = ["dmoz.org"]
    start_urls = [
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
        ]

    def parse(self,response):
        filename = response.url.split("/")[-2]
        with open(filename,'wb')as f:
            f.write(response.body)
        

八个核桃罒

1.关于为什么没有Books 和Resources文件 ，小甲鱼的回答是：根目录下没有存放 robots.txt 自然就是 404 咯；http://bbs.fishc.com/thread-91237-1-1.html
2.小甲鱼视频中所用的网址目前已经关闭了，你需要换其他网址才可以