|
马上注册,结交更多好友,享用更多功能^_^
您需要 登录 才可以下载或查看,没有账号?立即注册
x
本帖最后由 猫尾kun 于 2017-8-13 18:05 编辑
如题所问(在使用scrapy写爬虫时遇到),望各位大神帮忙解答,在此谢了。。。
重新整理主要问题点是: 在写这个 dmoz爬虫时,需要插入:from tutorial.items import DmozItem这个语句,这个语句运行出错:ImportError: No module named tutorial.items。
其中:(1)tutorial是项目名称;(2)网上学习视频同样的方法没有出错。
【【【【【【【
**items.py文件**
import scrapy
class DmozItem(Item):
title = Field()
link = Field()
desc = Field()
**DmozSpider.py文件**
from scrapy.spiders import Spider
from scrapy.selector import Selector
from tutorial.items import DmozItem
class DmozSpider(scrapy.Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
]
def parse(self, response):
sel = Selector(response)
sites = sel.xpath('//ul[@class="directory-url"]/li')
items = []
for site in sites:
item = DmozItem()
item['title'] = site.xpath('a/text()').extract()
item['link'] = site.xpath('a/@href').extract()
item['desc'] = site.xpath('text()').extract()
items.append(item)
return items
**错误提示**
ImportError: No module named tutorial.items
|
|