spider closed 怎么处理
本帖最后由 liuzg123 于 2021-2-7 10:36 编辑1.初学爬虫，想爬新浪。只想找最简单的新闻标题
2.spiders代码如下：
import scrapy
import requests
from sina.items import SinaItem
class ParsesinaSpider(scrapy.Spider):
name = 'parsesina'
allowed_domains = ['sina.com']
start_urls = ['http://sina.com.cn/']
def parse(self,response):
html=response.body
with open('sinatitle.html','wb') as f:
f.write(html)
print('parse被调用了')
title = html.xpath('//ul[@class="list-a news_top"]/a/text()').extract(0)
print(title)
item = SinaItem()
item['title'] = title
yield item
3.item代码如下：
class SinaItem(scrapy.Item):
# define the fields for your item here like:
title = scrapy.Field()
4.pipeline代码如下：
class SinaPipeline:
def process_item(self, item, spider):
title = item('title')
return item
5.setting 里面机器协议设为False,itempipeline也打开了。
6.当前目录也设置为sourse 了，
问题：1.导入不了sina.item,设置sourse后，也没有解决
2.老是提示spider closed.
3.sinatitle.html能正确显示，但在代码中设置的两个打印都没有反应。
试着写另外一个爬虫代码，也是卡在导入ITEM了。哎。 用的啥编辑器? 为啥往html文件里以二进制方式写入？不应该以文本方式写入吗？
页:
[1]