scrapy中文输出保存 Pipeline代码如何写

heywilliam

我在用scrapy爬链家网,内容都是中文,由于scrapy的特性,中文字符都会被scrapy转成unicode输出,所以我在pipeline里用以下代码尝试将unicode转成中文输出保存

1. import json
   
2. 
   
3. class LianjiaPipeline(object):
   
4. 
   
5.     def process_item(self, item, spider):
   
6.         with open('data_cn1.json', 'a') as f:
   
7.             json.dump(dict(item), f, ensure_ascii=False)
   
8.             f.write(',\n')
   
9.         return item
   

复制代码

然后我在windows cmd里运行该爬虫(scrapy crawl lianjiaspider -o items.csv)的时候发现, unicode是转换成中文输出了,但是由于网页里包含 &nbsp这种字符无法被转换成cmd适用的bgk编码,浴室就会发生以下报错:

UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 7: illegal multibyte sequence

我查到网上的方法是可以通过以下代码将&nbsp替换掉,这样就不会出现gbk转码错误

string.replace(u'\xa0', u' ')

但是我尝试了一下实在找不到这个代码要怎么写进pipeline里才能正常运行,求大神指教~

heywilliam

啊我知道了,我应该去爬虫文件里修改,在数据清洗的过程中就把\xa0这种字符清洗掉
在pipeline里面再修改已经太晚了

heywilliam

我又再一次在发完贴之后马上自己找到答案..真是够了哈哈哈