scrapy 应用Rule 时的gbk编码处理，帮看看谢谢。

kqyfishc

1. 
   
2.   from news.items import NewsItem
   
3.   from scrapy.spiders import CrawlSpider, Rule                                                                                                                                                                     
   
4.   from scrapy.linkextractors import LinkExtractor
   
5.    
   
6.    
   
7.   class HexunSpider(CrawlSpider):
   
8.    
   
9.       name = 'he xun'
   
10.       allowed_domains = ['he xun.com', ]
    
11.       start_urls = ['http://news.he xun.com/',
    
12.       ]   
    
13.       rules = (Rule(LinkExtractor(allow=('hexun\.com\/2017')), callback='parse_item', follow=True),)
    
14.    
    
15.       def parse_item(self, response):
    
16.    
    
17.           print response.body
    

复制代码

中间有空格是因为论坛屏蔽hex un

错误是
UnicodeDecodeError: 'utf8' codec can't decode byte 0xcd in position 35: invalid continuation byte
初步猜想是rules 过程中得编码问题  但是找了半天不知道在哪更改这个编码问题。
谢谢帮助

ド゛゜范

import urllib
url=xxx
url=urllib.unquote(url)