爬取网页中的中文显示出来是乱码

垂天之云

刚刚按照小甲鱼的p64集的操作，爬取了chinadmoz的网页数据http://www.chinadmoz.org/，但是爬取出来的结果，中文的貌似是16进制的，怎么转换成中文呢。

1. #spider里的代码
   
2. import scrapy
   
3. from tutorial.items import DmozItem
   
4. 
   
5. class DmozSpider(scrapy.Spider):
   
6.     name = "dmoz"
   
7.     #allowed_domains = ["chinadmoz.org"]
   
8.     start_urls = ["http://www.chinadmoz.org/subindustry/42/",
   
9.                   "http://www.chinadmoz.org/subindustry/46/"]
   
10.    
    
11.     def parse(self,response):
    
12.         items = []
    
13.         rel = scrapy.selector.Selector(response)
    
14.         sites = rel.xpath('//ul/li/div')
    
15.         for site in sites:
    
16.             item = DmozItem()
    
17.             item['title'] = site.xpath('h4/@title').extract()
    
18.             item['link']= site.xpath('h4/a/@href').extract()
    
19.             item['desc'] = site.xpath('p/text()').extract()
    
20.             items.append(item)
    
21.         return items
    

复制代码

名字只有七个字

设置编码

名字只有七个字

试试把第二十一行return items改成return items.encode('utf-8')

Daniel_Zhang

https://fishc.com.cn/thread-193037-1-1.html

试试？