[已解决]新手，想问下关于scrapy 爬虫问题

若余相思

这是item.py

1. # -*- coding: utf-8 -*-
   
2. 
   
3. # Define here the models for your scraped items
   
4. #
   
5. # See documentation in:
   
6. # http://doc.scrapy.org/en/latest/topics/items.html
   
7. 
   
8. import scrapy
   
9. 
   
10. 
    
11. class DemoItem(scrapy.Item):
    
12.     # define the fields for your item here like:
    
13.     # name = scrapy.Field()
    
14.     price = scrapy.Field()
    
15.     title = scrapy.Field()
    

复制代码

这是DemoSpider.py文件

1. import scrapy
   
2. 
   
3. from Demo.items import DemoItem
   
4. 
   
5. class Demo_spider(scrapy.Spider):
   
6.     name = 'zufang'
   
7.     start_urls = ["http://nn.ganji.com/fang1/"]
   
8. 
   
9.     def parse(self, response):
   
10.         sites = response.xpath(".//div[@class='f-list-item ']/dl")
    
11.         items = []
    
12.         for site in sites:
    
13.             item = DemoItem()
    
14.             item['price'] = site.xpath("dd[5]/div[1]/span[1]/text()").extract()
    
15.             item['title'] = site.xpath("dd[1]/a/text()").extract()
    
16.             items.append(item)
    
17. 
    
18.         
    
19.         return items
    

复制代码

按照小甲鱼老师的scrapy crawl zufang -o items.json -t json格式输出

然后得到



我想问的是title： 输出的为什么不是文字呢？现在输出的是什么？我愿望想得到的是价格和标题的爬取的

最佳答案

月排行榜 / 总排行榜

lumber2388779

2017-4-13 10:39:49

保存的json格式里面保存的是utf-8的编码格式，需要转换中文可以参考下我这篇日志
http://bbs.fishc.com/home.php?mo ... do=blog&id=3510

跳转到最佳答案楼层

lumber2388779

保存的json格式里面保存的是utf-8的编码格式，需要转换中文可以参考下我这篇日志
http://bbs.fishc.com/home.php?mo ... do=blog&id=3510

lumber2388779

卡了- -重复了