关于scrapy 爬虫

learn.T

最近在看小甲鱼关于scrapy的视频，到了最后一步发现导出来的信息只有两行，而不是都倒出来了，但是如果改成print title、link 和 desc 的时候是完整的。
有哪位高手可以告诉一下怎么改，或者是什么原因吗？

1. import scrapy
   
2. 
   
3. from tutorial.items import DmozItem
   
4. 
   
5. 
   
6. class DmozSpider(scrapy.Spider):
   
7.     name = 'dmoz'
   
8. 
   
9.     allowed_domain = ['dmoztools.net']
   
10.     start_urls = [
    
11.         'http://www.dmoztools.net/Computers/Programming/Languages/Python/Resources/',
    
12.         'http://www.dmoztools.net/Computers/Programming/Languages/Python/Books/']
    
13. 
    
14.     def parse(self,response):
    
15.         # filename  = response.url.split('/')[-2]
    
16.         # with open(filename,'wb') as f:
    
17.         #     f.write(response.body)
    
18. 
    
19.         sel = scrapy.selector.Selector(response)#  选择器
    
20.         sites = sel.xpath('//section/div/div/div/div[@class="title-and-desc"]')
    
21.         items = []
    
22.         
    
23.         for site in sites:
    
24.             item = DomzItem()
    
25.             
    
26.             item['title'] = site.xpath('a/div/text()').extract()
    
27.             item['link'] = site.xpath('a/@href').extract()
    
28.             item['desc'] = site.xpath('div/text()').extract()
    
29.             items.append(item)
    
30. 
    
31.         return items
    
32.             
    

复制代码

learn.T

要是有人在电脑上运行没有问题也可以上传交流一下哦