[已解决]scrapy储存不了数据

1258187869

setting.py

items.py

pipelines.py

D:\scrapy\mypjt\mypjt\spiders\weisuen.py

会自动创建一个data.txt  但是里面没有数据

最佳答案

月排行榜 / 总排行榜

ooxx7788

2017-10-25 08:54:51

spider里面不是应该return item的嘛，为啥是print（item）

跳转到最佳答案楼层

ooxx7788

spider里面不是应该return item的嘛，为啥是print（item）

scalper

因为回调函数parse把response进行解析的时候，你的item['title']获取的是一个selectorlist对象，应该改写成

1. item['title'] = response.xpath('/html/head/title/text()').extract()

复制代码

来获取你要提取的信息给item['title']

1258187869

scalper 发表于 2017-10-25 11:18
因为回调函数parse把response进行解析的时候，你的item['title']获取的是一个selectorlist对象，应该改写成 ...

对，我不理解.extract是啥意思，查了也是说获取meta对象，那到底是啥意思。

1258187869

ooxx7788 发表于 2017-10-25 08:54
spider里面不是应该return item的嘛，为啥是print（item）

下面有个return的

ooxx7788

1258187869 发表于 2017-10-26 09:17
下面有个return的

我是说倒数第二张图片里面

scalper

1258187869 发表于 2017-10-26 09:16
对，我不理解.extract是啥意思，查了也是说获取meta对象，那到底是啥意思。

1.     def extract(self):
   
2.         """
   
3.         Call the ``.extract()`` method for each element is this list and return
   
4.         their results flattened, as a list of unicode strings.
   
5.         """
   
6.         return [x.extract() for x in self]

复制代码

这是选择parsel库的selector.py里的关于类selectorList的extract方法的定义，它是返回一个列表，其中x是selector类的实例，它自己的extract方法具体实现也贴出来

1.     def extract(self):
   
2.         """
   
3.         Serialize and return the matched nodes in a single unicode string.
   
4.         Percent encoded content is unquoted.
   
5.         """
   
6.         try:
   
7.             return etree.tostring(self.root,
   
8.                                   method=self._tostring_method,
   
9.                                   encoding='unicode',
   
10.                                   with_tail=False)
    
11.         except (AttributeError, TypeError):
    
12.             if self.root is True:
    
13.                 return u'1'
    
14.             elif self.root is False:
    
15.                 return u'0'
    
16.             else:
    
17.                 return six.text_type(self.root)

复制代码

总之具体就是经过一系列的处理，返回的就是你text()的内容，你可以用shell状态下进行解析实验，实在想弄懂处理过程，就建议根据上面的分析方法一层层解析

1258187869

ooxx7788 发表于 2017-10-26 09:46
我是说倒数第二张图片里面

咦  可以了  谢谢你

1258187869

scalper 发表于 2017-10-26 09:50
这是选择parsel库的selector.py里的关于类selectorList的extract方法的定义，它是返回一个列表，其中 ...

好的 谢谢