[已解决]python3中scrapy

zkamsk

python3中以下代码会报这个错误'str' object has no attribute 'xpath'是为什么？

1. sites=sel.xpath('//td/h2')
   
2.                 items=[]
   
3.                 for i in sites:
   
4.                         item=FishcItem()
   
5.                         item['title']=i.xpath('a/text()').extract()
   
6.                         item['link']=i.xpath('a/@href').extract()
   
7.                         item['desc']=i.xpath('text()').extract()
   
8.                         items.append(item)
   

复制代码

应该怎么改

最佳答案

月排行榜 / 总排行榜

和vvv

2017-7-24 09:31:22

这里

1. def parse(self,response):
   
2.                 sel=scrapy.selector.Selector(response)
   
3.                 sites=sel.xpath('//td/h2')

复制代码

直接使用：
response.xpath("").extract()提取数据。
如果想看网页源码
data = response.body
这是我以前用scrapy框架写的一部分：

1. def parse(self, response):
   
2.         item = DangdangItem()
   
3.         item["title"] = response.xpath("//a[@name='itemlist-picture']/@title").extract()
   
4.         item["link"] = response.xpath("//a[@name='itemlist-picture']/@href").extract()
   
5.         item["comment"] = response.xpath("//a[@name='itemlist-review']/text()").extract()
   
6.         yield item
   
7.         for i in range(2,81):
   
8.             url = "http://category.dangdang.com/pg"+str(i)+"-cid4008154.html"
   
9.             yield Request(url,callback=self.parse)

复制代码

跳转到最佳答案楼层

gopythoner

说明sites是个字符串，不是一个网页标签的对象
你看看你是不是把sites变成字符串了

和vvv

在scrapy框架中，直接能使用xpath表达式的是response对象：

1. result = response.xpath("表达式").extract()

复制代码

如果是字符串想利用xpath表达式，可以利用lxml库。这是urllib库与xpath表达式的结合使用：

1. import urllib.request
   
2. from lxml import etree
   
3. 
   
4. url = "https://www.sogou.com/"
   
5. data = urllib.request.urlopen(url).read().decode("utf-8")
   
6. #先把字符串转化为HTML对象
   
7. treedata = etree.HTML(data)
   
8. #使用xpath表达式
   
9. rst = treedata.xpath("/html/head/title/text()")
   
10. print(rst[0])

复制代码

结果：

1. 搜狗搜索引擎 - 上网从搜狗开始

复制代码

希望对你有所帮助。

zkamsk

和vvv 发表于 2017-7-22 21:26
本帖最后由 和vvv 于 2017-7-22 21:27 编辑
在scrapy框架中，直接能使用xpath表达式的是response对象：
...

在scraoy shell中sites=sel.xpath('//td/h2')或者sites=sel.xpath('//td/h2/a/@href')都可以正确返回，但是按照教程

1. for i in sites:
   
2. item=FishcItem()
   
3.                         item['title']=i.xpath('a/text()').extract()
   
4.                         item['link']=i.xpath('a/@href').extract()
   

复制代码

1. import scrapy
   
2. from fishc.items import FishcItem
   
3. class FishcSpider(scrapy.Spider):
   
4.         name='fishc'
   
5.         allowed_domains=['fishc.com']
   
6.         start_urls=['http://bbs.fishc.com/forum-173-1.html','http://bbs.fishc.com/forum-173-2.html']
   
7.         def parse(self,response):
   
8.                 sel=scrapy.selector.Selector(response)
   
9.                 sites=sel.xpath('//td/h2')
   
10.                 items=[]
    
11.                 for i in sites:
    
12.                         item=FishcItem()
    
13.                         item['title']=i.xpath('a/text()').extract()
    
14.                         item['link']=i.xpath('a/@href').extract()
    
15.                         item['desc']=i.xpath('text()').extract()
    
16.                         items.append(item)
    
17. 
    
18.                 return items       

复制代码

这样就不行
以下是我scrapy中spider源码

和vvv

这里

1. def parse(self,response):
   
2.                 sel=scrapy.selector.Selector(response)
   
3.                 sites=sel.xpath('//td/h2')

复制代码

直接使用：
response.xpath("").extract()提取数据。
如果想看网页源码
data = response.body
这是我以前用scrapy框架写的一部分：

1. def parse(self, response):
   
2.         item = DangdangItem()
   
3.         item["title"] = response.xpath("//a[@name='itemlist-picture']/@title").extract()
   
4.         item["link"] = response.xpath("//a[@name='itemlist-picture']/@href").extract()
   
5.         item["comment"] = response.xpath("//a[@name='itemlist-review']/text()").extract()
   
6.         yield item
   
7.         for i in range(2,81):
   
8.             url = "http://category.dangdang.com/pg"+str(i)+"-cid4008154.html"
   
9.             yield Request(url,callback=self.parse)

复制代码

zkamsk

和vvv 发表于 2017-7-24 09:31
本帖最后由 和vvv 于 2017-7-24 09:32 编辑
这里

OK