[已解决]scrapy中xpath的取值问题继续。。。

wufan

        有个xpath的问题请教下：

sel.xpath('//table')[0].xpath('//tr')[0].xpath('/td')

       
        我这样是想取第一个table的第一tr下的td
        但是返回的是所有table里面的所有tr下的所有td
        是因为哪里写的不对么
        另外对于页面解析有什么详细的教程或者指点么   
        求助！！！~~~

最佳答案

月排行榜 / 总排行榜

wufan

2016-12-2 10:47:42

上面的问题已转换成

sel.xpath('//table[1]/tbody/tr[1]/td[2]/span/text()').extract()

解决

但是求教有没有方法能判断比如两个table下一个有p标签一个没有  我需要判断
if(p存在)：
  do something
else:
  do anything

跳转到最佳答案楼层

wufan

上面的问题已转换成

sel.xpath('//table[1]/tbody/tr[1]/td[2]/span/text()').extract()

解决

但是求教有没有方法能判断比如两个table下一个有p标签一个没有  我需要判断
if(p存在)：
  do something
else:
  do anything

wufan

再请教下：
scrapy进行递归抓取链接的时候：

yield Request(item['link'].decode('utf-8'), meta={'item': item}, callback=self.parse, dont_filter=False)

dont_filter=False设置了之后是不是就可以实现链接的过滤了  重复的链接就不会再去爬取了？ 是不是爬尽所有的链接才会停下来
可能我问的不是特别清楚   大家能不能明白我的意思。。。

wufan

wufan 发表于 2016-12-2 14:17
上面的问题已转换成

解决

这个也解决了   是标签里面的属性有空格所以取不到  可以用contains 又坑爹了一次~~~