[已解决]新手学SCRAPY遇到个问题求教大神Xpath方法弹出不来

孤星破红尘

正常写好初始

parsel方法里response弹不出xpath方法 卡住好久了

SCRAPY里 解析函数response.弹不出response.xpath 输入点没有.xpath提示
卡住好久了，求大神解疑

最佳答案

月排行榜 / 总排行榜

幽梦三影

2018-9-22 08:31:45

from scrapy.selector import Selector

select = Selector(response)
select.xpath()

跳转到最佳答案楼层

孤星破红尘

用的是PYCHARM，都是照着视频来的，不知道为什么弹不出xpath方法。哎

幽梦三影

from scrapy.selector import Selector

select = Selector(response)
select.xpath()

孤星破红尘

幽梦三影 发表于 2018-9-22 08:31
from scrapy.selector import Selector

select = Selector(response)

大神 非常感谢  谢谢了  ，刚按你方法可以出来了，但不知道为什么我看网上教程他直接response.就出来了xpath
C:\Users\Administrator\Desktop\QQ截图20180922122828.png

孤星破红尘

孤星破红尘 发表于 2018-9-22 12:30
大神 非常感谢  谢谢了  ，刚按你方法可以出来了，但不知道为什么我看网上教程他直接response.就出来了xp ...

朋友，又遇到一个问题了，用你这种方法已经获取到一个selector集合，然后遍历进一步提取，又弹不出.xpath了，不会每一步都要这样做吧，能帮忙解决一下嘛。谢谢

幽梦三影

孤星破红尘 发表于 2018-9-22 21:35
朋友，又遇到一个问题了，用你这种方法已经获取到一个selector集合，然后遍历进一步提取，又弹不出.xpath ...

发个截图给我看看

孤星破红尘

weibos是个selector集合，遍历弹不出xpath   麻烦你了

孤星破红尘

孤星破红尘 发表于 2018-9-23 01:40
weibos是个selector集合，遍历弹不出xpath   麻烦你了

这张是获取到的weibos  selector集合

幽梦三影

孤星破红尘 发表于 2018-9-23 01:42
这张是获取到的weibos  selector集合

如果a标签下面有子节点的话可以再遍历,没有子节点就取完了。我才发现你呢个应该换成start_urls, scrapy会识别start_urls并进行访问，不过也可以重写start_requests方法

孤星破红尘

幽梦三影 发表于 2018-9-23 10:16
如果a标签下面有子节点的话可以再遍历,没有子节点就取完了。我才发现你呢个应该换成start_urls, scrapy ...

恩恩 那个我后来改过来了，也捕到了内容，朋友你再帮我看下这两张图片  他也没import别的模块  都能response. xpath，我在网上查了是有这样的响应方便的快捷键 response.x path  和response.css  不知道为什么我的scrapy就不行   麻烦了

幽梦三影

孤星破红尘 发表于 2018-9-23 16:02
恩恩 那个我后来改过来了，也捕到了内容，朋友你再帮我看下这两张图片  他也没import别的模块  都能respo ...

把url地址发一下我看看

孤星破红尘

幽梦三影 发表于 2018-9-23 16:42
把url地址发一下我看看

https://tieba.baidu.com/f?kw=天行九歌&ie=utf-8&tab=album 抓取目标网址

幽梦三影

我试了你的xpath取不到数据啊，你想取什么信息

孤星破红尘

幽梦三影 发表于 2018-9-23 19:59
我试了你的xpath取不到数据啊，你想取什么信息

我重新用贴吧相册来测试了 //a[@class="grbm_ele_a grbm_ele_big"]   这个a下面有每个相册的地址

幽梦三影

# -*- coding: utf-8 -*-
import scrapy
from scrapy.selector import Selector

class JgSpider(scrapy.Spider):
    name = 'jg'
    # allowed_domains = ['tieba/baidu.com']
    start_urls = ['https://tieba.baidu.com/f?kw=%E5%A4%A9%E8%A1%8C%E4%B9%9D%E6%AD%8C&ie=utf-8&tab=album']

    def parse(self, response):
        select = Selector(response)
        img_link = select.xpath('//a[@class="grbm_ele_a grbm_ele_big"]/@href')
        for i in img_link:
            print(i.extract())

孤星破红尘

幽梦三影 发表于 2018-9-23 19:59
我试了你的xpath取不到数据啊，你想取什么信息

大神，我能加下你的qq嘛，这个问题困扰我好几天了，后面所有的想法都没法继续下去

幽梦三影

好的1160576878