孤星破红尘 发表于 2018-9-21 21:09:08

新手学SCRAPY遇到个问题求教大神Xpath方法弹出不来



SCRAPY里 解析函数response.弹不出response.xpath 输入点没有.xpath提示
卡住好久了，求大神解疑

孤星破红尘 发表于 2018-9-21 21:39:22

用的是PYCHARM，都是照着视频来的，不知道为什么弹不出xpath方法。哎

幽梦三影 发表于 2018-9-22 08:31:45

from scrapy.selector import Selector

select = Selector(response)
select.xpath()

孤星破红尘 发表于 2018-9-22 12:30:00

幽梦三影 发表于 2018-9-22 08:31
from scrapy.selector import Selector

select = Selector(response)


大神 非常感谢谢谢了，刚按你方法可以出来了，但不知道为什么我看网上教程他直接response.就出来了xpath
C:\Users\Administrator\Desktop\QQ截图20180922122828.png

孤星破红尘 发表于 2018-9-22 21:35:47

孤星破红尘 发表于 2018-9-22 12:30
大神 非常感谢谢谢了，刚按你方法可以出来了，但不知道为什么我看网上教程他直接response.就出来了xp ...

朋友，又遇到一个问题了，用你这种方法已经获取到一个selector集合，然后遍历进一步提取，又弹不出.xpath了，不会每一步都要这样做吧，能帮忙解决一下嘛。谢谢

幽梦三影 发表于 2018-9-23 00:13:13

孤星破红尘 发表于 2018-9-22 21:35
朋友，又遇到一个问题了，用你这种方法已经获取到一个selector集合，然后遍历进一步提取，又弹不出.xpath ...

发个截图给我看看

孤星破红尘 发表于 2018-9-23 01:40:33

weibos是个selector集合，遍历弹不出xpath   麻烦你了

孤星破红尘 发表于 2018-9-23 01:42:13

孤星破红尘 发表于 2018-9-23 01:40
weibos是个selector集合，遍历弹不出xpath   麻烦你了

这张是获取到的weibosselector集合

幽梦三影 发表于 2018-9-23 10:16:26

本帖最后由 幽梦三影 于 2018-9-23 10:22 编辑

孤星破红尘 发表于 2018-9-23 01:42
这张是获取到的weibosselector集合

如果a标签下面有子节点的话可以再遍历,没有子节点就取完了。我才发现你呢个应该换成start_urls, scrapy会识别start_urls并进行访问，不过也可以重写start_requests方法

孤星破红尘 发表于 2018-9-23 16:02:02

幽梦三影 发表于 2018-9-23 10:16
如果a标签下面有子节点的话可以再遍历,没有子节点就取完了。我才发现你呢个应该换成start_urls, scrapy ...

恩恩 那个我后来改过来了，也捕到了内容，朋友你再帮我看下这两张图片他也没import别的模块都能response. xpath，我在网上查了是有这样的响应方便的快捷键 response.x path和response.css不知道为什么我的scrapy就不行   麻烦了

幽梦三影 发表于 2018-9-23 16:42:29

孤星破红尘 发表于 2018-9-23 16:02
恩恩 那个我后来改过来了，也捕到了内容，朋友你再帮我看下这两张图片他也没import别的模块都能respo ...

把url地址发一下我看看

孤星破红尘 发表于 2018-9-23 19:44:45

幽梦三影 发表于 2018-9-23 16:42
把url地址发一下我看看

https://tieba.baidu.com/f?kw=天行九歌&ie=utf-8&tab=album 抓取目标网址

幽梦三影 发表于 2018-9-23 19:59:35

我试了你的xpath取不到数据啊，你想取什么信息

孤星破红尘 发表于 2018-9-23 20:07:26

幽梦三影 发表于 2018-9-23 19:59
我试了你的xpath取不到数据啊，你想取什么信息

我重新用贴吧相册来测试了 //a[@class="grbm_ele_a grbm_ele_big"]   这个a下面有每个相册的地址

幽梦三影 发表于 2018-9-23 20:20:01

# -*- coding: utf-8 -*-
import scrapy
from scrapy.selector import Selector

class JgSpider(scrapy.Spider):
    name = 'jg'
    # allowed_domains = ['tieba/baidu.com']
    start_urls = ['https://tieba.baidu.com/f?kw=%E5%A4%A9%E8%A1%8C%E4%B9%9D%E6%AD%8C&ie=utf-8&tab=album']

    def parse(self, response):
      select = Selector(response)
      img_link = select.xpath('//a[@class="grbm_ele_a grbm_ele_big"]/@href')
      for i in img_link:
            print(i.extract())

孤星破红尘 发表于 2018-9-23 20:23:13

幽梦三影 发表于 2018-9-23 19:59
我试了你的xpath取不到数据啊，你想取什么信息

大神，我能加下你的qq嘛，这个问题困扰我好几天了，后面所有的想法都没法继续下去{:10_247:}

幽梦三影 发表于 2018-9-23 20:28:27

好的1160576878
页: [1]
查看完整版本: 新手学SCRAPY遇到个问题求教大神Xpath方法弹出不来