xpath后获得一个空列表

李从言

用scrapy框架的 copy xpath后得到的//*[@id="post-10113"]/div[1]/div[1]/h1/a  但是之后获取的都是空列表，也尝试过自己写，一样都是空的
后来查看网页源代码，发现太紧凑了 ，很难看，这也太为难一个新手啦。。

import scrapy


class ExampleSpider(scrapy.Spider):
    name = 'jobbole'
    allowed_domains = ['caibaojian.com']
    start_urls = ['http://caibaojian.com/']

    def parse(self, response):
        re_seletor = response.xpath('//*[@id="post-10113"]/div[1]/div[1]/h1/a/text()')
        pass

李从言

有没有人能帮帮我啊

李从言

有人吗

wp231957

李从言 发表于 2020-3-23 09:34
有人吗

网页所有内容都是动态加载的
所以，静态解析工具诸如xpath啥的  都pASS掉
1、你自己去分析，他究竟是如何写的
2、使用selenium去帮你解析js

李从言

wp231957 发表于 2020-3-23 09:41
网页所有内容都是动态加载的
所以，静态解析工具诸如xpath啥的  都pASS掉
1、你自己去分析，他究竟是如 ...

你能不能打开那个网页源码帮我看看，他的格式怎么是那样的

wp231957

李从言 发表于 2020-3-24 11:32
你能不能打开那个网页源码帮我看看，他的格式怎么是那样的

看过了，都是js动态加载，换句话说，网页内容是被js模块直接写上去的(通常所说的js渲染)，是没办法静态爬取的

李从言

wp231957 发表于 2020-3-24 11:49
看过了，都是js动态加载，换句话说，网页内容是被js模块直接写上去的(通常所说的js渲染)，是没办法静态爬 ...

好，知道了，谢谢你