[已解决]请问为什么一直返回空列表

18537180361

import requests
from lxml import etree

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36"}

def main(x):
    response = requests.get(f"https://shenzhen.qfang.com/sale/f{x}",headers=headers)
    response.encoding="utf-8"
    selectors=etree.HTML(response.text)

    ul_li_div_div_a_text=selectors.xpath("//ul/li/div/div/a/text()")

    print(ul_li_div_div_a_text)


请问为什么一直显示返回的是空列表   网页代码中没有tbody。我用的也是相对路径。 百思不得其解

                               
登录/注册后可看大图

最佳答案

月排行榜 / 总排行榜

Twilight6

2021-6-6 19:56:03

你打印下 print(response.text) 就知道了，页面是通过 JS 加载的

跳转到最佳答案楼层

18537180361

https://shenzhen.qfang.com/sale/f1
爬取的是这个网站的二手房的标题

Twilight6

你打印下 print(response.text) 就知道了，页面是通过 JS 加载的

wp231957

初步判断 是cookie加密  不是简单爬取