18537180361 发表于 2021-6-6 17:13:33

请问为什么一直返回空列表

import requests
from lxml import etree

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36"}

def main(x):
    response = requests.get(f"https://shenzhen.qfang.com/sale/f{x}",headers=headers)
    response.encoding="utf-8"
    selectors=etree.HTML(response.text)

    ul_li_div_div_a_text=selectors.xpath("//ul/li/div/div/a/text()")

    print(ul_li_div_div_a_text)


请问为什么一直显示返回的是空列表   网页代码中没有tbody。我用的也是相对路径。 百思不得其解

https://img-ask.csdnimg.cn/upload/1622970523764.png

18537180361 发表于 2021-6-6 17:14:25

https://shenzhen.qfang.com/sale/f1
爬取的是这个网站的二手房的标题

Twilight6 发表于 2021-6-6 19:56:03



你打印下 print(response.text) 就知道了，页面是通过 JS 加载的

wp231957 发表于 2021-6-6 20:21:54

初步判断 是cookie加密不是简单爬取
页: [1]
查看完整版本: 请问为什么一直返回空列表