[已解决]爬虫Xpath找不到需要的内容

937135952

代码如下：
import requests  
from lxml import etree

URL = 'https://detail.tmall.com/item.htm?id=535615570326&ali_refid=a3_430583_1006:1103173608:N:KL4ZvK2m2Tluz5hpScL2Nlpq6p3PilKB:8130b72256b467ef21720d7f0468702d&ali_trackid=1_8130b72256b467ef21720d7f0468702d&spm=a230r.1.14.3'

headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language':'en-US,en;q=0.5',
'Accept-Encoding':'gzip',
'DNT':'1',
'Connection':'close'
}


def send_email():
    pass

def track_price_and_send_email():
    url ="https://detail.tmall.com/item.htm?spm=a230r.1.14.19.50787c75JKqT95&id=558128868438&ns=1&abbucket=6"
      
    r = requests.get(url, headers=headers)
    r.encoding = 'gbk'
    html = etree.HTML(r.text)
    title = html.xpath('//div[contains(@class,"tb-detail-hd")]/h1/text()')

    print(title)
    price = html.xpath('//span[contains(@class,"tm-price")]/text()')
    print(price)
   


爬取价格的时候爬不到东西，我试了很多种比如改成'//div[contains(@class,"tm-promo-price")]/text()')也找不到,不知道是不是我的语法有错，希望大佬指点指点
我用beautiful把他打出来看了一下，价格那一块数据消失了...不知道这是什么原因

最佳答案

月排行榜 / 总排行榜

1q23w31

2020-8-9 06:56:07

网页生成受到js控制，关闭js后网页如图

                               
登录/注册后可看大图

只请求网页 故得不出价格，建议selenium动态爬取

跳转到最佳答案楼层

1q23w31

网页生成受到js控制，关闭js后网页如图

                               
登录/注册后可看大图

只请求网页 故得不出价格，建议selenium动态爬取

1q23w31

@zltzlt
老哥麻烦了