关于lxml模糊匹配的问题

yjptx121

先上代码：

1. # encoding='utf-8'
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. # 1，将目标网站的页面抓取下来
   
6. headers = {
   
7.     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
   
8.     'Referer': 'https://www.baidu.com/link?url=0PXP5LpEAo5sw9eV3szzkv2pdM8sRdu2Onq3KmH0iwiD5VaokhlLh3-FktgLZRyz&wd=&eqid=af84e97900036a20000000065ea83f39',
   
9.     'Upgrade-Insecure-Requests': '1'
   
10. }
    
11. url = 'https://movie.douban.com'
    
12. 
    
13. response = requests.get(url, headers=headers)
    
14. text = response.text
    
15. 
    
16. # 2,将抓取下来的数据根据一定的规则进行提取
    
17. 
    
18. html = etree.HTML(text)     # 返回的是一个HTML对象
    
19. 
    
20. ul = html.xpath("//div[contains(@data-index, '0')]")        # 模糊匹配
    
21. print(ul)

复制代码

实际运行过程中，ul值为空，但是用网页的xpath却能得到数据，不知道什么原因了，请高人指教

wp231957

首先要检查text中是否存在你想提取的数据