定位不了需要的属性，用selenium得到的html和网页看的源码也不一样

洛与春风

1. # usr/bin/env python
   
2. # -*- coding:utf-8 -*-
   
3. #需求爬取该代码中url对应网页中每个黄花菜资料的详情文本和图片
   
4. 
   
5. import  requests
   
6. from lxml import  etree
   
7. import os
   
8. 
   
9. if not os.path.exists('./黄花'):
   
10.     os.mkdir('./黄花')
    
11. 
    
12. url  = 'http://www.qdtcp.com/story/huanghuacai/'
    
13. headers = {
    
14.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36 Edg/100.0.1185.50'
    
15.     }
    
16. 
    
17. 
    
18. html = requests.get(url=url,headers=headers).text.encode('utf-8')
    
19. tree = etree.HTML(html)
    
20. 
    
21. div_list = tree.xpath('//*[@id="wp"]/div[3]/div[1]/div[2]/div[2]/div')
    
22. print(div_list)
    
23. for div in div_list:
    
24.     href = div.xpath('./div[1]/dl/dt/a/@href')[0]
    
25.     print(href)
    
26. 
    
27. xpath表达式得到的列表是空的
    
28. 试过用selenium，但是page_source得到的网页 和浏览器上面的源码不同
    
29. 
    
30. 蹲一个大佬解惑

复制代码

洛与春风

靠，我把那个.encode('utf-8') 去掉就好了