[已解决]爬虫xpath相关

littlev

1. import requests
   
2. import os
   
3. import time
   
4. from lxml import etree
   
5. 
   
6. url = 'https://wuhan.esf.fang.com/'
   
7. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'}
   
8. response = requests.get(url,headers=headers)
   
9. result = response.text
   
10. root = etree.HTML(result)
    
11. 
    
12. title = root.xpath('//dd/p/text()')
    
13. 
    
14. for each in title:
    
15.         content = each.strip()
    
16.         print(content)
    

复制代码

尝试写一个爬房天下武汉二手房信息，用xapth爬出房源信息中户型 面积 层高等信息，得到的是一个列表，用strip函数去掉空格后打印出来的是一条一条的信息，想把同一房源的相关信息整合到一起，如何实现？网页源代码中房源信息<p>节点中信息文本用<i>隔成一段一段的，如何处理提取整合？

1. <p class="tel_shop">
   
2.                                                                                
   
3.                                                                                         3室2厅
   
4.                                                                                        
   
5.                                                                                                 <i>|</i>
   
6.                                                                                                 89.48㎡
   
7.                                                                                        
   
8.                                                                                        
   
9.                                                                                                 <i>|</i>
   
10.                                                                                                 低层（共18层）
    
11.                                                                                        
    
12.                                                                                        
    
13.                                                                                                 <i>|</i>
    
14.                                                                                                 南北向
    
15.                                                                                        
    
16.                                                                                        
    
17.                                                                                                 <i>|</i>
    
18.                                                                                                 2009年建
    
19.                                                                                        
    
20.                                                                                        
    
21.                                                                                                 <i>|</i>
    
22.                                                                                                 <span class="people_name">

复制代码

最佳答案

月排行榜 / 总排行榜

xiaosi4081

2020-6-4 07:33:02

1. import requests
   
2. import os
   
3. import time
   
4. from lxml import etree
   
5. 
   
6. url = 'https://wuhan.esf.fang.com/'
   
7. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'}
   
8. response = requests.get(url,headers=headers)
   
9. result = response.text
   
10. result = result.replace('<i>|</i>','')
    
11. root = etree.HTML(result)
    
12. 
    
13. title = root.xpath('//p/[@class="tel_shop"]')
    
14. 
    
15. for each in title:
    
16.         content = each.strip()
    
17.         print(content)
    

复制代码

跳转到最佳答案楼层

xiaosi4081

1. import requests
   
2. import os
   
3. import time
   
4. from lxml import etree
   
5. 
   
6. url = 'https://wuhan.esf.fang.com/'
   
7. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'}
   
8. response = requests.get(url,headers=headers)
   
9. result = response.text
   
10. result = result.replace('<i>|</i>','')
    
11. root = etree.HTML(result)
    
12. 
    
13. title = root.xpath('//p/[@class="tel_shop"]')
    
14. 
    
15. for each in title:
    
16.         content = each.strip()
    
17.         print(content)
    

复制代码

littlev

虽然没有达到我想要的效果，可能是我自己没有表达清楚。但是你这个建议提供了一个很好的思路，就是得到html源代码后可以先对代码文本进行预处理，把奇怪的格式简化。感谢