【爬虫】初次使用xpath

昨非

        最近刚开始接触爬虫这块，要学的东西还是挺多的，好多库都要用到，包括正则，乍一看就头大
        不过还好，感觉挺好玩的，起码有点儿兴趣作支撑
        当然代码很简单，就是随（故）便（意）找了个排行榜练练手。。。
        （鱼哥好像有说过不能爬咱论坛来着 ）

1. # -*- coding: utf-8 -*-
   
2. """
   
3. Created on Wed Mar  3 18:26:35 2021
   
4.     首次使用xpath
   
5. @author: 昨非
   
6. """
   
7. import requests
   
8. from fake_useragent import UserAgent  
   
9. from lxml import etree
   
10. 
    
11. url = "https://fishc.com.cn/misc.php?mod=ranklist&type=member&view=credit&orderby=5"
    
12. 
    
13. headers = {
    
14.             "User-Agent": UserAgent().chrome
    
15.             }
    
16. response = requests.get(url, headers=headers)
    
17. e = etree.HTML(response.text)  
    
18. 
    
19. 
    
20. #由网页源码而定*
    
21. names = e.xpath('//div[@class="xld xlda hasrank"]/dl/dt/a/text()')
    
22. values = e.xpath('//div[@class="xld xlda hasrank"]/dl/dd[3]/p/text()')
    
23. 
    
24. #print(names)
    
25. #print(values)
    
26. for name, value in zip(names, values):
    
27.     print(name, value)

复制代码

yuedong

虽然只能看懂伪装，
尝试了一下，爬到了10个名字和技术值吧
不过还有很多不知名的报错

不二如是

加油～

昨非

不二如是 发表于 2021-3-6 17:50
加油～

会的

昨非

yuedong 发表于 2021-3-6 01:01
虽然只能看懂伪装，
尝试了一下，爬到了10个名字和技术值吧
不过还有很多不知名的报错

？什么报错

yuedong

昨非 发表于 2021-3-6 17:56
？什么报错

奇怪，没有报错了刚刚试了一下

qiuyouzhi

爬论坛是可以的，只不过频率不要太高就好

昨非

qiuyouzhi 发表于 2021-3-7 14:10
爬论坛是可以的，只不过频率不要太高就好

我这小打小闹，不想有些大佬动不动几万几十万条数据来分析

小伤口

强烈支持

crisfo

厉害，厉害