爬虫：几个拿我们老窝开刀的爬虫（2）

夏煜哥

        众所周知，鱼C论坛没有user-agent的检测，所以很适合新手开刀......
        注：我没有任何邪恶的想法（比如以前的大规模攻击）
        [1]

1. from requests import *
   
2. import bs4
   
3. import sys
   
4. 
   
5. try:
   
6.     resp = get(input('请输入URL:'))
   
7. #如果出错（ValueError，404......）
   
8. except:
   
9.     print(f'Un oh......')
   
10.     sys.exit(0)#退出程序
    
11. 
    
12. #正常
    
13. #(1)数据分析
    
14. s = bs4.BeautifulSoup(resp.text, 'html.parser')
    
15. 
    
16. name = s.find('span', id='thread_subject').text#帖子名称
    
17. author = s.find('div', class_='authi').text#作者id[index]
    
18. #查看与回复
    
19. a = s.find('div', class_ = 'hm ptn')
    
20. look_num = str(bs4.BeautifulSoup(a.text, 'html.parser')).split('|')[0]
    
21. say_num = str(bs4.BeautifulSoup(a.text, 'html.parser')).split('|')[1]
    
22. #个人信息
    
23. d1 = s.find('dl', class_="cl")
    
24. dts = str(bs4.BeautifulSoup(d1.text, 'html.parser'))
    
25. dts = dts.split('\n')
    
26. #UID
    
27. uid = dts[1][:3] + ' : ' + dts[1][3:]
    
28. #积分
    
29. jf = dts[-2][:2] + ' : ' + dts[-2][2:]
    
30. 
    
31. #（3）打印数据
    
32. 
    
33. print('帖子名称：', name)
    
34. print('作者：', author)
    
35. print(look_num)
    
36. print(say_num)
    
37. print('[Ta的个人信息]：')
    
38. print(uid)
    
39. print(jf)
    

复制代码

        根据注释，想必大家已经猜到这是用来爬取我们老窝的帖子与作者的信息的。其实也不难，学过小甲鱼《极客Python之效率革命【爬虫篇】》的鱼油，应该都能看懂。requests用于爬取源代码，一个get()就行。bs4用于分析数据，只要往源代码里钻就行。其中我有个bs4的小技巧：
        请注意看“dts = str(bs4.BeautifulSoup(d1.text, 'html.parser'))”这行，bs4.BeautifulSoup（）用于创建BeautifulSoup对象，而我又用str()将它创建时返回的html给变成了str，这是什么操作？？？
        重点在‘.text’这里，
        BeautifulSoup对象的text属性，是去掉了标签的html(即我们可以在浏览器看到的文字）。而我们需要的数据，大部分也都是浏览器可以看到的。而如果遇到嵌套在内层的数据，如：

1. 
   
2. <div class="z">
   
3. 
   
4. <a href="./" class="nvhm" title="首页">鱼C论坛</a>
   
5. 
   
6. </div>
   

复制代码

        我们需要“鱼C论坛”四个字，只需按刚才的技巧就可以提取出来了。

深谙流年

厉害厉害  收藏一波