用python搜索某论坛内容

skyrimz

有些网站，虽然内容是非会员可见，但要用搜索功能就必须要注册登录
免费注册还好，要是需要邀请码什么的嘛.....很明显就不合适了
为了省钱多吃点好的，自己动手写了个可以实现搜索的小代码
经过我的测试，网络条件好的情况下搜个1000页左右没有问题，不过缺点是用的时间太久了，没办法像论坛自带的搜索一样秒出结果

一般这种论坛的url都很有规律，可以批量操作，get到代码之后再根据想要的关键词查找，最后再处理一下结果提高可读性就ok，顺便还可以练习一下正则

欢迎初学者们一起来交流，也欢迎大佬们前来指导

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import re
   
4. 
   
5. def search001(begin, over,keyword = '关键词'):
   
6. 
   
7.     page_num = range(begin,over)
   
8.     res_list = []
   
9.     # 搜索n页内容
   
10.     for i in page_num:
    
11.         # get代码
    
12.         url = 'http://地址/forum/forum-187-' + str(i) + '.html'
    
13.         req = requests.get(url)
    
14.         req.encoding = 'utf-8'
    
15.         soup = BeautifulSoup(req.text, 'lxml')
    
16.         # get帖子信息
    
17.         soup_find = soup.find_all('span', id=re.compile('thread_\d+'))
    
18.         # 搜索，存储结果
    
19.         for i in soup_find:
    
20.             str_i = str(i)
    
21.             if keyword in str_i:
    
22.                 res_list.append(str_i)
    
23.             else:
    
24.                 continue
    
25. 
    
26.     # 后处理
    
27.     for j in res_list:
    
28.         res_url = re.search(r'thread-\d+-\d+-\d+.html', j).group(0)
    
29.         res_title = re.search(r'<span.*>(.*)</a>', j).group(1)
    
30.         full_url = 'http://地址/forum/' + res_url
    
31.         print('标题：%s\n链接：%s '%(res_title,full_url))
    
32.     return 'Done!'
    
33. 
    
34. def search_again():
    
35.     count =  100
    
36.     begin = 101
    
37.     over = 111
    
38.     while count != 0:
    
39.         search001(begin,over,keyword = 'XN')
    
40.         begin += 10
    
41.         over += 10
    
42.         count -=1
    
43.         print('【%d】-【%d】ok!'%(begin,over))
    
44. 
    
45. search_again()

复制代码