用python搜索某论坛内容

skyrimz

有些网站，虽然内容是非会员可见，但要用搜索功能就必须要注册登录
免费注册还好，要是需要邀请码什么的嘛.....很明显就不合适了
为了省钱多吃点好的，自己动手写了个可以实现搜索的小代码
经过我的测试，网络条件好的情况下搜个1000页左右没有问题，不过缺点是用的时间太久了，没办法像论坛自带的搜索一样秒出结果

一般这种论坛的url都很有规律，可以批量操作，get到代码之后再根据想要的关键词查找，最后再处理一下结果提高可读性就ok，顺便还可以练习一下正则

欢迎初学者们一起来交流，也欢迎大佬们前来指导

import requests
from bs4 import BeautifulSoup
import re

def search001(begin, over,keyword = '关键词'):

    page_num = range(begin,over)
    res_list = []
    # 搜索n页内容
    for i in page_num:
        # get代码
        url = 'http://地址/forum/forum-187-' + str(i) + '.html'
        req = requests.get(url)
        req.encoding = 'utf-8'
        soup = BeautifulSoup(req.text, 'lxml')
        # get帖子信息
        soup_find = soup.find_all('span', id=re.compile('thread_\d+'))
        # 搜索，存储结果
        for i in soup_find:
            str_i = str(i)
            if keyword in str_i:
                res_list.append(str_i)
            else:
                continue

    # 后处理
    for j in res_list:
        res_url = re.search(r'thread-\d+-\d+-\d+.html', j).group(0)
        res_title = re.search(r'<span.*>(.*)</a>', j).group(1)
        full_url = 'http://地址/forum/' + res_url
        print('标题：%s\n链接：%s '%(res_title,full_url))
    return 'Done!'

def search_again():
    count =  100
    begin = 101
    over = 111
    while count != 0:
        search001(begin,over,keyword = 'XN')
        begin += 10
        over += 10
        count -=1
        print('【%d】-【%d】ok!'%(begin,over))

search_again()