用python搜索某论坛内容
本帖最后由 skyrimz 于 2021-1-17 09:18 编辑有些网站，虽然内容是非会员可见，但要用搜索功能就必须要注册登录
免费注册还好，要是需要邀请码什么的嘛.....很明显就不合适了{:10_297:}
为了省钱多吃点好的，自己动手写了个可以实现搜索的小代码
经过我的测试，网络条件好的情况下搜个1000页左右没有问题，不过缺点是用的时间太久了，没办法像论坛自带的搜索一样秒出结果
一般这种论坛的url都很有规律，可以批量操作，get到代码之后再根据想要的关键词查找，最后再处理一下结果提高可读性就ok，顺便还可以练习一下正则{:10_282:}
欢迎初学者们一起来交流，也欢迎大佬们前来指导{:10_334:}
import requests
from bs4 import BeautifulSoup
import re
def search001(begin, over,keyword = '关键词'):
page_num = range(begin,over)
res_list = []
# 搜索n页内容
for i in page_num:
# get代码
url = 'http://地址/forum/forum-187-' + str(i) + '.html'
req = requests.get(url)
req.encoding = 'utf-8'
soup = BeautifulSoup(req.text, 'lxml')
# get帖子信息
soup_find = soup.find_all('span', id=re.compile('thread_\d+'))
# 搜索，存储结果
for i in soup_find:
str_i = str(i)
if keyword in str_i:
res_list.append(str_i)
else:
continue
# 后处理
for j in res_list:
res_url = re.search(r'thread-\d+-\d+-\d+.html', j).group(0)
res_title = re.search(r'<span.*>(.*)</a>', j).group(1)
full_url = 'http://地址/forum/' + res_url
print('标题：%s\n链接：%s '%(res_title,full_url))
return 'Done!'
def search_again():
count =100
begin = 101
over = 111
while count != 0:
search001(begin,over,keyword = 'XN')
begin += 10
over += 10
count -=1
print('【%d】-【%d】ok!'%(begin,over))
search_again()
页:
[1]