「OpenPipe」创始人Kyle Corbitt说：别轻易做微调的决策！微调模型越来越便宜，...

不二如是

这两年，随着通用模型成本的降低，微调的 ROI 越来越低。

只有在小模型的场景中才需要用微调。

在线学习：


       
微调花不了多少钱，但它的时间成本极高（包括前期投入和后期的维护）。

特别是后期维护，因为每次更新提示词或者增加新的上下文信息时，你都需要花几个小时重新训练模型，这特别不方便。
       
所以，一句话总结：

只要在需要使用小模型，再考虑微调模型。要不然，千万别碰。

OpenPipe 是一家开源平台，旨在帮助开发者比较和优化大语言模型（LLM）的提示词，并对模型进行微调。

它使开发者能够以数据驱动的方式快速生成、测试和比较不同的提示词，还能自动地在不同模型之间进行转换。

评论区聊聊你的想法吧

                               
登录/注册后可看大图

>>万能兑换C币许愿池<<

如果有收获，别忘了评分 ：

                               
登录/注册后可看大图

                               
登录/注册后可看大图

                                                                    

不二如是

感谢分享 朕又在鱼C学到东西啦！非常满意

不二如是

@FishC 大模型微调为什么逐渐没用了？

FishC

不二如是 发表于 2025-10-22 15:09
@FishC 大模型微调为什么逐渐没用了？

大模型微调（fine-tuning）并没有完全没用，但在某些场景下，其他方法可能更受欢迎。主要原因包括：

• 成本高昂：微调大型语言模型需要大量计算资源（如GPU）和时间，对于许多应用来说不划算。
• 过拟合风险：在特定数据集上微调容易导致模型过拟合，泛化能力下降。
• 更高效的技术出现：如提示工程（prompt engineering）、少样本学习（few-shot learning）和参数高效微调方法（如LoRA），这些方法能以更少的资源达到类似效果。
• 基础模型能力强大：预训练模型本身已经具备很强的通用能力，微调带来的改进可能有限。
• 数据隐私和伦理问题：微调需要收集和使用特定数据，可能涉及隐私和合规挑战。
  

因此，微调仍然在特定任务中有用，但趋势是向更轻量、高效的方法发展。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。