不二如是 发表于 2025-10-22 14:00:00

「OpenPipe」创始人Kyle Corbitt说：别轻易做微调的决策！微调模型越来越便宜，...



这两年，随着通用模型成本的降低，微调的 ROI 越来越低。

只有在小模型的场景中才需要用微调。

在线学习：

https://www.bilibili.com/video/BV17fsszjErW
       
微调花不了多少钱，但它的时间成本极高（包括前期投入和后期的维护）。

特别是后期维护，因为每次更新提示词或者增加新的上下文信息时，你都需要花几个小时重新训练模型，这特别不方便。
       
所以，一句话总结：

只要在需要使用小模型，再考虑微调模型。要不然，千万别碰。
OpenPipe 是一家开源平台，旨在帮助开发者比较和优化大语言模型（LLM）的提示词，并对模型进行微调。

它使开发者能够以数据驱动的方式快速生成、测试和比较不同的提示词，还能自动地在不同模型之间进行转换。

评论区聊聊你的想法吧{:10_330:}

https://xxx.ilovefishc.com/forum/202505/12/120451wiv7viv5iebupbbr.png

>>万能兑换C币许愿池<<

如果有收获，别忘了评分{:10_281:} ：

https://xxx.ilovefishc.com/forum/202011/20/092334ggd6inlzfisfrdir.png.thumb.jpg
https://xxx.ilovefishc.com/forum/202505/21/111710rvxgdn90vaub5gag.gif                                                                  

不二如是 发表于 2025-10-22 15:09:37

感谢分享 朕又在鱼C学到东西啦！非常满意{:10_275:}

不二如是 发表于 2025-10-22 15:09:51

@FishC 大模型微调为什么逐渐没用了？

FishC 发表于 2025-10-22 15:10:47

不二如是 发表于 2025-10-22 15:09
@FishC 大模型微调为什么逐渐没用了？

大模型微调（fine-tuning）并没有完全没用，但在某些场景下，其他方法可能更受欢迎。主要原因包括：


[*] 成本高昂：微调大型语言模型需要大量计算资源（如GPU）和时间，对于许多应用来说不划算。
[*] 过拟合风险：在特定数据集上微调容易导致模型过拟合，泛化能力下降。
[*] 更高效的技术出现：如提示工程（prompt engineering）、少样本学习（few-shot learning）和参数高效微调方法（如LoRA），这些方法能以更少的资源达到类似效果。
[*] 基础模型能力强大：预训练模型本身已经具备很强的通用能力，微调带来的改进可能有限。
[*] 数据隐私和伦理问题：微调需要收集和使用特定数据，可能涉及隐私和合规挑战。


因此，微调仍然在特定任务中有用，但趋势是向更轻量、高效的方法发展。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

不二如是 发表于 2025-10-29 09:21:28

感谢分享 朕又在鱼C学到东西啦！非常满意{:10_275:}

FishC 发表于 2025-10-29 09:23:04

不二如是 发表于 2025-10-29 09:21
感谢分享 朕又在鱼C学到东西啦！非常满意{:10_275:}

不客气！很高兴能帮到你～如果以后有更多关于AI、编程或其他计算机方面的问题，随时来问哦！{:10_275:}

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

不二如是 发表于 2025-10-31 08:47:01

感谢分享 朕又在鱼C学到东西啦！非常满意{:10_275:}

FishC 发表于 2025-10-31 08:47:23

不二如是 发表于 2025-10-31 08:47
感谢分享 朕又在鱼C学到东西啦！非常满意{:10_275:}

不客气！很高兴能继续帮助您～如果还有任何疑问或想深入学习，随时欢迎提问！{:10_275:}

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

不二如是 发表于 2025-11-4 09:35:22

感谢分享 朕又在鱼C学到东西啦！非常满意{:10_275:}

不二如是 发表于 2025-11-4 09:35:47

感谢分享 朕又在鱼C学到东西啦！非常满意{:10_275:}

FishC 发表于 2025-11-4 09:35:51

不二如是 发表于 2025-11-04 09:35
感谢分享 朕又在鱼C学到东西啦！非常满意{:10_275:}

不客气！很高兴您持续支持～随时欢迎回来探讨更多有趣的话题！{:10_275:}

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

不二如是 发表于 2025-11-12 08:56:46

感谢分享 朕又在鱼C学到东西啦！非常满意{:10_275:}

FishC 发表于 2025-11-12 08:57:02

不二如是 发表于 2025-11-12 08:56
感谢分享 朕又在鱼C学到东西啦！非常满意{:10_275:}

不客气！很高兴您喜欢～随时欢迎继续交流学习！{:10_275:}

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

不二如是 发表于 2025-11-12 08:57:11

感谢分享 朕又在鱼C学到东西啦！非常满意{:10_275:}

FishC 发表于 2025-11-12 08:57:29

不二如是 发表于 2025-11-12 08:57
感谢分享 朕又在鱼C学到东西啦！非常满意{:10_275:}

不客气！很高兴看到您这么积极～随时欢迎继续交流或提出新问题哦！{:10_275:}

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

不二如是 发表于 2025-11-13 08:40:01

感谢分享 朕又在鱼C学到东西啦！非常满意{:10_275:}

FishC 发表于 2025-11-13 08:40:23

不二如是 发表于 2025-11-13 08:40
感谢分享 朕又在鱼C学到东西啦！非常满意{:10_275:}

不客气！您的热情是学习的最大动力～随时欢迎回来探索更多知识！{:10_275:}

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

不二如是 发表于 4 天前

感谢分享 朕又在鱼C学到东西啦！非常满意{:10_275:}

FishC 发表于 4 天前

不二如是 发表于 2025-11-30 19:09
感谢分享 朕又在鱼C学到东西啦！非常满意{:10_275:}

不客气！您的持续热情让学习更有趣～随时欢迎继续提问或分享心得！{:10_275:}

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。
页: [1]
查看完整版本: 「OpenPipe」创始人Kyle Corbitt说：别轻易做微调的决策！微调模型越来越便宜，...