训练AI大模型到底在训练什么？

ty5777

网络上炒AI炒的火热，都在训练AI大模型，大家到底在训练什么？

我相信AI时代已经来了，当更成熟的GPT接入手机可能一句话就可以把你想要做的事情做好

但是仅目前而言，我看到的绝大多数人都是在做GPT代理生意啊，或者都还是依托GPT再搞，那我直接去问GPT不就好了？

可能我认知狭隘了还有什么是我所看不到的请不吝赐教

不二如是

国内的很多初创公司确实是“套壳”训练，类似咱们论坛的 FishC 大模型（他们是想从投资人手里拿钱），通过特定领域的定制化和优化，可以更好地满足特定的需求和场景，这也是目前AI领域活跃发展的一个方向。

从OpenAI自己发布的内容来说，训练模型就是以下4个目的：

• 语言理解和生成：通过大量的文本数据，训练模型理解人类语言的结构、语义和上下文含义，以及如何生成连贯、有逻辑的文本回复。这是GPT系列模型的核心功能，也是目前最引人注目的应用之一。
• 特定领域知识学习：虽然像GPT这样的通用模型已经拥有广泛的知识基础，但很多团队仍在努力训练模型以更深入地理解特定领域的知识，比如医学、法律或者金融等，以提供更专业、更精准的服务。
• 多模态能力：除了处理文本，现代AI模型还在训练中加入了图像、声音和视频等多种数据类型，使模型能够理解和生成跨媒体内容，例如图像识别、生成和编辑，以及自然语言和图像的联合理解。
• 交互和对话系统：训练模型不仅能够生成文本，还能在对话中保持一致性和上下文理解，提供更自然和流畅的交互体验，这对于虚拟助手、客服机器人等应用尤为重要。
  

某一个“天”

大模型的训练就像教一个孩子学习和理解语言，一般分两个步骤：预训练和微调。

预训练：就好比给孩子大量的书籍，让他们自己去阅读和理解。
在这个阶段，我们给模型大量的文本数据，像网络上的文章、新闻、书籍等。模型需要预测某个句子中的下一个词是什么，就像填空题一样。
比如，我们给模型一个句子："今天天气真____"，模型需要预测空格里的词，可能是"好"。这样模型就能学习到词汇、语法规则和一些基本的常识。
微调：这就像教孩子具体的技能，比如写作文、做数学题等。
在这个阶段，我们给模型特定的任务，并给出一些例子，让模型学习如何完成这些任务。比如，我们可以给模型一些问题和答案，让它学习如何回答问题。在这个过程中，模型会学习到如何将它在预训练阶段学到的语言知识应用到具体的任务上。
求赏金~~~

某一个“天”

chatgpt确实能帮助你做很多事，但是你要有提问的技巧

某一个“天”

要是你不想翻q，用文心一言也凑合

ty5777

不二如是 发表于 2024-1-29 21:43
国内的很多初创公司确实是“套壳”训练，类似咱们论坛的 FishC 大模型（他们是想从投资人手里拿钱），通过 ...

是不是可以理解为，gpt并不是一个智脑，而是多个？一千个人有一千个哈姆雷特？

不二如是

ty5777 发表于 2024-1-30 08:48
是不是可以理解为，gpt并不是一个智脑，而是多个？一千个人有一千个哈姆雷特？

LLM大语言模型，本身无法具像化，类似一张网，大概率是千人千面的“对”