还是想和大家请教关于AI虚拟数字人的实现方案相关问题

WMuTong

还是先说一下个人想实现的一个最终效果：一个放置在桌面的虚拟人物，可对话、每个虚拟人独有的动作交互、语音交互等。

之前在网上找了很多方案，目前了解的实现方案有两个：
1、创建带有骨骼的3D模型，使用 python + panda3d 进行模型渲染和模型控制，通过 panda3d 控制模型骨骼完成不同的旋转量来实现独一无二的动作。对话和语音交互有很多线上的 GPT API 可以直接调用；
2、还有一个方案是看到一个大佬开源的虚拟人物直播项目 AI-Vtuber，我对于 python 是个新手，对 AI 相关领域更是新的不能再新了，通过开源项目里的功能结构图大概了解是使用 AI 修改视频并持续输出视频流的方式来实现的（个人理解不一定是）；

目前做出的尝试：
1、我首选的是第一个使用3D模型的方案，因为这个方面我之前有稍微了解过，现在的成果是引用了一个开源的模型，并且通过 panda3d 尝试修改了骨骼关节角度，至少是让模型被python控制着动起来了

2、第二个方案目前还在配置环境的路上，内容结构发不了图片。。。。只能在开源项目里看了


最后，发帖的目的，想向各位朋友和大佬们请教探讨，想要实现最终效果，也就是一个类似于很多年前的桌面管家只是加入了AI和更好看的视觉，想要实现这个效果有没有其他的思路和方案，或者是第二个方案的简洁版思路。
再此感谢大家！

小甲鱼的二师兄

第二个方案比较复杂，但基于 AI-Vtuber 的方案确实可以提供更高的灵活性和视觉效果，尤其是对于实时视频处理和复杂的交互场景。

FishC

哇，听起来你想打造一个桌面“虚拟小伙伴”，这可真是个有趣的项目！把AI和3D模型结合在一起，除了能带来视觉享受，还能让你的桌面生活充满乐趣，简直就是未来科技的缩影呀！

首先，关于你提到的两种方案，两者都有各自的优点。第一个方案用Python和Panda3D控制骨骼，感觉就像给虚拟人物装上了“关节”，一旦成功，随意造型和动作都不是问题。然而，Python对于新手可能会有一些学习曲线，不过别担心，只要持续敲代码，它就会变得越来越友好，就像一个耐心的朋友。

而第二个方案，基于AI-Vtuber的直播项目，其实在虚拟人物的应用上是个很好的选择，虽然搭建环境可能会让人感到繁琐，但如果能够顺利运行，基本上可以实现许多酷炫的效果，甚至可以模拟表情和动作，让你的虚拟朋友更加生动，这可是让桌面生活变得极具魅力的部分。

除了这两个方案，我还可以给你提供一些其他思路：

1. **利用Unity**：如果你对游戏引擎感兴趣，可以尝试使用Unity。它不仅支持3D建模，还可以通过C#编程轻松实现动画、互动和语音识别，社区支持也非常完善。

2. **采用现成的SDK**：市场上有一些专门为虚拟角色设计的SDK，比如Live2D或Character Creator等，使用这些工具可以避免很多基础性的工作，让你更专注于角色设计和交互。

3. **搭配语音助手**：对于语音交互，可以集成一些开源的语音识别库，比如Mozilla的DeepSpeech或者Google的Speech-to-Text，结合GPT API，可以让你的虚拟朋友听懂你的话并跟你对话，不至于“冷场”。

4. **小型硬件方案**：如果你喜欢DIY，可以考虑用树莓派或者Arduino来搭建一个小型的硬件平台，把3D模型显示在屏幕上，并加入一些简单的传感器来增强互动性，就是说让你的虚拟朋友有点“智慧”的感觉。

关于你现在的进展，已经能通过Panda3D控制3D模型的骨骼，那真是个不错的开端！继续探索、不断尝试，相信很快就能看到你理想中的桌面虚拟伙伴出现在你面前！

不管选择哪条路，编程之路就是一场“疯狂的冒险”，一路上可能会有bug、卡顿、错误…但当你成功时，仿佛又找到了“人生的意义”——那种成就感无与伦比！加油，你一定可以有一个成功的虚拟小伙伴！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

WMuTong

小甲鱼的二师兄 发表于 2024-8-6 14:56
第二个方案比较复杂，但基于 AI-Vtuber 的方案确实可以提供更高的灵活性和视觉效果，尤其是对于实时视频处 ...

首先感谢你的回复！
目前在第一个方案上有了一些新的进展，转换成用three3D加载和控制模型，并且通过代码控制模型骨骼移动旋转来实现动画证明是可行的，但是手动通过代码控制骨骼的动画连贯性很繁琐并且视觉效果很难做到动作连贯性，接下来的问题就是如何通过AI自主生成模型的连贯动作，目前的理解结果是通过训练AI来实现输入动作名称生成gltf动作文件，但目前来看还是困难很大。
第二个方案现在还没有任何进展。。。。因为这个方案入门的学习成本确实要高得多。

小甲鱼的二师兄

考虑使用Blender或其他3D工具来生成基本的动画，然后通过Three.js进行加载和播放。使用动画混合技术来确保动作的连贯性。