啦啦~记录我用AI第一次制作的系列视频

糖逗

啦啦啦~ 消失了一周多，因为我去玩seedance2.0生成视频了


这个系列，是由剑网三眉间雪剧情歌衍生的系列同人视频，仅供个人娱乐学习

废话不多说，来看我的系列成果

系列1：拜师

系列2：集市

系列3：你不是嫌我吵嘛

系列4：我谁也没等，谁也不回来

系列5：出师

系列6：你又输了

系列7：师徒分别

系列8：下雪了



此次使用的生成工具包括：豆包、小云雀、随变  
生成的使用率在我个人心中排名是：豆包＞小云雀 ＞随变



经验总结：
1. 简单的初始指令：seedance2.0的视频生成能力很强大，测试下来，它懂镜头、懂情绪、懂贴合人物的音色配音。
所以，即便是很简单的对话指令，它也能生成符合剧情情节和人物情绪的视频。

2. 简单到复杂指令微调：由于seedance2.0模型能力强大，即使提供很简单的提示词，也能得到不错效果。
当没有做过视频创作的新人小白，不懂镜头，不懂视角，也抓不准人物情绪时，可以在一开始创作的时候，给模型简单的指令，然后基于模型生成的效果微调指令。
渐渐地，就能把握住后续视频的指令应该怎么生成。


3. 提示词中输入“不要配乐和字幕”：seedance2.0在配乐和字幕生成上，效果较差。主要体现在：
①配乐不贴合剧情及人物情绪  
②配乐一听就能听出是AI生成的，太假   
③配乐生成后，音量不能自主调整
④模型还不能很好的生成字幕，会出现“非字”扭曲的情况

4. 同个片段多生成几个视频种子：视频现在就像生成盲盒一样，有时生成的好（人物情绪到位，镜头好看等），有时生成的较差。
因此，同个片段，在指令没太大问题的情况下，可以多生成几个。然后，挑选好的，发挥后期剪辑功力。

5. 输入人物图片，来保证人物一致性：先选好或生成好人物设定图，然后每次都将角色参考图喂给模型，这样会保持人物一致性。



现阶段模型/应用不足：
1. seedance2.0生成的配乐生成不好：不贴合剧情，也不能修改音乐大小
2. seedance2.0生成的字幕生成不好：容易乱码
3. 应用后搭载的能力，感觉没有直接使用seedance2.0原模型效果好：
小云雀和随变，我猜测底层虽然是seedance2.0，但是在此基础上搭载了些后置的指令，或Agent工具，导致有时生成的效果，反而没有原生的seedance2.0好。
比如随变，感觉它会根据之前生成的上下文继续生成， 或之前生成的视频风格，它会在后续模仿（有时会朝着错误的方向持续模仿让人崩溃 ）


后续建议：
1. 长视频生成：现在seedance2.0支持的视频生成时长，最长是10s。这块小云雀做得很好，使用Agent工具调用能力，将视频延长了，可以超过10s。
（对于那些台词太长，10s说不完的剧情，简直是救星否则要生成好几个视频，剪辑到头秃）

2. 音视频分轨输出：如果能实现同时输出视频、配音、配乐3个文件就太棒了，方便后续人工剪辑。


3. 字幕可以不生成：现在有很多工具，都可以自动根据音频生成字幕。并且，在模型生成文字能力不强的情况下，建议不生成。
或者即使生成，可以考虑先让模型生成不带字幕的视频，然后用后置工具生成视频，比如小云雀这种Agent调用工具形式。



写道这里累了，所以就先结束了，欢迎大家评论区交流~

PS：注意视频生成要保证不侵犯别人的肖像和权益，未购买会员服务的情况下，不能商用，仅供个人娱乐学习！！！

糖逗

啦啦啦

不二如是

太棒了！集市那个非常喜欢！！内容也可以发到B站