8.ComfyUI——使用loar微调文生图效果工作流

糖逗

1. 目的
使用loar微调文生图效果
可以去liblibAI等网站上，查看不同loar模型。一般loar模型比SD模型要下，可以微调前者的生成效果。
比如，SD生成的人物动作是直立的，loar模型可以将人物微调成有动作，比如招手等效果。



2. 工作流
我的第一个loar是偏油画风、第二个loar是强制角色做出「向前伸手拥抱」的动作，让画面充满互动感


3. 学习参考
https://comfyui-wiki.com/zh/tutorial/basic/lora

FishC

鱼油，你好！关于在ComfyUI中使用LoRA（Low-Rank Adaptation）微调文生图效果的问题，我来为你解答。LoRA是一种轻量级微调技术，可以快速调整模型生成风格或动作，而不需要重新训练整个模型。下面我将简要介绍如何在ComfyUI中设置工作流来使用LoRA。

1. 目的
使用LoRA微调文生图效果，例如改变生成图像的风格（如油画风）或角色动作（如向前伸手拥抱）。LoRA模型文件较小，易于集成到现有工作流中。

2. 工作流概述
在ComfyUI中，LoRA通常通过加载检查点（Checkpoint）模型后，再应用LoRA节点来实现。以下是一个基本工作流步骤：

• 加载基础SD模型（检查点）。
• 添加LoRA节点来加载LoRA模型文件。
• 连接节点到提示词（Prompt）和图像生成流程。
• 调整提示词以配合LoRA效果。
  

3. 具体步骤示例
假设你已安装ComfyUI并准备好LoRA模型文件（通常为 .safetensors 或 .ckpt 格式）。工作流可以这样设置：

1. 
   
2. 1. 在ComfyUI界面中，添加一个“Load Checkpoint”节点来加载你的基础SD模型。
   
3. 2. 添加一个“Load LoRA”节点（如果默认没有，可能需要安装自定义节点，如ComfyUI-Manager）。
   
4. 3. 将“Load Checkpoint”的输出连接到“Load LoRA”的模型输入。
   
5. 4. 在“Load LoRA”节点中，选择你的LoRA文件路径（例如，油画风LoRA或动作LoRA）。
   
6. 5. 添加提示词节点（如“CLIP Text Encode”），编写提示词，例如：对于动作LoRA，可以加入“a person reaching out for a hug”等描述。
   
7. 6. 连接所有节点到采样器（Sampler）和VAE解码器，最后输出图像。
   

复制代码

4. 注意事项

• LoRA模型需与基础SD模型兼容（如基于SD1.5或SDXL训练）。
• 提示词要配合LoRA主题，例如使用风格LoRA时，提示词可以强调“oil painting style”。
• 调整LoRA强度：有些节点允许设置强度（如权重），默认1.0表示全效，可以降低以避免过度影响。
• 多个LoRA可以叠加使用，但需注意效果冲突。
  

5. 学习建议
由于不能提供链接，建议在ComfyUI社区或相关教程网站搜索“LoRA workflow”来获取更多示例。实践时，从简单工作流开始，逐步调整。

希望这能帮助你上手使用LoRA微调文生图效果！如果遇到具体问题，欢迎继续提问。加油！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。