「MAPS」框架自动优化方法｜为大型语言模型（LLM）定制优化提示词

不二如是

论文介绍了一种名为MAPS的自动化方法，旨在为大型语言模型（LLM）定制优化提示词，以生成软件测试用例。

在线学习：

游客，如果您要查看本帖隐藏内容请回复

在线学习：





MAPS方法包含三个主要模块：

• 多样性引导的提示词生成：该模块通过在优化过程中探索多样的修改路径来创建不同的提示词，防止优化过程过早收敛到局部最优解。
• 失败驱动的规则归纳：该模块通过反映生成的测试用例中的常见失败来识别有希望的优化方向，并基于规则转换方法将反思结果软集成到提示词中。
• 领域上下文知识提取：该模块通过结合文件内和跨文件的上下文信息来丰富提示词，提供相关的领域知识，帮助LLM生成准确的测试用例。
  

论文还讨论了MAPS如何通过两个案例研究改进测试用例生成，展示了MAPS为Llama-3.1和ChatGPT生成的最终提示词以及由此产生的测试用例。

此外，作者还将ChatGPT+MAPS与传统方法Randoop和基于深度学习的方法A3Test进行了比较，结果显示ChatGPT+MAPS在行覆盖率和分支覆盖率上都优于这些基线方法。

不二如是

感谢分享！