大语言模型（LLM）的一丝缺陷，可能会直接导致实际部署生产中的严重隐患。尽管 LLM 的功能越来越强大，但它们仍然存在不易察觉的缺陷，比如在执行指令或编码任务时出现错误。因此，系统地识别并解决 LLM 的缺陷，对于提升 LLM 的性能和可靠性至关重要。
然而，现有的识别 LLM 缺陷的方法均存在明显的不足。人工检查 LLM 的缺陷涉及大量人类专家的参与，需要大量的人力物力，难以规模化扩展；现有的自动检查 LLM 缺陷的方式主要依赖评估基准，但评估基准的构建目的主要是公平地对比一系列模型的表现强弱，无法彻底地、有针对性地发掘特定模型的缺陷，而且评估基准大多存在更新周期长、数据泄露、区分度较小等问题。
为解决上述问题，我们提出了一个用于在各种任务中自动发掘 LLM 缺陷的统一框架——AutoDetect，其是目前为止第一个在通用任务上系统探索 LLM 缺陷发掘过程的框架，并且在指令遵从、数学、代码等任务上进行了充分的验证。
相比现有技术，AutoDetect 能够对模型的缺陷进行针对性、高效的搜索，在 GPT-3.5、Claude-3-sonnet 等多个主流模型上有着高于 30% 的缺陷检测成功率。
除此之外，AutoDetect 框架还可以帮助提升模型性能，通过从自动发掘的缺陷中学习，可以让 LLM 在多个任务上产生 10% 左右的性能提升。
在我们的框架中，我们采用了类似于教育评估系统的方法，包括创建全面的问题来评估学生，并审查他们的回答，从而识别个性化的薄弱点。AutoDetect 涉及开发一个整体测试系统来评估和挑战 LLM 的能力。此外，该系统并不是静态的，而是根据具体模型的表现进行不断优化和调整，从而提供定制和有效的弱点识别。
AutoDetect 可以生成创意性的指令，人工标注员可能由于自身能力限制难以构造。此外，我们发现 AutoDetect 还会自发地结合多种知识点生成问题，比如在指令遵循任务中组合多个知识点。