# ALLURE: Auditing and Improving LLM-based Evaluation of Text using Iterative In-Context-Learning

> 原文链接：https://arxiv.org/abs/2309.13701
> 作者/来源：（学术论文，2023）
> 阅读日期：2026-05-06

## 一句话总结
提出 ALLURE 框架审计 LLM 评估中的失败模式，并通过迭代式 in-context learning 改进评估质量。

## 核心论点
- LLM judge 会被"表面特征"欺骗：fluency 高但 factuality 低的回答可能获得高分
- 需要系统性方法来审计（audit）judge 的失败模式
- 通过迭代提供失败案例作为 in-context examples，可以逐步改进 judge

## 关键概念
- **Auditing LLM Evaluation**：系统性发现 judge 的失败模式
- **Iterative ICL**：迭代式 in-context learning 改进 judge
- **Failure Mode Discovery**：识别 judge 系统性出错的模式
- **Adversarial Examples for Judges**：能欺骗 judge 的对抗样本
- **Self-Correction**：通过反馈迭代自我修正

## 实践建议
- 定期审计 judge 的失败案例并归类
- 将典型失败案例加入 judge 的 prompt 作为反面教材
- 建立迭代改进循环：评估→审计→修正→再评估
- 关注 judge 容易被欺骗的模式（如高 fluency 低 accuracy 的内容）

## 独到观点
- "审计"是一个制度化视角——不是一次性修复而是持续的质量控制
- 迭代 ICL 是一种不需要训练的 judge 改进方法

## 与其他文章的关联
- 与 "Judging the Judges" 相关：都在发现 judge 的脆弱性
- 与 "Style Over Substance" 相关：ALLURE 直接针对表面特征欺骗问题
- 与 MemAlign 相关：都用 in-context examples 改进 judge
- 与 "Evaluating LLMs at Detecting Errors" 相关：错误检测的另一面