# MemAlign: Building Better LLM Judges with Human Feedback

> 原文链接：https://databricks.com/blog/memalign-building-better-llm-judges-human-feedback
> 作者/来源：Databricks
> 阅读日期：2026-05-06

## 一句话总结
Databricks 提出 MemAlign 方法，通过将人类反馈记忆嵌入 LLM judge 来提升其与人类评估的对齐度。

## 核心论点
- LLM-as-Judge 的最大问题是与人类判断的不对齐（misalignment）
- 通过向 judge 提供人类评估的"记忆"（exemplars），可以显著提升对齐度
- 这是一种 few-shot calibration 方法，不需要微调模型

## 关键概念
- **MemAlign**：Memory-Aligned Judge——将人类反馈样例注入 judge 的上下文
- **Human-Judge Alignment**：LLM judge 与人类评估者的一致性
- **In-Context Calibration**：通过上下文示例校准 judge 行为
- **Evaluation Memory**：存储和检索相关的人类评估案例
- **Retrieval-Augmented Judging**：检索增强的评判方式

## 实践建议
- 收集少量高质量人类评估样例作为 judge 的校准锚点
- 使用检索机制选择与当前评估最相关的历史案例
- 定期更新 memory bank 以反映评估标准的演变
- 这种方法可以在不微调模型的情况下快速部署

## 独到观点
- 来自工业界（Databricks）的实用方案：不需要训练专门的 judge 模型
- "记忆"比"训练"更灵活：标准变化时只需更新 memory bank

## 与其他文章的关联
- 与 "Replacing Judges with Juries" 互补：多评委 vs. 单评委校准
- 与 "Aligning with Human Judgement" 相关：都在追求人机对齐
- 与 "How to Correctly Report LLM-as-Judge" 相关：校准后的 judge 如何报告
- 与 "Can LLMs Replace Human Evaluators?" 相关：通过对齐缩小差距