# OpenICL: An Open-Source Framework for In-Context Learning

> 原文链接：https://arxiv.org/abs/2303.02913
> 作者/来源：arXiv preprint (2023)
> 阅读日期：2026-05-06

## 一句话总结
开源的 In-Context Learning (ICL) 研究框架，标准化了 few-shot prompt 的构建和评估流程。

## 核心论点
- In-Context Learning 是 LLM 的核心能力之一，需要专门的研究框架
- ICL 的效果高度依赖 example 的选择、排序和格式化
- 需要标准化的 ICL 实验流程来确保研究的可重复性
- 不同的 retriever（example selector）对 ICL 性能影响显著

## 关键概念
- **In-Context Learning (ICL)**：通过在 prompt 中提供示例来引导模型行为
- **Retriever**：选择最相关的 few-shot examples 的策略
- **Inferencer**：执行推理的组件，支持 direct、PPL、CoT 等模式
- **Template**：将 examples 格式化为 prompt 的模板
- **Example ordering**：few-shot examples 的排列顺序对结果的影响

## 实践建议
- 系统性地测试不同的 example selection 策略
- 注意 example ordering 的影响——不同顺序可能导致显著性能差异
- 对 ICL 相关研究使用 OpenICL 确保可比性
- 区分模型的 zero-shot 和 few-shot 能力

## 独到观点
- 将 ICL 分解为 retriever + inferencer + template 的模块化视角
- 揭示了 few-shot 评估中的隐藏变量
- 对理解 "为什么 few-shot 有时有效有时无效" 有帮助

## 与其他文章的关联
- 与 lm-evaluation-harness 中 few-shot 设置的实现相关
- ZeroEval 的 zero-shot 设计理念与 ICL 研究形成对比
- 对 Eureka 框架中的 prompt sensitivity 分析有理论支持