# Same Pre-training Loss, Better Downstream: Implicit Bias Matters for Language Models

> 原文链接：https://proceedings.mlr.press/v202/liu23ao.html
> 作者/来源：ICML 2023
> 阅读日期：2026-05-06

## 一句话总结
证明相同预训练损失的模型可以有不同的下游表现，揭示训练过程的隐式偏好（implicit bias）对模型能力的影响。

## 核心论点
- Pre-training loss 不是模型下游能力的充分统计量
- 相同 loss 值下，不同优化路径导致不同的 implicit bias，进而影响下游表现
- 这意味着仅用 loss 来预测或比较模型能力是不充分的

## 关键概念
- **Implicit Bias**：优化算法在多个等价解中隐含偏好某些解的倾向
- **Pre-training Loss ≠ Capability**：损失值相同不意味着能力相同
- **Optimization Path Dependency**：最终模型特征取决于优化轨迹
- **Scaling Laws Limitations**：基于 loss 的 scaling laws 可能遗漏重要信息

## 实践建议
- 不要仅用 pre-training loss 来预测模型的下游表现
- 评估应直接在目标任务上进行而非依赖代理指标
- 模型选择时需要综合考虑多个维度的下游评估
- Scaling laws 的预测需要额外的验证步骤

## 独到观点
- 挑战了"loss 越低模型越好"的简单假设
- 对 scaling laws 研究的重要补充：仅看 loss 可能过于乐观或悲观

## 与其他文章的关联
- 与 "Are Emergent Abilities a Mirage?" 相关：loss 与能力的非线性关系
- 与 "What Are We Measuring" 相关：benchmark 分数背后的隐藏因素
- 与 "Measuring What Matters" 相关：construct validity 要求我们区分代理指标和真实能力