上海AI Lab的NCP-ArchPreview，专用来预测“概念”

上海人工智能实验室与上海交通大学LUMIA实验室的 Intern-NCP团队扔出了一份不寻常的技术报告：NCP-ArchPreview，一个8.9B参数的开放权重模型，只用51.3%的训练token，就追平了OLMo-3-7B的最终预训练损失；完整预训练跑完后，下游宏观平均分反而还高出2.45分。

一、背景

自GPT-2以来，几乎所有大语言模型都通过"预测下一个词"（next-token prediction）训练。对跨多个词的理解只能作为间接副产品自然涌现。NCP（Next Concept Prediction）团队的核心赌注是：可以直接监督更大的语义单元。 aIDe问epTHink.cn

二、机制拆解

1. 架构流水线

Token流 → 16层Token Encoder → 隐藏状态
                                ↓
                   每4个token状态池化为1个概念向量
                                ↓
                 乘积量化概念词表（17M参数，模型自建）
                                ↓
                 8层Concept Module 预测下一个概念
                                ↓
                 概念预测反馈回token层，引导后续生成
                                ↓
                 16层Decoder → 常规next-token预测
        ←—— NTP loss 与 NCP loss 联合端到端训练 ——→

说明： aIDe问epTHink.cn

4:1的压缩比是刻意的：概念序列长度只有token序列的1/4，模型因此被强制在更粗的时间尺度上学结构，而不是继续在词法层面打转。
反馈回路是闭环：概念预测不是加个辅助loss就完事，它要回灌到token层去引导生成——这是"概念层"与"token层"之间真正的接口。
联合训练而非两阶段：NTP与NCP从头到尾一起训，避免了"先训token再接概念"的接口损耗。

2. 为什么GSM8K涨得最多？

这是一个可以反过来验证机制的细节。小学数学应用题的语义单元天然是多token的："一个数量+一个关系+一次运算"。如果概念粒度真的抓到了语义单元，收益就应该在这里最大化——事实正是如此（+5.99，远超综合均值+2.45）。代码任务同理（+4.28），因为"一个函数骨架""一个状态机分支"也是多token单元。

这是本次发布中最有说服力的证据链：收益出现在机制预判应该出现的地方，而不是均匀摊薄。

三、模型参数

核心指标	NCP-ArchPreview	OLMo-3-7B
达到对方最终预训练loss所用token	51.3%（收敛快1.95×）	100%（5.73T）
最终loss	低 0.091	基准
Stage-2收敛速度	快 1.51×，波动更小	基准
Stage-1综合均值	49.04	46.59（+2.45）
GSM8K（数学）	45.26	39.27（+5.99）
HumanEval（代码）	31.38	27.10（+4.28）
参数对齐8.9B基线对比	用 85%算力逼近其训练loss	—

Apache 2.0协议，权重、推理脚本、训练配方、每10万步的中间checkpoint（13个）、drafter模型全部开放。主checkpoint BF16约17.89GB，草稿模型2.21GB。任意下载、商用、复现。 aIDe问epTHink.cn

主模型训练数据为Dolma-3的5.73万亿token（与OLMo同数据集，公平对照），另有约1000亿token的Stage-2中段训练。团队自称这是迄今公开规模最大的隐空间（latent-space）语言模型。

四、横向对比

路线	怎么做	与NCP的关键差异
Multi-token Prediction（MTP）	直接预测后面几个确切的token	NCP是在压缩空间里向前看，不是猜词
Meta Large Concept Models	预测整句embedding，需外接编码器	NCP词表从自身隐藏状态生成；且保留token级自回归，全工具链兼容
JEPA类	预测表征而非原始数据	同为表征预测，但NCP额外维持token级生成能力
自家 ConceptLM（前期工作）	最大1.5B验证概念	NCP是首次在数万亿token的预训练全程开启概念预测

五、后续

两个发现比主指标更有工程价值：

轻量领域适配：只更新1700万参数的VQ模块（不到总参数的0.2%）就能完成领域迁移——概念词表在预训练后依然可编辑，8.9B主干一动不动。这是一个全新的、极低代价的领域适配接口。
推理端加速：概念表征注入DFlash2草稿模型，平均接受长度+4.17%。换句话说，概念层不只是训练用的脚手架，它在推理和迁移两个场景里继续产生复利。

六、扩展

产业落地生态：NCP方法若可规模化，将直接改变训练成本结构——用一半数据达到同等效果意味着训练成本减半。对中国AI实验室尤其关键：在算力受限的情况下，效率提升是对抗算力差距的核心武器。 aIDe问epTHink.cn

附录：术语

1. Next Token Prediction（NTP）——统治了七年的默认答案

读一堆文本→猜下一个token→被纠正→重复数万亿次。它极为有效，但它从不显式要求模型去表征一个跨越多个token的语义单元。 用报告原话说，高层抽象"纯粹是间接副产品"（purely as an indirect byproduct）。

类比：学写作只练"猜下一个字母"，你终究会学会写作，但没人逼你先想清楚下一个短语要表达什么。

2. Latent Space（隐空间）——把生成从"原始像素"搬到"压缩表征"

视觉领域早就走过这条路：潜在扩散模型（Latent Diffusion）不在像素空间生成，而在压缩后的连续表征里生成，效率与可扩展性暴涨。NCP做的，是把这个思路搬到语言上——只是它搬得很克制：不放弃token级自回归。

3. Product Quantization（乘积量化）——用几张小表拼出一个大词表

不用人工设计、也不用外接编码器。模型从自己的隐藏状态里造概念词表：把每个隐藏向量切成若干子块，每块学一个小码本，几张小表组合出巨大的有效词表。这个VQ模块只有 1700万参数——后面会看到这个数字有多妙。 aIDe问epTHink.cn

4. Speculative Decoding（投机解码）——为什么+4.17%很重要

小草稿模型先提议若干token，大模型一次并行验证；"平均接受长度"是每步有多少提议存活下来，几乎线性映射到推理加速比。NCP把概念表征喂给当前SOTA草稿模型DFlash2，接受长度+4.17%，开销可忽略——训练期的副产物，在推理端继续生钱。