问AI一个简单问题，就能知道它是谁吗？一篇论文发现了大模型的“行为指纹”

导读

如果你花钱调用一个标着“GPT-4”“Claude”或“Llama”的API，后台真的运行着它所声称的模型吗？

我们通常无法知道。第三方平台可能使用不同量化版本、旧模型，甚至把请求转给一个更便宜的模型。客户端看到的只有一个名字和一段返回文本，很难验证“货是否对板”。

2026年7月发布的论文《One Token Is Enough: Fingerprinting and Verifying Large Language Models from Single-Token Output Distributions》提出了一个出人意料的办法：反复问模型一些极简单的问题，比如“随机说一个1到100之间的数字”，再观察它的答案分布。

研究发现，模型并不会真正均匀地随机选择。不同模型有不同的“下意识偏好”，而这些偏好组合起来，就像一种行为指纹。

但标题里的“One Token Is Enough”需要先纠正一个容易传播的误解：它不是说问一次、拿到一个token就能认出模型，而是说每次查询只需一个输出token。要完成较可靠的验证，实验中仍需要约120到600次查询。

图1：同一个“随机选择1到100”的问题，四个模型形成截然不同的答案分布。来源：Bruckner（2026），Fig. 1。

---

一、一个简单问题，为什么会暴露模型身份？

假设我们连续30次问四个模型同一个问题：

请随机说出一个1到100之间的数字，只回答数字。

如果模型真的均匀随机，那么1到100中的每个数字都应该有大致相同的机会出现。可论文观察到的情况完全不同：

• GPT-4o的答案主要散布在42、37和57等少数数字上；
• Claude Sonnet 5明显偏爱47；
• Llama 3.3 70B明显偏爱53；
• Qwen3-Max在30次测试中全部回答42。

单看某一次回答，“42”当然不能证明模型是谁。很多模型都可能偶然回答42。真正有价值的是重复采样之后形成的概率分布：42出现多少次，37出现多少次，还有哪些答案几乎从不出现。

这很像辨认口音。一个人偶尔说出某个词不足以判断籍贯，但当他说了足够多句话，声调、停顿和用词偏好就会组合成可识别的特征。

模型的这种“口音”可能来自多个层面：

• tokenizer如何切分数字、颜色和单词；
• 预训练语料中某些概念出现的频率；
• 指令微调塑造的回答习惯；
• RLHF等偏好优化；
• 量化和蒸馏对最终概率分布的扰动；
• 解码器与服务端实现的差异。

因此，一个简单答案看起来信息量很少，但它背后的概率分布实际上汇集了模型漫长训练历史留下的痕迹。

二、研究是怎样做的？

作者设计了10类问题：

1. 随机选择1到100的数字；
2. 随机选择1到10的数字；
3. 最喜欢的数字；
4. 随机字母；
5. 随机单词；
6. 随机颜色；
7. 最喜欢的颜色；
8. 随机动物；
9. 随机城市；
10. 抛硬币。

每类问题分别使用英语、俄语、中文和阿拉伯语提出，于是得到40个“任务×语言”探测单元。

每个单元在温度1.0下通常重复30次；价格较高的前沿模型重复15次。作者还在温度0下重复3次，用来观察同一模型是否会稳定给出相同答案。

整个实验覆盖：

• 165个模型；
• 19个模型家族；
• 53个推理服务提供商；
• 326,047次API请求；
• 2,330万输入token和116万输出token；
• 总成本34.44美元，平均每个模型约0.21美元。

回答经过统一清洗，例如去除标点、统一大小写、映射中文和阿拉伯数字、规范颜色名称。总体有效回答率为97.6%。

作者使用Jensen-Shannon divergence（JSD）衡量两个回答分布的距离。你不必记住公式，只要记住：

• 距离越接近0，两个模型的回答习惯越相似；
• 距离越大，两个模型的行为差异越明显。

三、结果一：大模型所谓的“随机”，其实高度不随机

在6,572个有效探测单元中，答案分布的中位熵只有1.00 bit，最常见答案的占比中位数达到71%。

作为对照，如果1到100真正均匀随机，理论熵应为6.64 bits。

通俗地说，模型面对100个可选数字时，并没有像抽奖机一样均匀抽取。它往往反复集中在极少数“看起来比较随机”的数字上。

这可能也反映了人类文化偏好。比如42受到《银河系漫游指南》的影响，经常被视为一个具有特殊意味的数字；37、47和53等质数在人类直觉中也更像“随机数”。模型从人类文本中学习，自然会继承甚至放大这些偏见。

缺陷在这里反而变成了信号：如果每个模型的偏法不一样，偏差本身就可以帮助识别模型。

四、结果二：同一模型的指纹明显比不同模型接近

作者把同一模型的样本按奇偶次序拆成两半，相当于让模型接受两次独立但时间交错的测试。

结果是：

• 同一模型两半样本之间，单元级JSD中位数为0.075；
• 不同模型之间，单元级JSD中位数为0.489。

不同模型之间的典型距离约为同模型内部距离的6.5倍。

这说明模型身份信号确实存在，不只是30次采样造成的偶然波动。

不过部署环境也会影响指纹。论文比较了31个由多个供应商提供的模型：

• 同一部署内部的拆半距离中位数为0.140；
• 同一模型跨供应商距离中位数为0.227；
• 不同模型距离中位数为0.463。

可以概括为：

同部署噪声 < 跨供应商变化 < 不同模型差异。

也就是说，指纹通常能够跨供应商保留，但并非完全稳定。不同量化、模型快照、系统包装和解码实现都可能让同名模型表现得不一样。

五、那张165个模型的聚类图，到底说明了什么？

论文把165个模型按指纹距离画成一棵层次聚类树。它不是能力排行榜，而是一张“行为口音地图”。

图：165个模型的行为指纹聚类。越靠右合并表示分布越相似；颜色代表论文依据公开文档标注的模型家族。来源：Bruckner（2026），Fig. 2。

图中，同一家族的模型经常在局部互为邻居。例如GLM、Mistral和GPT的家族特征相对鲜明。用“最近邻”预测模型家族时，准确率达到59.5%，而按家族频率随机猜测的基线只有18.4%。

部分主要家族的表现是：

家族	精确率	召回率	通俗理解
GLM	1.00	0.83	口音最鲜明，认成GLM时几乎不会错
Mistral	0.87	0.81	家族内部较一致，也不容易误认
GPT	0.70	0.90	大多数GPT都能被找出来，但会吸引一些外部模型
Llama	0.88	0.58	原厂特征明显，但大量衍生模型已被深度改装
Qwen	0.50	0.73	家族庞大、分支复杂，许多第三方模型也带有Qwen式特征
Claude	0.54	0.58	有共同特征，但Opus、Sonnet、Haiku等成员差异较大
Gemini	0.43	0.55	家族信号存在，但与其他模型边界较模糊
DeepSeek	0.46	0.75	多数成员能找到同族邻居，但容易与周边模型生态交错

然而，如果把整棵树强行切成19个簇，与文档记载家族的调整兰德指数只有0.023，几乎谈不上形成19个整齐分离的岛屿。

这两个结果并不矛盾。它说明同一家族的模型常常互为局部近邻，但整个家族未必形成一个紧密、封闭的大集群。

原因是强烈的后训练可以覆盖基础模型的痕迹。例如论文发现，一个公开说明基于Llama 3.3的NVIDIA Nemotron模型，在行为上却比任何Llama检查点都更接近Qwen。

这提醒我们：聚类图看到的是“改装后的最终行为”，并不等同于基础权重的真实族谱。

各大模型家族的“族谱”该怎样通俗理解？

把这棵树想象成一次大型家族聚会。右边每一个模型是一个人，颜色是它名义上的姓氏；黑色树枝则根据它们回答简单问题时的“口音”安排亲疏关系。

两个人越靠近右侧就合并，说明口音越像；要到很左边才汇合，说明差异较大。名字上下挨着并不一定亲近，关键要看两根枝条在哪个横向位置真正连到一起。

GPT：最容易听出家族口音的一群

GPT系列在树上形成了比较明显的局部区域，GPT-4o的多个日期快照、GPT-4.1系列以及其他GPT版本经常互为近邻。

它的召回率达到90%，意味着绝大多数GPT都能通过最近邻找到自己的家族成员。通俗地说，GPT一家虽然有不同代际和型号，但多数成员仍保留着共同口音。

不过其精确率只有70%。这表示也有一些外部模型说话方式很像GPT，可能被吸进GPT邻域。家族口音明显，不代表这种口音只有GPT才会说。

Claude：是一家人，但Opus、Sonnet和Haiku个性差异明显

多个Claude版本会在局部聚集，尤其部分Opus与Sonnet型号彼此接近，但整个家族没有形成一块完全干净的红色区域。

Claude的精确率为54%、召回率为58%。这更像一个成员成长环境差异很大的家族：大家有某些共同语气，但不同规模、代际和后训练路线让个性变得很强。

论文中的直观例子是Claude Sonnet 5明显偏爱数字47。这种集中偏好是它的局部特征之一，却不能概括所有Claude型号。

Gemini：能看出亲缘，但家族边界比较淡

Gemini部分型号会互相靠近，但也与其他Google模型及外部模型交错。其精确率43%、召回率55%，说明家族信号存在，却没有形成特别鲜明的行为边界。

可以把它理解成口音比较淡的家族：Flash、Pro、多模态和不同代际型号的训练目标差别较大，仅靠随机数字、颜色和城市等问题不容易把它们全部圈在一起。

GLM：家族口音最鲜明

GLM在主要家族中表现最整齐：精确率100%、召回率83%。当最近邻方法把某个模型判成GLM时，实验中几乎没有误判；大多数GLM也能找到同家族伙伴。

通俗地说，这是“一开口就比较容易认出来自哪一家”的模型家族。共同的中文与多语言训练先验、tokenizer和后训练路线，可能让它们在简单答案选择上保留了较强的一致性。

这不表示GLM更聪明，只表示它在这套探测题里的家族辨识度更高。

Qwen：成员最多、分支最复杂，也有大量“远房亲戚”

Qwen有30个样本，是图中最大的家族。多个同代或同用途版本会形成紧密小群，但所有Qwen并没有聚成一个单独的大岛。

它的召回率为73%，说明多数Qwen附近确实有另一个Qwen；精确率只有50%，则表示不少其他品牌模型也落入Qwen式行为邻域。

这很像一个庞大、分支众多，而且培养了很多学生的家族。Qwen被广泛用于第三方模型的继续训练，一些没有挂Qwen名字的模型仍可能保留它的行为口音。

Qwen3-Max的例子尤其鲜明：面对“随机选择1到100”，30次全部回答42。这种极尖锐的偏好很容易形成指纹，但也说明模型所理解的“随机”与真正的均匀随机相距很远。

DeepSeek：内部有血统信号，但和周边生态共享不少特征

DeepSeek的召回率为75%、精确率为46%。多数DeepSeek能找到同族近邻，但许多周边模型也会表现出相似口音。

论文提供了一个正面案例：Cogito v2.1 671B公开说明基于DeepSeek V3训练，而它在树上的最近邻确实是多个DeepSeek检查点。这说明行为指纹有时能看穿品牌名称，识别公开但没有直接写进模型名的基础血统。

不过，相似也可能来自共同语料、tokenizer或后训练方式，所以不能把邻近关系直接等同于共享权重。

Llama：像被大量厂商深度改装的通用底盘

Llama的精确率高达88%，召回率却只有58%。这组数字非常有意思：如果一个模型被识别成Llama，往往确实属于Llama家族；但很多真正的Llama衍生模型已经不像原厂Llama了。

原因是Llama开放权重，被大量厂商拿去微调、蒸馏和重做偏好优化。可以把它想象成一款应用极广的汽车底盘：原厂车型容易互认，深度改装之后却可能完全看不出原来的样子。

NVIDIA Nemotron就是典型案例。它公开基于Llama 3.3，最终行为却比任何Llama检查点更靠近Qwen。族谱在这里揭示的不是“官方血缘证明”，而是后训练已经把原始口音改到了什么程度。

Mistral：内部风格稳定、误认相对较少

Mistral的精确率87%、召回率81%，仅次于GLM，是家族结构最清晰的一组。

多数Mistral模型彼此靠近，也不太容易把外部模型误认成自己人。说明它的tokenizer、基础训练和后训练传统可能具有较强延续性。

但Mistral、Mixtral和Ministral仍会形成不同小分支。这里的“同家族”更像共享一套语言习惯，不代表它们的规模、架构和能力完全相同。

Kimi、Grok、Command、Nova、Phi等：只能谨慎看局部关系

这些家族在图中也出现若干局部配对或小群，但样本较少，论文没有为每个家族给出同样稳定的分类统计。

两三个同色模型靠近，可以视为存在家族信号；但不足以断言整个家族都拥有稳定、统一的指纹。样本越少，偶然近邻越可能被视觉放大。

“Other”不是一个真实家族

图例中的other只是统计上的杂项桶，里面装着多个样本不足以单独成类、彼此又未必相关的厂商模型。

它的精确率只有20%、召回率只有6%，完全符合预期。就像人口统计里的“其他国籍”，并不意味着被归入其中的人拥有共同祖先。

族谱里最值得调查的跨品牌邻居

Writer的Palmyra X5被放进了Qwen邻域，而且它与Qwen3-235B-A22B-2507的距离只有0.141。这个数字几乎等于同一个模型拆成两半重复测试时的典型距离0.140，远低于不同模型的典型距离0.463。

通俗地说，两者在这40组问题上的口音相似到几乎像同一个人接受了两次测试。

这是很强的异常信号，却仍不是权重鉴定。共享基础模型、授权使用、蒸馏、路由错误，以及探测题覆盖不足，都可能造成这种结果。族谱能告诉我们“谁值得进一步调查”，不能替代调查本身。

因此，阅读整张族谱最重要的规则是：

它展示的是最终模型的行为亲缘，不是能力排名，也不是具有法律效力的血缘鉴定。

六、结果三：它能以多低的成本验证模型身份？

实际审计分为两步：

第一步，从可信的第一方部署采集目标模型的参考指纹；第二步，对待审计端点发送同类问题，再计算两组指纹的距离。

使用全部40个探测单元时，验证结果为：

• ROC AUC为0.971；
• 等错误率EER为7.3%。

EER可以理解为：把“真模型误判为假”和“假模型误判为真”两种错误调到相同比例时，两者都约为7.3%。它不等于在所有现实场景中都能达到92.7%的准确率，因为实际结果还取决于阈值和真假端点的比例。

不同查询预算下的结果如下：

探测单元	每单元15次时的请求数	EER
1	15	23.3%
4	60	13.2%
8	120	10.6%
16	240	9.5%
32	480	8.4%
40	600	7.3%

所以，“一个token就够”准确的理解应该是：每次请求只需要一个输出token，而不是总共只需一个token。

大约120次请求已经可以形成有用的初步警报，但错误率仍约一成。增加到600次，EER降到7.3%，依然达不到密码学身份认证的可靠程度。

它更像烟雾报警器，而不是DNA鉴定。

七、论文发现了哪些值得关注的异常？

最受关注的案例是Writer的Palmyra X5。它与Qwen3-235B-A22B-2507的指纹距离只有0.141，而同一模型拆半测试的距离中位数是0.140，不同模型的距离中位数约为0.463。

换句话说，在这40组简单问题上，两者相似到几乎只相当于同一个模型重复测试时的噪声。

但这不能单独证明两者权重相同，更不能直接证明欺诈。可能的解释还包括：使用Qwen作为基础模型、授权部署、蒸馏、API路由错误，或者这套探测任务没有覆盖两者真正不同的部分。

论文还发现，34组“同名模型、不同供应商”的比较中，有10组差异大到进入了不同模型的典型范围。极端案例包括：

• Llama 3.2 3B Instruct在Cloudflare与Parasail之间的距离达到0.716；
• GPT-4在Azure与OpenAI第一方部署之间的距离达到0.392。

这些现象可能来自不同量化、不同版本、系统提示词、服务包装或实际路由差异。它们证明了一个现实问题：API上显示相同的模型名，并不保证用户买到的是行为等价的服务。

八、这项研究有哪些局限？

首先，它只证明了短期稳定性，没有证明几个月后指纹仍然不变。模型静默更新、量化变化和解码器升级都可能让参考指纹过期。

其次，验证必须依赖一个可信的参考部署。如果参照物本身不可靠，后续比较也失去意义。

第三，论文认为普通问题可以无限改写，因此供应商难以识别审计流量。但作者没有完成专门的“提示改写不变性”实验。所谓抗提示过滤，目前仍有一部分是合理推测。

第四，所有生态测量都来自OpenRouter。方法可能适用于其他平台，但论文中29%的跨供应商异常比例不能直接推广到整个行业。

第五，强制进行隐藏推理的模型被排除。如今越来越多推理模型会先思考再给答案，这种输出不再是论文所定义的“直接单token采样”。

最后，7.3%的最佳EER对日常异常筛查已经有意义，但对于付费结算、监管证明或法律证据仍然太高。真正高风险的模型身份验证，仍需结合硬件证明、签名、可信执行环境或其他独立检测手段。

九、这项研究真正重要的地方

论文最重要的贡献不是证明“问一句话就能认出所有模型”，而是发现了一条极便宜的审计通道。

过去，验证模型身份似乎必须依赖权重、log probabilities、长文本分类器或精心设计的攻击提示。现在我们知道，很多身份信息其实泄漏在最普通的行为里：模型选择哪个数字、喜欢哪种颜色、觉得哪个城市“随机”。

对API聚合商、企业采购方和模型审计者来说，这意味着可以建立持续监测：每天或每周发送少量低成本探测，观察端点是否突然偏离参考指纹。它未必能立刻告诉你发生了什么，却能提示模型版本、量化方式或路由可能已经改变。

真正值得记住的，不是“一个token就能认出AI”，而是：

大模型的身份会从最便宜的输出通道中泄漏。一次回答很普通，重复回答形成的分布却可能像口音一样，暴露它是谁、来自哪个家族，以及它是否在某一天悄悄变了。

结论

这项研究把大模型的一个老缺陷——不会真正随机——变成了一种新的审计工具。

它的证据足以支持低成本异常检测，也足以说明模型家族会留下局部行为痕迹；但它还不是不可伪造的身份证，更不能把“分布相似”直接写成“权重相同”或“供应商欺诈”。

最准确的定位是：这是一台便宜、灵敏但会误报的烟雾报警器。它不能替消防员完成调查，却能让我们更早闻到API黑箱里冒出的烟。

参考资料

1. Tomas Bruckner, One Token Is Enough: Fingerprinting and Verifying Large Language Models from Single-Token Output Distributions, arXiv:2607.10252, 2026.
2. 论文原文：https://arxiv.org/abs/2607.10252

---

作者：Dr.Jingle（X @drjingle）
内容更新时间：2026-07-22
证据边界：本文依据arXiv v1预印本整理；论文尚不等同于经过同行评审的定论。文中生态异常是统计偏离，不构成对任何供应商恶意或欺诈的指控。