先说结论:没有哪一种方法能单独证明你用的是哪个模型。把同样的测试在官方 API 和中转站上各跑一遍,设置保持一致,并且至少用一种难造假的信号,比如 token 计数或统计指纹。换一天再测一次,因为中转站的路由会变。
免费测一次模型指纹中转站为什么会掉包
中转站按官方价买 token,再以更低的价格卖给你,差价总要从别处补回来。常见做法有三种:换成同家族的小模型,换成量化过的开源模型,或者把一部分请求(往往是高峰时段)转给更便宜的模型,也就是常说的「混模」(各种手法的表现和查法见中转站常见的掉包手法)。不过对不上也不一定是故意的,路由配置错误、故障时的自动降级都会出现同样的现象。所以某项检测没通过,先当成要问中转站的问题,而不是定论。
6 种方法,从弱到强
1. 直接问「你是谁」
成本最低,也最没用。一句系统提示词就能让任何模型自称 Claude 或 GPT;就算没有这句提示,模型也经常报错名字,因为训练数据里到处是关于别的模型的文字。答错只是一个弱信号,答对什么也证明不了。
2. 看返回字段
返回里的 model 字段、响应 id 的格式和响应头,应该和官方 API 一致。但这些全由中转站控制,对不上是危险信号,对得上不能当证据。
3. 比价格和速度
价格远低于官方、又没有活动或批量折扣可以解释,这是大多数人开始怀疑的原因。首字延迟和每秒输出 token 数跟官方差很多,也是同一个方向的信号。两者都只是旁证,硬件、机房地区和负载都会影响它们。
4. 对 token 计数
把同一段提示词分别发给官方 API 和中转站,比较 usage 里的输入 token 数。不同家族的模型用不同的分词器,同一段文字算出来的 token 数通常不一样,中文、代码和表情符号差得尤其明显。这能查出跨家族的掉包,但查不出同家族、共用分词器的降级;中转站也可以用官方分词器重新算一遍数字。
5. 测能力
难的推理题、长上下文找信息、图片输入、严格的工具调用格式,都能把顶级模型和小得多的模型区分开。但结果波动大,而且中转站如果认得出常见的测试题,可以只把这些题转给真模型。
6. 测统计指纹
让模型挑几百个随机数。没有哪个模型能挑得真正均匀,而且每个模型偏的方式都固定、可重复。模型指纹在线检测把三条这样的回复算成指纹,在 68 个参考模型里排出最接近的几个。提示词每次随机生成、多种语言混排,中转站很难认出来再单独转发;想伪造输出,就得真的跑那个模型,或者精确模仿它的偏差。
它也有局限。排名只在参考库内比较,库外的模型也会被配上一个最接近的。相近版本很像:我们用 5 个 DeepSeek 模型做了 24 组库外测试,准确型号排第一的有 15 组,24 组全部进了前三。温度、系统提示词和对输出的后处理都会让结果偏移甚至失效。把它当成有力证据,和其他方法一起用,不要单独下结论。
6 种方法一览
| 方法 | 能查出什么 | 中转站好造假吗 | 成本 |
|---|---|---|---|
| 问「你是谁」 | 几乎查不出 | 很容易,一句系统提示词 | 免费 |
| 看返回字段 | 粗心的配置 | 很容易 | 免费 |
| 比价格和速度 | 只能引起怀疑 | n/a | 免费 |
| 对 token 计数 | 跨家族掉包 | 要费点功夫 | 几分钱 |
| 测能力 | 大幅降级 | 部分可以,转发常见测试题 | 几分钱 |
| 统计指纹 | 68 个模型间的多数掉包 | 很难 | 三条提示词 |
一套靠得住的检测流程
- 挑一个中转站声称提供的模型,在官方买一点额度作为对照。
- 两边设置保持一致:默认温度、不加系统提示词、关闭工具。
- 把三条指纹提示词发给官方 API,每条新开一个对话,再把回复贴进模型指纹检测,记下排第一的模型和置信度。
- 在中转站上重复一遍。再把同一段较长的提示词发给两边,比较输入 token 数。
- 换个时段、换一天再测中转站。混模的中转站往往只有部分轮次对不上。
- 结果对不上就先问中转站要解释;解释清楚之前,敏感数据和生产业务别放在上面。
常见问题
中转站能伪造统计指纹吗?
不容易。提示词每次都变,中转站没法准备现成答案;要产出偏差正确的数字,就得真的跑那个模型,或者仔细模仿它的分布。对输出做后处理会破坏识别,但表现出来的是低置信度或前后不一致,而不是一个干净的假结果。
网页版聊天应用也能测吗?
能,只要你能贴提示词、看到回复。先关掉代码执行、联网搜索这类工具:模型一旦调用 Python,生成的就是真正均匀的随机数,指纹会消失。
我买的模型不在参考库里怎么办?
检测页仍会给出一个最接近的模型,这可能误导你。这时自己去测一遍官方 API,直接对比两边的画像和排名,别只看模型名。
对不上就说明被骗了吗?
不能这么说,它只是证据。路由错误、故障时的降级、厂商静默更新模型,都可能造成对不上。如果连续几天、多种方法都对不上,就有充分理由换掉这家中转站。
参考资料
- Pasquini, Kornaropoulos and Ateniese, LLMmap: Fingerprinting for Large Language Models (2024):通过少量精心挑选的问题,从回答中识别模型。
- Ikaleio, lm-detector (MIT): the detector and reference bank behind the Fingerprint Lab。
Agents
给 AI 助手的机器可读摘要: