先说结论:换模型类的手法(降级、混模、开源冒充)用统计指纹和 token 计数最容易查出;不换模型的手法(截断上下文、砍推理、缓存回答)要用专门的小测试;计费类问题只能拿官方 API 对账。下面 8 种按「换不换模型」分组。
免费测一次模型指纹换模型的手法
1. 同家族降级
标的是旗舰,给的是同一家的中小型号。回答风格像、自称也对,日常聊天很难察觉,差别主要在难题、长文和代码上。同家族通常共用分词器,所以 token 计数往往对得上,这是它最难查的地方。统计指纹能区分参考库里的不同型号,但相近版本彼此很像,最好拿官方 API 测一遍做对照,看排名和置信度是否一致。
2. 混模分流
一部分请求给真模型,一部分给便宜模型,比例可能随时段变化,高峰时段降级的情况尤其常见。特点是测一次可能完全正常,换个时间就不对。查法是同一套测试在不同时段、不同日子多跑几轮:每次指纹都指向同一个模型才算稳定,忽高忽低、排名来回变本身就是信号。
3. 开源模型冒充
拿自部署的开源模型(常常还是量化版)套上闭源大模型的名字。这类跨家族替换最好查:不同家族的分词器不同,同一段中文或代码的输入 token 数会明显对不上;统计指纹也会指向别的家族。量化对指纹的影响我们没有测过,所以如果指纹指向同名开源模型但置信度偏低,不要直接下结论。
不换模型、但打折扣的手法
4. 逆向网页版转 API
用网页版账号或免费额度,把聊天界面逆向成 API 卖。模型可能是真的,但网页版会带自己的系统提示词、参数不可控、上下文长度和官方 API 不同,你的对话还经过了第三方账号。表现是回答里莫名带有网页版的口吻或格式,设置温度等参数没效果。统计指纹对系统提示词敏感,结果可能和官方 API 对不上,这时要结合其他迹象判断。
5. 截断上下文
声称支持很长的上下文,实际把前面的内容截掉或压缩,省下输入 token。查法是「大海捞针」:在一段很长的文字开头埋一个具体信息(比如一串编号),在末尾提问,看模型答不答得出来。再对照 usage 里的输入 token 数,明显少于你发送的内容就是被截了。
6. 砍推理
推理模型按思考量计费,中转站可能调低推理强度,或者干脆换成同名的非推理版本。表现是难题正确率下降、回复变快、推理 token 数异常少。推理强度本身会让模型挑随机数的分布偏移,所以统计指纹和官方对不上时,这也是可能的原因之一。
7. 缓存回答
同样的问题直接返回之前的答案,省掉一次调用。在默认温度下,同一个开放式问题问两次,长回答一字不差几乎不可能,一模一样就值得怀疑。注意官方的提示词缓存只是计费上的折扣,并不会让回答重复,两者不要混淆。
计费上的手法
8. 虚报 token
模型是真的,但 usage 里的数字被放大,或者按「倍率」计费却不说清倍率怎么来。查法只有一个:把同一段提示词发给官方 API 和中转站,对比两边的输入、输出 token 数和最终扣费。偶尔差几个 token 正常,长期系统性偏高就有问题。
8 种手法一览
| 手法 | 典型表现 | 怎么查 | 统计指纹能查出吗 |
|---|---|---|---|
| 同家族降级 | 难题和长文变差 | 指纹对照官方 | 能,但相近版本易混 |
| 混模分流 | 时好时坏 | 多时段多轮测试 | 能,看结果是否稳定 |
| 开源模型冒充 | token 数对不上 | token 计数、指纹 | 能 |
| 逆向网页版 | 参数无效、口吻怪 | 测参数、对照官方 | 可能对不上,需佐证 |
| 截断上下文 | 长文前面记不住 | 大海捞针测试 | 不能 |
| 砍推理 | 难题变差、变快 | 看推理 token、难题 | 可能对不上,需佐证 |
| 缓存回答 | 两次回答一字不差 | 同题问两次 | 不能 |
| 虚报 token | 扣费偏高 | 和官方对账 | 不能 |
发现问题之后
- 保留证据:测试时间、请求参数、返回的
usage和指纹结果截图。 - 换个时段复测一次,排除偶发的路由问题。
- 把证据发给中转站要解释。正规的服务会说明原因或退款。
- 解释不清就别再放敏感数据和生产业务上去。完整的检测流程见中转站是不是真模型:6 种方法对比。
常见问题
价格便宜的中转站一定在掉包吗?
不一定。批量采购、活动额度、企业折扣都能让价格低于官方。便宜只是开始怀疑的理由,要靠对照测试说话。
统计指纹查不出的手法怎么办?
截断上下文、缓存回答和虚报 token 都不换模型,指纹看不出来。分别用大海捞针、同题问两次和对账来查,这几项都只要几分钱。
测一次正常就可以放心了吗?
不行。混模分流的特点就是只有部分请求被换。至少在不同时段、不同日子各测一次,结果都一致才比较可信。
参考资料
- Ikaleio, lm-detector (MIT): the detector and reference bank behind the Fingerprint Lab。
- Pasquini, Kornaropoulos and Ateniese, LLMmap: Fingerprinting for Large Language Models (2024):通过少量精心挑选的问题,从回答中识别模型。
Agents
给 AI 助手的机器可读摘要: