llms.txt 现状 2026
下载完整数据集（CSV，500 行，含每域名的状态码、判定结果与 10 项检查明细）
19.7%真实网站中部署了 llms.txt（57/289）
49.1%已部署的文件拿到 10/10 满分（28/57）
22.8%最常见扣分：链接没写描述
50%采用率最高的行业：网络安全（4/8）
核心发现
- 大约五分之一的头部网站已经部署。Tranco 前 500 的域名里有 289 个是真实网站（其余 211 个是 CDN、DNS、API、统计等基础设施端点）。其中 57 个在根目录提供了有效的
/llms.txt，占 19.7%；按全部 500 个域名计为 11.4%。另有 46 个网站无法判定（35 个返回 401/403/429 拦截，8 个无响应，3 个返回 202/520 等异常状态），因此 19.7% 是保守下限。 - 超级平台基本缺席。Google、Microsoft、Apple、Amazon、YouTube、Wikipedia、X 的根域名都返回 404；OpenAI 和 ChatGPT 返回 403，无法判定。率先采用的是 Cloudflare、GitHub、Stripe、Shopify、Slack、Adobe、NVIDIA、Intel、Dell 这类面向开发者和企业的公司。
- 质量普遍不错，但近半有硬伤。28 个文件（49.1%）满分，40 个（70.2%）得分 ≥ 9。最常见的扣分项依次是：链接没写描述（13 个）、链接不是标准 Markdown 列表（11 个）、用了相对路径（11 个）、H1 后缺 > 摘要（10 个）。
- “docs 类站点采用率最高”只对了一半。开发者 / 云 / 托管类采用率是 32%，排第三；网络安全（50%）和企业 SaaS（47%）更高。消费互联网（3%）、媒体（6%）、政府和学术（0%）几乎没有动作。
- 75 个域名的 /llms.txt 是“软 404”。它们返回 HTTP 200，内容却是 HTML 首页或错误页（其中 53 个是真实网站）。只看状态码，500 个域名里会数出 132 个“有 llms.txt”，是实际数字的 2.3 倍。
1. 采用率
| 口径 | 分母 | 有 llms.txt | 占比 |
|---|---|---|---|
| 全部 Tranco 前 500 域名 | 500 | 57 | 11.4% |
| 排除基础设施端点后的真实网站 | 289 | 57 | 19.7% |
| 真实网站中可明确判定的（排除拦截、无响应、异常状态） | 243 | 57 | 23.5% |
按排名分段（真实网站）：
| Tranco 排名 | 网站数 | 有 llms.txt | 采用率 | |
|---|---|---|---|---|
| 1–100 | 55 | 9 | 16% | |
| 101–200 | 52 | 14 | 27% | |
| 201–300 | 59 | 15 | 25% | |
| 301–400 | 61 | 12 | 20% | |
| 401–500 | 62 | 7 | 11% |
最头部的 100 名采用率反而偏低：这一段集中了搜索、社交巨头，它们普遍没有部署。
2. 行业对比
| 行业 | 网站数 | 有 llms.txt | 采用率 | |
|---|---|---|---|---|
| 网络安全 | 8 | 4 | 50% | |
| 企业软件 / SaaS | 36 | 17 | 47% | |
| 开发者 / 云 / 托管 | 68 | 22 | 32% | |
| 硬件 / 消费电子 | 18 | 5 | 28% | |
| 电商 / 支付 | 14 | 3 | 21% | |
| 广告 / 营销技术 | 17 | 2 | 12% | |
| 新闻 / 媒体 / 游戏 | 31 | 2 | 6% | |
| 搜索 / 社交 / 消费互联网 | 68 | 2 | 3% | |
| 政府 / 教育 / 学术 / 公益 | 22 | 0 | 0% | |
| 电信运营商 | 7 | 0 | 0% |
行业为人工标注，标准见文末方法说明。样本量小的行业（网络安全仅 8 个）波动大，请谨慎引用。
3. 质量：10 项检查
得分分布（57 个文件）：10 分 28 个，9 分 12 个，8 分 7 个，7 分 4 个，6 分 2 个，5 分 4 个。
| # | 检查项 | 通过 | 未通过 | 未通过示例 |
|---|---|---|---|---|
| C1 | 返回 200 且是纯文本（非 HTML 软 404） | 57 | 0（0%） | — |
| C2 | Content-Type 为 text/plain 或 text/markdown | 57 | 0（0%） | — |
| C3 | UTF-8 编码（无 BOM） | 50 | 7（12%） | digicert.com、webex.com、paypal.com、rubiconproject.com |
| C4 | 第一行有效内容是 H1 标题 | 51 | 6（11%） | workers.dev、b-cdn.net、hosting24.com、pages.dev |
| C5 | 全文只有一个 H1 | 51 | 6（11%） | opera.com、sentry.io、kaspersky.com、gravatar.com |
| C6 | H1 后紧跟 > 引用块摘要 | 47 | 10（18%） | workers.dev、b-cdn.net、gravatar.com、paypal.com |
| C7 | 用 H2 分节组织链接 | 55 | 2（4%） | salesforce.com、name.com |
| C8 | 链接以 Markdown 列表 - [名称](URL) 书写 | 46 | 11（19%） | workers.dev、wordpress.com、b-cdn.net、gravatar.com |
| C9 | 链接全部为绝对 URL | 46 | 11（19%） | workers.dev、sentry.io、b-cdn.net、gravatar.com |
| C10 | 多数链接带 : 描述 | 44 | 13（23%） | b-cdn.net、gravatar.com、base.org、hosting24.com |
最常见的扣分项
- 链接没写描述（13 个）。只有
- [Pricing](https://…)，缺少: 一句话说明。模型无法判断该不该点开这个链接。 - 链接不是 Markdown 列表（11 个）。链接写进段落、表格，或者直接贴裸 URL。
- 相对路径（11 个）。例如
[Docs](/docs)。文件脱离原站点后，这类链接就失效了。 - 开头不规范（10 个缺摘要，6 个开头不是 H1）。常见做法是在开头放 YAML front matter 或说明行，这类写法多由 CDN / 托管平台自动生成。
- 编码（7 个）。声明成 ISO-8859-1、x-macroman，或者文件带 UTF-8 BOM。
Check your llms.txt →Same 10 checks: paste a URL or your file, get a score in seconds.
文件规模：中位数 13 KB、65 个链接；最大的超过 1.9 MB。
4. 全部 57 个已部署站点
| 排名 | 域名 | 行业 | 得分 | 扣分项 |
|---|---|---|---|---|
| 2 | cloudflare.com | 开发者 / 云 / 托管 | 10/10 | — |
| 29 | github.com | 开发者 / 云 / 托管 | 10/10 | — |
| 36 | fastly.net | 开发者 / 云 / 托管 | 10/10 | — |
| 49 | wordpress.org | 开发者 / 云 / 托管 | 10/10 | — |
| 50 | digicert.com | 开发者 / 云 / 托管 | 9/10 | 非 UTF-8 / 带 BOM |
| 64 | adobe.com | 企业软件 / SaaS | 10/10 | — |
| 80 | opera.com | 搜索 / 社交 / 消费互联网 | 9/10 | 多个 H1 |
| 82 | workers.dev | 开发者 / 云 / 托管 | 6/10 | 开头不是 H1、缺 > 摘要、链接不是 Markdown 列表、用了相对路径 |
| 96 | sentry.io | 开发者 / 云 / 托管 | 8/10 | 多个 H1、用了相对路径 |
| 102 | wordpress.com | 开发者 / 云 / 托管 | 9/10 | 链接不是 Markdown 列表 |
| 103 | b-cdn.net | 开发者 / 云 / 托管 | 5/10 | 开头不是 H1、缺 > 摘要、链接不是 Markdown 列表、用了相对路径、链接没写描述 |
| 109 | samsung.com | 硬件 / 消费电子 | 10/10 | — |
| 130 | dropbox.com | 企业软件 / SaaS | 10/10 | — |
| 134 | intuit.com | 企业软件 / SaaS | 10/10 | — |
| 144 | kaspersky.com | 网络安全 | 9/10 | 多个 H1 |
| 151 | unity3d.com | 开发者 / 云 / 托管 | 10/10 | — |
| 153 | gravatar.com | 开发者 / 云 / 托管 | 5/10 | 多个 H1、缺 > 摘要、链接不是 Markdown 列表、用了相对路径、链接没写描述 |
| 162 | webex.com | 企业软件 / SaaS | 9/10 | 非 UTF-8 / 带 BOM |
| 167 | paypal.com | 电商 / 支付 | 8/10 | 非 UTF-8 / 带 BOM、缺 > 摘要 |
| 168 | shopify.com | 电商 / 支付 | 10/10 | — |
| 182 | base.org | 开发者 / 云 / 托管 | 9/10 | 链接没写描述 |
| 183 | macromedia.com | 企业软件 / SaaS | 10/10 | — |
| 185 | hosting24.com | 开发者 / 云 / 托管 | 5/10 | 开头不是 H1、缺 > 摘要、链接不是 Markdown 列表、用了相对路径、链接没写描述 |
| 206 | ubuntu.com | 开发者 / 云 / 托管 | 10/10 | — |
| 216 | one.one | 开发者 / 云 / 托管 | 10/10 | — |
| 225 | pages.dev | 开发者 / 云 / 托管 | 7/10 | 开头不是 H1、缺 > 摘要、用了相对路径 |
| 232 | cisco.com | 企业软件 / SaaS | 8/10 | 开头不是 H1、缺 > 摘要 |
| 239 | stripe.com | 开发者 / 云 / 托管 | 10/10 | — |
| 240 | rubiconproject.com | 广告 / 营销技术 | 8/10 | 非 UTF-8 / 带 BOM、链接没写描述 |
| 248 | sourceforge.net | 开发者 / 云 / 托管 | 10/10 | — |
| 255 | taboola.com | 广告 / 营销技术 | 9/10 | 链接没写描述 |
| 260 | hubspot.com | 企业软件 / SaaS | 9/10 | 非 UTF-8 / 带 BOM |
| 261 | roku.com | 硬件 / 消费电子 | 10/10 | — |
| 267 | linktr.ee | 企业软件 / SaaS | 10/10 | — |
| 275 | forter.com | 企业软件 / SaaS | 7/10 | 链接不是 Markdown 列表、用了相对路径、链接没写描述 |
| 276 | hcaptcha.com | 网络安全 | 10/10 | — |
| 295 | salesforce.com | 企业软件 / SaaS | 6/10 | 开头不是 H1、多个 H1、缺 > 摘要、没有 H2 分节 |
| 296 | amplitude.com | 企业软件 / SaaS | 7/10 | 缺 > 摘要、链接不是 Markdown 列表、链接没写描述 |
| 315 | weather.com | 搜索 / 社交 / 消费互联网 | 9/10 | 用了相对路径 |
| 332 | etsy.com | 电商 / 支付 | 8/10 | 链接不是 Markdown 列表、链接没写描述 |
| 339 | dell.com | 硬件 / 消费电子 | 10/10 | — |
| 341 | name.com | 开发者 / 云 / 托管 | 5/10 | 缺 > 摘要、没有 H2 分节、链接不是 Markdown 列表、用了相对路径、链接没写描述 |
| 347 | bilibili.com | 新闻 / 媒体 / 游戏 | 10/10 | — |
| 353 | slack.com | 企业软件 / SaaS | 10/10 | — |
| 360 | checkpoint.com | 网络安全 | 10/10 | — |
| 367 | selectel.ru | 开发者 / 云 / 托管 | 8/10 | 非 UTF-8 / 带 BOM、用了相对路径 |
| 375 | zendesk.com | 企业软件 / SaaS | 9/10 | 多个 H1 |
| 378 | nvidia.com | 硬件 / 消费电子 | 10/10 | — |
| 380 | datadoghq.com | 企业软件 / SaaS | 10/10 | — |
| 388 | plesk.com | 开发者 / 云 / 托管 | 8/10 | 非 UTF-8 / 带 BOM、链接没写描述 |
| 401 | calendly.com | 企业软件 / SaaS | 10/10 | — |
| 435 | dailymotion.com | 新闻 / 媒体 / 游戏 | 7/10 | 链接不是 Markdown 列表、用了相对路径、链接没写描述 |
| 444 | intel.com | 硬件 / 消费电子 | 10/10 | — |
| 451 | paloaltonetworks.com | 网络安全 | 10/10 | — |
| 460 | adobe.net | 企业软件 / SaaS | 10/10 | — |
| 476 | wp.com | 开发者 / 云 / 托管 | 9/10 | 链接不是 Markdown 列表 |
| 478 | okta.com | 企业软件 / SaaS | 9/10 | 链接没写描述 |
方法说明
- 样本：Tranco 前 500 域名（列表 ID 26Y29，2026-10-07 获取）。Tranco 综合多个流量榜单，是学术研究常用的排名来源。
- 抓取：2026-10-07，每个域名先请求
https://域名/llms.txt。不是 200 时，再请求https://www.域名/llms.txt；仍无法连接时，再请求http://。每站 1–3 次请求，跟随重定向，超时 25 秒，User-Agent 公开标明调研用途和联系方式。 - 有效判定：HTTP 200，内容不是 HTML，且含 Markdown 结构，才算“有 llms.txt”。返回 200 的 HTML 计为软 404。
- 10 项检查依据 llmstxt.org 规范：①返回 200 的纯文本；②Content-Type 为 text/plain 或 text/markdown；③UTF-8 且无 BOM；④首行为 H1；⑤只有一个 H1；⑥H1 后紧跟 > 摘要；⑦有 H2 分节；⑧至少 80% 的链接行为
- [名称](URL)列表项；⑨全部链接为绝对 URL；⑩至少半数链接列表项带描述。 - 基础设施端点（如 gstatic.com、akamaiedge.net、doubleclick.net）没有面向用户的网站，不计入“真实网站”分母。行业由人工按主营业务标注，共 10 类。
- 局限：只检查根目录。部分公司把文件放在 docs 子域（如 docs.xxx.com/llms.txt），不在统计范围内。401/403/429 拦截、无响应和异常状态的站点按“未判定”处理（CSV 的 outcome 列为 blocked / no_response / other_status），因此采用率是下限。同一文件的多个别名域名分别计数（adobe.com / macromedia.com / adobe.net、wordpress.com / wp.com）。
- 引用：“llms.txt 现状 2026”，抓取日期 2026-10-07。完整数据集（CSV）随本报告公开。