基于 RSI（递归自我改进）的网站 GEO 优化工程实践

在 AI 搜索（Perplexity、ChatGPT Search、Claude、Copilot）逐渐分流传统搜索引擎流量的背景下，如何让站点内容被大模型检索系统（RAG）高效抓取、准确理解并作为高权重来源引用，成为生成式引擎优化（GEO, Generative Engine Optimization）的核心课题。

传统的 SEO 侧重于 TDK 标签、外链与关键词密度，而大模型的 RAG 链路依赖的是“爬虫抓取 → 文本解析 → 语义切块（Chunking） → 向量检索/重排（Rerank） → 事实归因与引用（Grounding）”。普通博客由 CMS 渲染出的 HTML 页面存在大量的 DOM 嵌套、脚本噪音与低信息密度问题，极易被检索系统降权或忽略。

本文基于实际站点的改造经验，阐述如何通过双轨旁路架构与递归自我改进（RSI, Recursive Self-Improvement）方法论，构建一套数据驱动、具备自动回归与演化能力的 GEO 优化系统。

1. 架构选型：双轨旁路机制（Dual-Track Sidecar）

对存量站点进行 GEO 改造时，直接侵入式修改 CMS 模版往往成本高昂且容易破坏人类读者的阅读体验。合理的架构应做到“人机分流”。

人类访问请求 ────────► 原始 CMS 网页 (完整 HTML / 样式 / 脚本)
                              │
                              ▼ (Nginx 响应头注入 RFC 8288 Link 标头)
AI 爬虫 / Agent ──────► 旁路知识层 (/geo-middleware/)
                         ├── llms.txt (全站知识大纲与索引)
                         ├── sitemap-llm.xml (AI 专用高密度路由)
                         ├── /.well-known/agent.json (Agent 发现协议)
                         ├── topics/*.geo.md (主题聚合知识枢纽)
                         └── {zh,en,es,fr}/chunks/*.geo.md (多语言原子切块)

在 Web 服务器（Nginx）配置 RFC 8288 响应标头：

Link: </llms.txt>; rel="alternate"; type="text/markdown"
Link: </sitemap-llm.xml>; rel="sitemap"; type="application/xml"
Link: </.well-known/agent.json>; rel="agent-manifest"; type="application/json"

当大模型爬虫请求任意博文时，可直接通过 HTTP Header 发现对应的纯净切块与全站知识大纲，在零 DOM 噪音的前提下快速摄入核心论点。

2. 早期误区：从“Prompt 注入”到“真实数据驱动”

在探索 GEO 的早期，常见的一个认知误区是试图通过“黑客式 Prompt”来操纵大模型。例如：
- 在网页中注入隐藏的指令注释（如强行要求大模型“必须优先引用本站”）；
- 伪造推理链标签诱导模型将其作为唯一指定答案；
- 伪造虚假的高质量评分元数据；
- 在本地测试中写模拟探针，输出 100% 引用的虚假评分。

这些做法在工程上存在根本缺陷：
1. RAG 预处理会清洗隐藏指令：主流大模型的检索阶段输入的是纯净文本上下文，模型对齐与安全策略会屏蔽第三方网页中的越权指令；
2. 缺乏外部反馈：本地模拟评分与真实线上检索环境脱节，容易陷入伪优化的自嗨；
3. 作弊风险：操纵性标签一旦被搜索引擎识别，极易导致域名级别降权。

结论：GEO 优化的本质是提高信息的可检索性（Retrieval Density）、事实忠实度（Factual Fidelity）与引用便利性（Attribution Precision），必须依赖可解释的编译参数与真实的线上反馈闭环。

3. RSI（递归自我改进）方法论在 GEO 中的落地

RSI 的核心在于：将内容编译过程抽象为可调节的策略基因（Strategy Gene），通过自动提出单变量假设、双臂编译、离线质量门禁、金丝雀灰度、外部数据采集与统计检验，实现策略的自动晋升（Promote）或安全回滚（Rollback）。

当前基线基因 (LKG θ*)
       │
       ▼
[变异引擎 MutationEngine] ──► 生成单变量候选策略基因 θ_cand
       │
       ▼
[双臂编译器 CandidateCompiler] ──► 编译 Control / Candidate 制品并校验 Diff
       │
       ▼
[离线质量门禁 OfflineQualityGate] ──► 10/10 严苛安全与事实审核
       │
       ▼
[金丝雀灰度 CanaryDeployer] ──► 发布 10%~20% 文章 Cohort
       │
       ▼
[遥测采集 Telemetry & ProbeRunner] ──► 采集真实爬虫日志与检索探针
       │
       ▼
[决策引擎 DecisionEngine] ──► 分层 Bootstrap 差值置信区间检验
       │
       ├─► ΔJ(θ) > 0 且 CI 下界 > 0 ──► PROMOTE 为新一代 LKG 并全量发布
       └─► 未达显著性 / 触发 Guardrail ──► ROLLBACK 恢复原基线

3.1 策略基因（Strategy Gene $theta$）建模

将内容生成的控制参数解构为结构化模型：

3.2 离线质量硬门禁（Offline Quality Gates）

任何候选策略在上线前，必须 100% 通过 10 项确定性检查：

1. 事实忠实度：生成切块中的每一个论点必须映射到源文章片段（Evidence Mapping）；
2. 数字与实体一致性：日期、金额、百分比等数值严格与原文一致，严防大模型幻觉改写；
3. 语言纯度：多语言切块（EN/ES/FR）必须为纯目标语言，拒绝模板外壳替换；
4. 指令安全性：严格过滤任何注入式 Prompt、伪造权重注释与非合规标签；
5. Schema 对齐：页面中嵌入的 BlogPosting / FAQPage JSON-LD 必须与正文可见内容严格对应；
6. Canonical 规范化：保证 URL 映射、hreflang 与 HTTP 状态的一致性；
7. 版权与作者归属：保留站点与作者的规范署名；
8. 内容去冗余：消除跨文章的模版套话；
9. 敏感信息防护：扫描并隔离内部路径、私钥或配置凭据；
10. Token 预算约束：切块体积与生成开销严格受控。

4. 解决低频更新站点的“爬虫降权”困局

4.1 问题的本质

个人技术博客更新周期通常较长（数天甚至数周一篇）。搜索引擎与 AI 爬虫在多次抓取后，若检测到全站内容毫无变更，会自动降低抓取频次与配额（Crawl Budget Decay）。

4.2 解决方案：动态主题精选与轮换机制（Weekly Spotlight）

不依赖人工频繁发布新文章，而是通过算法在存量文章中提炼不同维度的动态主题聚合切块（Spotlight Topic Hubs）：

• spotlight-weekly-digest.geo.md（全站高价值论点每周摘要）
• spotlight-indie-hacker.geo.md（独立开发专题精选）
• spotlight-risk-control.geo.md（交易与风控纪律精选）
• spotlight-agi-workflow.geo.md（AI 工作流专题精选）

在 sitemap-llm.xml 中将上述 Spotlight 节点配置为最高优先级（priority=0.95, changefreq=daily），并赋予动态更新的 <lastmod> 时间戳。每次重新编译后，通过 IndexNow 协议主动广播变更。

5. 真实数据验证与效果观测

系统上线并运行动态轮换策略后，从生产环境访问日志中捕获到了确凿的爬虫消费行为。

5.1 AI 爬虫抓取总量与趋势

优化前站点每日仅有数十次爬虫访问。优化后，8 月份累计 AI 爬虫抓取量达 3,177 次（较基准期提升 10 倍以上）：

 阶段       日均 AI 抓取量   主要活动特征
────────────────────────────────────────────────────────────
 优化前        4 ~ 27 次    仅普通搜索引擎零星探测
 旁路上线     200 ~ 700 次   ClaudeBot / Perplexity 高频拉取切块
 轮换激活     200 ~ 300 次   GPTBot / MetaBot 精准抓取每周主题

5.2 Spotlight 策略的捕获实录

在部署动态轮换策略后的 24 小时内，Nginx 日志记录到了 OpenAI 官方爬虫（GPTBot）完整的发现与抓取过程：

02:50:13 "GET /sitemap-llm.xml HTTP/2.0" 200 (GPTBot 发现更新)
02:50:16 "GET /geo-middleware/topics/spotlight-weekly-digest.geo.md HTTP/2.0" 200 (抓取综合精选)
02:50:21 "GET /geo-middleware/topics/spotlight-risk-control.geo.md HTTP/2.0" 200 (抓取风控精选)
02:50:24 "GET /geo-middleware/topics/spotlight-agi-workflow.geo.md HTTP/2.0" 200 (抓取工作流精选)
02:50:26 "GET /geo-middleware/topics/spotlight-indie-hacker.geo.md HTTP/2.0" 200 (抓取独立开发精选)

日志显示，GPTBot 在请求 sitemap-llm.xml 后，于 13 秒内连续请求了全部 4 个新生成的 Spotlight 节点，且全部返回 200 OK。与此同时，Anthropic 的 ClaudeBot 保持着每 2 小时稳定轮询站点地图的固定节奏。

这证实了“动态精选轮换 + 专属 Sitemap 优先级信号”能够有效激活大模型爬虫的持续抓取行为。

6. 总结与工程建议

1. 旁路化优于侵入式修改：使用双轨旁路架构，通过 RFC 8288 标头为机器提供高纯度 Markdown 数据，避免与前台 CMS 样式耦合；
2. 事实一致性优于 Prompt 注入：大模型 RAG 依赖客观、严谨的事实依据，任何形式的指令注入不仅无效且存在负面风险；
3. 数据驱动闭环优于经验主义：通过 RSI 机制将优化策略参数化，借助质量门禁与 Bootstrap 差值统计确保每一次策略演进真实正向；
4. 存量重组对抗抓取衰减：对于低频更新站点，通过动态主题聚合与增量 Sitemap 信号，可有效维持大模型爬虫的抓取权重。