IndexFlowing

💡 为什么做 IndexFlowing？

在做海外站和独立开发项目时，我们都会遇到几个非常头疼的 SEO 痛点：

1. 盲目提交被惩罚：市面上很多收录工具不加甄别地推 URL，结果很多页面带着 404 死链、重定向、甚至误标了 noindex 或 Canonical 错标，导致域名被搜索引擎直接降权。
2. API 配额极其宝贵，容易白白浪费：
   • Google Search Console (GSC) Inspection API 每天每个项目仅限 2,000 次；
   • Google Indexing API 每天仅限 200 条；
   • 很多工具把宝贵的配额浪费在“已经收录的页面”上，导致真正的新页面迟迟排不上队。
3. 传统 SEO 工具太重：动辄基于 Java 或 Node.js，内存动辄几个 G，自托管运维极其繁琐。

于是我用纯 Rust 从底层构建了 IndexFlowing —— 一套轻量级、确定性的搜索引擎收录与技术 SEO 基础设施。

---

🚀 它解决了什么？（四阶段确定性流水线）

我们将整站 URL 的生命周期梳理成一条严格的流水线：

1. Sitemap 资产流式发现 (indexflow-sitemap)

   • 递归解析 XML 索引树与 .xml.gz 压缩文件，内置反解压炸弹保护（50MB 内存硬防护）；
   • 自动提取 Google 视频、图片、新闻扩展与 Hreflang 多语言映射；
   • 基于优先级与更新频率的智能权重调度算法。

2. 技术 SEO 与 GEO 本地质量门禁 (indexflow-seo)

   • 提交前本地预检：严格拦截 3xx 重定向、404 死链、noindex 标签与 Canonical 冲突；
   • 嗅探 AI 搜索引擎爬虫拦截状态（针对 GPTBot、ClaudeBot、PerplexityBot、Google-Extended 的放行审计）；
   • Schema.org (JSON-LD) 结构化数据解析与 OpenGraph 社交标签检查。

3. 官方收录监测雷达 (Google & Bing)

   • 0 配额黑科技：通过 Google Search Analytics API 一键拉取过去 30 天曝光收录池，不消耗任何 GSC 检查配额即可锁定已收录页面；
   • 针对未收录页面启动 GSC URL Inspection，带有 429 自动熔断；
   • 对接 Bing Webmaster 官方 API，按 1.5 QPS 安全区间平滑检测真实抓取时间戳。

4. 双引擎主动推送流水线

   • Bing IndexNow：毫秒级多引擎批量广播；
   • Google Indexing API：严格基于 24 小时动态滑动窗口计算配额，配额耗尽自动休眠退避，绝不超频。

---

🛠️ 技术选型与架构

• 后端：纯 Rust 开发，基于 Axum 0.7 异步 Web 框架
• 存储：SQLite WAL（Write-Ahead Logging）高并发模式，单文件即可备份，轻巧无依赖
• 前端可视化：Tailwind CSS + D3.js 动态粒子数据流拓扑 + Askama 模板引擎
• 内存占用：服务空闲内存仅 < 50MB，单核小机器即可极致流畅运行

---

🌟 开源与独立库生态

IndexFlowing 的核心能力均已完全开源，并在 crates.io 发布了独立的 Rust 库：

• 核心项目：IndexFlow-core on GitHub
• Sitemap 独立库：indexflow-sitemap
• SEO 门禁库：indexflow-seo
• 双语官方文档：https://www.indexflowing.com/docs/

欢迎各位出海朋友和开发者体验交流，也非常欢迎提 Issue 和 PR！