Crawler.sh：开发者的"反 SaaS"本地 SEO 爬虫

2026-03-03 | ProductHunt | 官网

界面解读：深色主题仪表盘，顶部 URL 输入栏 + Start Crawl 按钮。下方卡片式布局：左上 Live Feed 实时展示爬取 URL 和状态码（绿色 200/红色 404），右上 SEO Issues 显示 17 个问题（标题过短、描述过短、内容过少等），右下环形图展示 HTTP 状态码分布。整体风格极客简洁，像终端工具多过像传统 SEO 软件。

30 秒快速判断

这 App 干嘛的：一个用 Rust 写的本地 SEO 爬虫，能在终端或桌面 App 里几秒钟爬完一个网站，检查 16 种 SEO 问题，把网页内容提取成干净的 Markdown。同时号称支持 AEO（AI 搜索引擎优化）分析。

值不值得关注：

值得，如果你：

• 经常要审计网站 SEO 但受不了 Screaming Frog 的 £149/年和 500 URL 免费限制
• 需要把网页内容批量转成 Markdown（喂给 LLM 或做内容库）
• 喜欢 CLI 工具，想在脚本里自动化 SEO 检查
• 关注 AEO 这个新方向，想看看有什么工具可用

不值得，如果你：

• 需要 Windows/Linux 支持（目前只有 macOS）
• 需要 JavaScript 渲染（SPA 网站爬不了）
• 需要企业级功能（团队协作、 API 、云端同步）
• 已经有成熟的 SEO 工具链在用

和谁比？有什么不同？

与我有关三问

与我有关吗？

目标用户画像：

• 独立开发者/技术 SEO 从业者，喜欢用终端干活
• 内容创作者，需要批量提取网页内容转 Markdown
• AI 应用开发者，需要 "LLM ready" 的网页数据
• 预算有限但需要 SEO 审计工具的小团队

判断标准：

• 如果你每周至少做一次网站 SEO 检查 → 这个工具省时间
• 如果你需要把竞品博客批量转成 Markdown → 这个工具正好
• 如果你只用 Windows → 等等再说，暂时用不了

对我有用吗？

ROI 判断：如果你现在用免费版 Screaming Frog 被 500 URL 限制卡脖子，或者需要 Markdown 提取功能， CLI 版本零成本试一下没有任何损失。但如果你已经有完整的 SEO 工具链，没必要切换。

喜闻乐见吗？

爽点：

1. Rust 速度 - "几秒钟爬完整站"不是吹的， Rust 的异步并发加上本地运行，确实快
2. Markdown 提取 - 用 readability-rust 提取正文， htmd 转 Markdown ，这个功能其他 SEO 爬虫都没有
3. CLI 自动化 - crawler crawl → crawler seo → crawler export，三条命令完成全流程

用户真实声音：

"我做了一个桌面应用和命令行工具，你可以分析网站的 SEO 问题、死链等。基于 Rust ，运行速度比 screamingfrog 快。" — @mehmetkose (创始人)

"正在开发 crawler.sh 第二周。为多个操作系统（macos arm64/x64, linux, windows）分发桌面应用真是个苦差事。" — @mehmetkose (创始人，吐槽跨平台分发)

说实话，产品才刚上线（2026 年 3 月 2 日），真实用户评价基本为零。创始人自己是最活跃的声音。

给独立开发者

技术栈

核心功能实现

技术上有两个亮点：

1. NDJSON 流式格式：.crawl 文件是逐行 JSON ，第一行是元数据，后面每行一个页面记录。这意味着你可以在爬取过程中实时处理数据，不用等全部完成。对大站来说这个设计很聪明。

2. Markdown 提取链路：readability-rust（Rust 版的 Mozilla Readability 算法）先提取正文，再用 htmd 转 Markdown 。包含字数统计、作者、摘要。这个组合让输出直接可以喂给 LLM 或做 RAG。

开源情况

• Crawler.sh 本身：闭源商业产品， GitHub 上找不到公开仓库
• 类似开源项目：
  • LibreCrawl - MIT 开源， Python Flask ，无限 URL
  • SiteOne Crawler - 免费跨平台
  • Crawl4AI - GitHub 热门， LLM 友好爬虫
• 自己做难度：中等。 Rust 爬虫引擎 3-4 周， SEO 检查逻辑 2-3 周， Tauri 桌面应用 2-3 周。一个人 2-3 个月可出 MVP。

商业模式

巨头风险

中低风险。原因：

• Screaming Frog 统治 SEO 爬虫市场十几年，但它是 Java 写的、贵、不做 Markdown 提取
• Google 有 Search Console 但不做本地爬虫
• Ahrefs/Semrush 的爬虫是云端附属功能，定位不同
• 真正的威胁是开源项目（LibreCrawl 、 Crawl4AI）而不是巨头

给产品经理

痛点分析

痛点有多痛： SEO 审计是中频刚需（每周到每月），但"内容提取成 Markdown"在 AI 时代正在变成高频需求。 Crawler.sh 踩中了两个需求的交叉点。

用户画像

核心用户：

• 独立 SEO 顾问/自由职业者
• 内容营销团队（需要竞品内容分析）
• AI 应用开发者（需要训练数据/RAG 数据源）

边缘用户：

• 传统 SEO 从业者（已有工具链）
• 大型企业（需要团队功能和云端）

功能拆解

竞品差异

可借鉴的点

1. CLI + Desktop 双形态 - 低成本做两个入口：终端给技术用户、桌面给普通用户
2. NDJSON 流式格式 - 简单高效的数据格式设计，可边爬边处理
3. "LLM ready"定位 - 在 SEO 工具赛道找到了 AI 时代的差异化叙事
4. Build in Public - 从 2 月 22 日发第一条推文到 3 月 2 日上 ProductHunt ，仅 10 天

给科技博主

创始人故事

• 创始人： Mehmet Kose (@mehmetkose)
• 公司： SOUR CREAM LTD
• 背景： JavaScript/Frontend 开发者出身， React + Firebase + TypeScript 。之前做过 react-websocket（348 stars）、 Python async 爬虫框架（tangrowth）、区块链数据库（orion8）等项目。多次在 GDG 等活动做技术分享。
• 为什么做这个：受够了每次 SEO 审计要在"臃肿企业工具"、"慢云服务"和"拼凑脚本"之间选择。干脆自己用 Rust 写一个。
• Build in Public 时间线：
  • 2 月 22 日: 发了 landing page 预告
  • 2 月 24 日: "Building crawler.sh week 2"，吐槽跨平台分发
  • 3 月 2 日: ProductHunt 上线

争议点/讨论角度

1. AEO 是真需求还是营销话术？ - 产品页面号称支持 AEO ，但具体 AEO 检查项是什么？和普通 SEO 检查有什么区别？目前看起来更像是搭了 AEO 的叙事，实际功能还是传统 SEO 检查。
2. 闭源 vs 开源 - LibreCrawl 和 Crawl4AI 都是开源的， Crawler.sh 为什么不开源？闭源 Rust 工具如何赢得开发者信任？
3. 单平台困境 - 2026 年了只支持 macOS ，这在开发者工具里是硬伤。
4. 12 票的真实热度 - ProductHunt 上线只拿了 12 票，热度很低。是产品不行还是推广没做好？

热度数据

• PH 排名： 12 票，远低于当日头部产品
• Twitter 讨论：创始人 6 条推文 + 2 个第三方转发，总互动不到 20
• Reddit：无相关讨论
• 搜索趋势：产品太新，无趋势数据

内容建议

• 适合写的角度：
  • 《SEO 工具的"AEO"转型：真需求还是新瓶装旧酒？》
  • 《独立开发者 10 天从零到 ProductHunt 的 Build in Public 实录》
  • 《Rust 正在吃掉开发者工具：从终端到 SEO 爬虫》
• 蹭热点机会：
  • AEO/GEO 是 2026 年 SEO 圈最热话题
  • Rust 在开发者工具领域持续升温

给早期采用者

定价分析

隐藏成本：无。不需要 API key ，不需要云服务，不需要注册账号。

上手指南

1. 安装 CLI：终端运行安装脚本，自动下载 macOS 对应架构的 binary
2. 第一次爬取：crawler crawl https://你的网站.com
3. 查看结果：crawler info output.crawl 看概览
4. SEO 检查：crawler seo output.crawl 导出问题列表
5. 导出数据：crawler export output.crawl --format json

上手时间： 5-10 分钟 学习曲线：低（如果你会用终端）

坑和吐槽

1. 仅 macOS - Windows 和 Linux 用户目前无法使用，创始人在推文里吐槽"跨平台分发是地狱"
2. 产品太新 - 2026 年 3 月 2 日才上线， Bug 和稳定性是未知数
3. 无 JavaScript 渲染 - SPA/React/Vue 网站可能爬不到完整内容
4. AEO 功能不明确 - 虽然名字带 AEO ，但具体 AEO 检查项没有清晰说明

安全和隐私

替代方案

给投资人

市场分析

驱动因素：

• Gartner 预测传统搜索量 2026 年下降 25% ， AEO 成为新战场
• 40% 以上搜索请求流向 AI 助手
• AI 内容营销行业预计 2026 年 $5B → 2033 年 $17.6B ，增长 3 倍+

竞争格局

Timing 分析

为什么是现在：

1. AEO/GEO 概念在 2026 年爆发， SEO 行业需要新工具范式
2. Rust 在开发者工具领域越来越受欢迎（性能 + 安全）
3. LLM 应用需要大量 "clean" 的网页内容， Markdown 提取有真实需求
4. Screaming Frog 十几年没有本质创新，市场存在替代空间

风险：

• 独立开发者项目，持续迭代能力存疑
• 仅 macOS 是严重的用户获取瓶颈
• 开源替代品（LibreCrawl/Crawl4AI）在功能和社区上可能更有优势

团队背景

• 创始人： Mehmet Kose ， JS/前端开发者， SOUR CREAM LTD
• 核心团队：看起来是 1 人项目
• 过往成绩： react-websocket (348 stars)，多个技术项目， GDG 演讲经验
• Rust 经验： fork 过 Rust 项目（monolith），但之前主要是 JS/Python

融资情况

• 已融资：未公开，推测为自筹
• 投资人：无已知投资
• 估值： N/A
• 适合投资吗：太早期，不适合。 1 人团队 + 仅 macOS + 12 票 PH 热度，离投资标准很远。

结论

一句话： Crawler.sh 是一个有意思的 "Rust+AEO+Markdown" 组合概念，但产品太新（上线才一天）、仅 macOS 、热度极低，目前只适合好奇心强的技术爱好者尝鲜，不适合作为主力工具。

资源链接

2026-03-03 | Trend-Tracker v7.3