2c6281d041
Expand manhuang collect/UI (tabs, markets, guishi/quote probes), add configs and launchd helpers, ops handbooks, and scripts for channel validation and price/threat enrichment. Keys stay in keys.env.example only.
4.6 KiB
4.6 KiB
蛮荒 · 可自托管 / 公开 API / RSS 目录
调研 2026-07-11 · 目标：合法、可运维、能填进活态势
集群已有：scout Miniflux、Tor、resource-pool、intel duckdb；ai-team CD:5000+ RSSHub:1200
总手册：manhuang-handbook.md
A. 已在集群（优先接满）
| 系统 | 位置 | 蛮荒标签 | 动作 |
|---|---|---|---|
| Miniflux | scout :8080 | 社区 | ✅ 已采集 feeds/entries |
| ChangeDetection | ai-team :5000 | 数据源/价页 | ✅ 供应链+鬼市浅水 watches |
| RSSHub | ai-team :1200 | 社区/频道 | ✅ 内网；勿在 scout 重起 |
| CISA KEV JSON | feeds cron | 帮派 | ✅ 6h 拉取 |
| resource-pool | scout sqlite | 接口/通道 | 已有 |
| scout-intel.duckdb | scout | 密室 | 已有 |
| holehe/maigret | scout venv | 匠人 | ✅ batch 脚本 |
| Tor | scout 9050 | 鬼市 | 已有；circuit 偶发超时 |
| Quote API | Mac :8877 | 比价出口 | launchd KeepAlive |
B. 轻量可立刻用（免自建或一键）
| 项目 | 类型 | 标签 | 说明 | 优先级 |
|---|---|---|---|---|
| abuse.ch Auth | API key | 帮派 | ThreatFox/URLhaus/MalwareBazaar 统一 key，免费注册 | P0 |
| OTX API key | API key | 帮派 | 缓解 100/h 限流 | P0 |
| urlscan API key | API key | 鬼市/接口 | 提额 | P1 |
| crt.sh | 公开 | 密室 | CT 已接为优先源 | ✅ |
| NVD CVE 2.0 | 公开 API | 帮派 | feeds 已试拉 | P1 |
| Wayback CDX | 公开 | 密室 | feeds 已拉样本 | P1 |
| Common Crawl CDX | 公开 | 密室 | 需批处理写入 duckdb | P2 |
| HIBP | API key | 密令 | 域名 breach 计数 | P2 |
| Ahmia | 公开(+Tor) | 鬼市 | onion 搜索只读封装 | P2 |
| Chainabuse / ScamSniffer | 公开列表 | 碎银 | 诈骗地址 feed | P2 |
C. 自托管中型（值得评估）
| 项目 | 体量 | 标签 | 价值 | 代价 | 建议 |
|---|---|---|---|---|---|
| Miniflux | 轻 | 社区 | RSS 统一入口 | 已部署 | 维持并扩订阅 |
| FreshRSS | 轻 | 社区 | 多用户 RSS 备选 | 与 Miniflux 重叠 | 不必双开 |
| RSSHub | 中 | 社区/游侠 | 把网页刷成 RSS | 维护路由 | 需要「无官方 RSS 的源」时上 |
| ChangeDetection.io | 轻 | 游侠/接口 | 页面变更监控 | 低 | 盯竞品/规则页 |
| Gatus / Uptime Kuma | 轻 | 接口/数据源 | 端点探活面板 | 低 | 与 resource-pool probe 二选一增强 |
| IntelOwl | 中重 | 帮派/接口 | 多分析器编排（含 abuse.ch/OTX 适配器） | Docker 内存 | 若多分析器需求上涨再上 |
| OpenCTI | 重 | 帮派 | 威胁知识图谱 | 8G+ 内存、运维重 | 仅当要正式 TIP 时 |
| MISP | 重 | 帮派 | IOC 共享标准 | 运维重 | 与外部社区交换时 |
| Yeti | 中 | 帮派/密室 | 威胁观测聚合 | 中 | OpenCTI 轻替代候选 |
| Malcolm / Arkime | 重 | 剑客 | 流量全包分析 | 很重 | 不进蛮荒主路径 |
| Nuclei + templates git | 轻 | 剑客 | 已有 nuclei | 低 | 定时扫自有资产写报告 |
| TruffleHog / gitleaks | 轻 | 剑客 | 自有仓密钥扫描 | 低 | CI/巡检 |
D. 「别人扒过做成 API」类（谨慎）
| 类型 | 例子 | 态度 |
|---|---|---|
| 聚合 OSINT API | 各类「all-in-one OSINT」SaaS | 可用作 辅线链接；密钥/隐私风险高，不默认自建依赖 |
| GPT4Free / 逆向网关 | 多 | 研究列表 only，生产 ToS 风险 |
| 暗网市场镜像 API | 多 | 改挂 鬼市 观察层；地址白名单本地维护，不默认全量爬 |
| FMHY / 链接墙镜像 | 多 | 仅资料辅线，不做主视野 |
原则：优先官方/abuse.ch/CISA/CT 公共源 + 自托管 RSS；第三方聚合只作发现渠道，核心信号要可复现、可缓存、无密钥泄漏。
E. 推荐落地顺序（与代码对齐）
- 你填 abuse.ch + 可选 OTX key → 帮派/总览信号立刻活
- Miniflux 加安全/威胁 RSS（CISA、ProjectDiscovery blog、Tor blog、urlhaus 摘要若有）
- social-seeds 填样例 → 跑 social-batch → 匠人有结果表
- 评估 RSSHub 仅当有 3+ 无 RSS 的监控目标
- OpenCTI/MISP 推迟到「要对外共享 IOC / 正式威胁运营」决策后
F. 建议订阅进 Miniflux 的公开 RSS（示例）
- CISA alerts / KEV 相关（若提供 atom）
- https://blog.projectdiscovery.io/
- https://blog.torproject.org/
- NVD / 安全厂商公开 blog（按你关注面加）
- linux.do 已有本地库，不必重复 RSS
（具体 URL 以各站当前 feed 为准，在 Miniflux UI 添加。）
