2c6281d041
Expand manhuang collect/UI (tabs, markets, guishi/quote probes), add configs and launchd helpers, ops handbooks, and scripts for channel validation and price/threat enrichment. Keys stay in keys.env.example only.
80 lines
4.6 KiB
Markdown
80 lines
4.6 KiB
Markdown
# 蛮荒 · 可自托管 / 公开 API / RSS 目录
|
||
|
||
> 调研 2026-07-11 · 目标：合法、可运维、能填进活态势
|
||
> 集群已有：scout **Miniflux**、Tor、resource-pool、intel duckdb；**ai-team** CD `:5000` + RSSHub `:1200`
|
||
> 总手册：[manhuang-handbook.md](./manhuang-handbook.md)
|
||
|
||
## A. 已在集群（优先接满）
|
||
|
||
| 系统 | 位置 | 蛮荒标签 | 动作 |
|
||
|------|------|----------|------|
|
||
| Miniflux | scout :8080 | 社区 | ✅ 已采集 feeds/entries |
|
||
| ChangeDetection | **ai-team :5000** | 数据源/价页 | ✅ 供应链+鬼市浅水 watches |
|
||
| RSSHub | **ai-team :1200** | 社区/频道 | ✅ 内网；勿在 scout 重起 |
|
||
| CISA KEV JSON | feeds cron | 帮派 | ✅ 6h 拉取 |
|
||
| resource-pool | scout sqlite | 接口/通道 | 已有 |
|
||
| scout-intel.duckdb | scout | 密室 | 已有 |
|
||
| holehe/maigret | scout venv | 匠人 | ✅ batch 脚本 |
|
||
| Tor | scout 9050 | 鬼市 | 已有；circuit 偶发超时 |
|
||
| Quote API | Mac :8877 | 比价出口 | launchd KeepAlive |
|
||
|
||
## B. 轻量可立刻用（免自建或一键）
|
||
|
||
| 项目 | 类型 | 标签 | 说明 | 优先级 |
|
||
|------|------|------|------|--------|
|
||
| **abuse.ch Auth** | API key | 帮派 | ThreatFox/URLhaus/MalwareBazaar 统一 key，免费注册 | **P0** |
|
||
| **OTX API key** | API key | 帮派 | 缓解 100/h 限流 | P0 |
|
||
| **urlscan API key** | API key | 鬼市/接口 | 提额 | P1 |
|
||
| **crt.sh** | 公开 | 密室 | CT 已接为优先源 | ✅ |
|
||
| **NVD CVE 2.0** | 公开 API | 帮派 | feeds 已试拉 | P1 |
|
||
| **Wayback CDX** | 公开 | 密室 | feeds 已拉样本 | P1 |
|
||
| **Common Crawl CDX** | 公开 | 密室 | 需批处理写入 duckdb | P2 |
|
||
| **HIBP** | API key | 密令 | 域名 breach 计数 | P2 |
|
||
| **Ahmia** | 公开(+Tor) | 鬼市 | onion 搜索只读封装 | P2 |
|
||
| **Chainabuse / ScamSniffer** | 公开列表 | 碎银 | 诈骗地址 feed | P2 |
|
||
|
||
## C. 自托管中型（值得评估）
|
||
|
||
| 项目 | 体量 | 标签 | 价值 | 代价 | 建议 |
|
||
|------|------|------|------|------|------|
|
||
| **Miniflux** | 轻 | 社区 | RSS 统一入口 | 已部署 | **维持并扩订阅** |
|
||
| **FreshRSS** | 轻 | 社区 | 多用户 RSS 备选 | 与 Miniflux 重叠 | 不必双开 |
|
||
| **RSSHub** | 中 | 社区/游侠 | 把网页刷成 RSS | 维护路由 | 需要「无官方 RSS 的源」时上 |
|
||
| **ChangeDetection.io** | 轻 | 游侠/接口 | 页面变更监控 | 低 | 盯竞品/规则页 |
|
||
| **Gatus / Uptime Kuma** | 轻 | 接口/数据源 | 端点探活面板 | 低 | 与 resource-pool probe 二选一增强 |
|
||
| **IntelOwl** | 中重 | 帮派/接口 | 多分析器编排（含 abuse.ch/OTX 适配器） | Docker 内存 | 若多分析器需求上涨再上 |
|
||
| **OpenCTI** | 重 | 帮派 | 威胁知识图谱 | 8G+ 内存、运维重 | 仅当要正式 TIP 时 |
|
||
| **MISP** | 重 | 帮派 | IOC 共享标准 | 运维重 | 与外部社区交换时 |
|
||
| **Yeti** | 中 | 帮派/密室 | 威胁观测聚合 | 中 | OpenCTI 轻替代候选 |
|
||
| **Malcolm / Arkime** | 重 | 剑客 | 流量全包分析 | 很重 | 不进蛮荒主路径 |
|
||
| **Nuclei + templates git** | 轻 | 剑客 | 已有 nuclei | 低 | 定时扫自有资产写报告 |
|
||
| **TruffleHog / gitleaks** | 轻 | 剑客 | 自有仓密钥扫描 | 低 | CI/巡检 |
|
||
|
||
## D. 「别人扒过做成 API」类（谨慎）
|
||
|
||
| 类型 | 例子 | 态度 |
|
||
|------|------|------|
|
||
| 聚合 OSINT API | 各类「all-in-one OSINT」SaaS | 可用作 **辅线链接**；密钥/隐私风险高，不默认自建依赖 |
|
||
| GPT4Free / 逆向网关 | 多 | **研究列表 only**，生产 ToS 风险 |
|
||
| 暗网市场镜像 API | 多 | 改挂 **鬼市** 观察层；地址白名单本地维护，不默认全量爬 |
|
||
| FMHY / 链接墙镜像 | 多 | 仅资料辅线，不做主视野 |
|
||
|
||
原则：**优先官方/abuse.ch/CISA/CT 公共源 + 自托管 RSS**；第三方聚合只作发现渠道，核心信号要可复现、可缓存、无密钥泄漏。
|
||
|
||
## E. 推荐落地顺序（与代码对齐）
|
||
|
||
1. **你填 abuse.ch + 可选 OTX key** → 帮派/总览信号立刻活
|
||
2. **Miniflux 加安全/威胁 RSS**（CISA、ProjectDiscovery blog、Tor blog、urlhaus 摘要若有）
|
||
3. **social-seeds 填样例** → 跑 social-batch → 匠人有结果表
|
||
4. **评估 RSSHub** 仅当有 3+ 无 RSS 的监控目标
|
||
5. **OpenCTI/MISP** 推迟到「要对外共享 IOC / 正式威胁运营」决策后
|
||
|
||
## F. 建议订阅进 Miniflux 的公开 RSS（示例）
|
||
|
||
- CISA alerts / KEV 相关（若提供 atom）
|
||
- https://blog.projectdiscovery.io/
|
||
- https://blog.torproject.org/
|
||
- NVD / 安全厂商公开 blog（按你关注面加）
|
||
- linux.do 已有本地库，不必重复 RSS
|
||
|
||
（具体 URL 以各站当前 feed 为准，在 Miniflux UI 添加。）
|
