2c6281d041
Expand manhuang collect/UI (tabs, markets, guishi/quote probes), add configs and launchd helpers, ops handbooks, and scripts for channel validation and price/threat enrichment. Keys stay in keys.env.example only.
98 lines
No EOL
3.9 KiB
Markdown
98 lines
No EOL
3.9 KiB
Markdown
# 蛮荒 · 数据源契约（按标签）
|
||
|
||
> 2026-07-11 · linuxjoy 接管 tux 后落地 · 2026-07-12 链到总手册
|
||
> 主视野 = 对象 + 信号；资源图谱 = 辅线
|
||
> 密钥：`~/.config/manhuang/keys.env`（Mac）· 永不进 git / 面板
|
||
> 运维总入口：[manhuang-handbook.md](./manhuang-handbook.md) · 供应链比价/Quote：[manhuang-channels-and-quote-api.md](./manhuang-channels-and-quote-api.md)
|
||
|
||
## 总管线
|
||
|
||
| # | 通道 | 频率 | 职责 |
|
||
|---|------|------|------|
|
||
| ① | SSH scout `_ASSET_SCRIPT` | 随 dashboard collect | 台账/库/手册/CLI/Miniflux/批跑统计 |
|
||
| ② | Mac `live-pulse` | **缓存 45min**；每轮只刷 **1 域名** | OTX/urlscan/CT + 可选 abuse.ch |
|
||
| ③ | scout `fetch-feeds.sh` | cron **每 6h** | CISA KEV / NVD / Wayback |
|
||
| ④ | scout `social-batch.py` | 人工/按需 | holehe/maigret → sqlite |
|
||
|
||
---
|
||
|
||
## 按标签
|
||
|
||
| 标签 | 主对象源 | 信号源 | 可选 key | 自托管/API 候选 |
|
||
|------|----------|--------|----------|-----------------|
|
||
| **总览** | summary 汇总 | live-pulse + KEV | — | — |
|
||
| **Agent** | scout `Projects/*` + scripts 包 | 版本/path | — | LiteLLM 状态、garak 评测结果 |
|
||
| **密令** | `data/codex-tokens` | 额度扫描 | — | HIBP API |
|
||
| **接口** | `resource-pool.db` 41 平台 | apikey_probe | 各厂 key | Censys/AbuseIPDB free |
|
||
| **通道** | pool tunnels/proxies | Tor socks | — | 代理质量抽样脚本 |
|
||
| **匠人** | dork + humint + **social-batch** | 批跑 hits | — | holehe/maigret 结果库 |
|
||
| **鬼市** | Tor + leak dork | Tor 健康 | — | Ahmia（Tor）、LeakIX |
|
||
| **游侠** | 闲鱼/灰产手册 | 慢 | — | 结构化章节表 |
|
||
| **帮派** | KEV + 威胁矩阵 + reports | live-pulse IOC/OTX | **ABUSECH_AUTH_KEY** | OpenCTI/MISP（重） |
|
||
| **密室** | intel.duckdb + reports | CT/Wayback | — | Common Crawl CDX |
|
||
| **剑客** | tools-inventory CLI 表 | ok/missing | — | kali frida/jadx 上报 |
|
||
| **碎银** | 手册金融章 | 弱 | Etherscan free | Chainabuse 公开 feed |
|
||
| **社区** | linuxdo.db + **Miniflux** | RSS 未读 | miniflux.auth | 已自托管 Miniflux:8080 |
|
||
| **资料** | data/resources md | — | — | awesome 镜像解析 |
|
||
| **数据源** | sources[] + feeds + CLI | 绿/红 | keys 提示 | 本契约 |
|
||
|
||
---
|
||
|
||
## 密钥（可选）
|
||
|
||
文件：`~/.config/manhuang/keys.env`（示例见 `keys.env.example`）
|
||
|
||
| 变量 | 用途 | 注册 |
|
||
|------|------|------|
|
||
| `ABUSECH_AUTH_KEY` | ThreatFox + URLhaus（推荐统一） | https://auth.abuse.ch/ |
|
||
| `THREATFOX_AUTH_KEY` | 仅 ThreatFox | 同上 |
|
||
| `URLHAUS_AUTH_KEY` | 仅 URLhaus | 同上 |
|
||
| `OTX_API_KEY` | 提高 OTX 限额（100/h 公开易 429） | https://otx.alienvault.com/api |
|
||
| `URLSCAN_API_KEY` | urlscan 提额 | https://urlscan.io |
|
||
|
||
无 key 时状态为 `needs_key`（黄），**不**对 abuse.ch 轰炸。
|
||
|
||
---
|
||
|
||
## live-pulse 行为（v6.1）
|
||
|
||
1. `/tmp` 无关；缓存于 `~/.cache/manhuang/live-pulse/`
|
||
2. `bundle.json` 新鲜 **45min** → dashboard 15s 轮询直接命中
|
||
3. 刷新时 **round-robin 1 域名** ×（OTX + urlscan + CT）
|
||
4. CT 优先 **crt.sh**，失败再 certspotter
|
||
5. CISA KEV 读盘优先（Mac `~/.cache/manhuang/feeds/` 或 scout 同步）
|
||
6. 429 时保留旧 slot 并标记 `throttled`
|
||
|
||
---
|
||
|
||
## scout 定时
|
||
|
||
```cron
|
||
15 */6 * * * bash ~/scripts/manhuang/fetch-feeds.sh >> ~/logs/manhuang-feeds.log 2>&1
|
||
```
|
||
|
||
批跑（需先填 seed）：
|
||
|
||
```bash
|
||
# scout
|
||
$EDITOR ~/data/manhuang/social-seeds.json # emails / usernames
|
||
python3 ~/scripts/manhuang/social-batch.py
|
||
```
|
||
|
||
---
|
||
|
||
## 已有自托管（scout）
|
||
|
||
| 服务 | 端口 | 用途 |
|
||
|------|------|------|
|
||
| **Miniflux** | :8080 | RSS 订阅聚合（社区 tab 已接线） |
|
||
| Tor | 9050 | 鬼市通道 |
|
||
| postgres | 5432 | Miniflux 后端 |
|
||
|
||
凭据：`~/data/manhuang/miniflux.auth`（`user:pass`）或环境 `MINIFLUX_AUTH`。
|
||
|
||
---
|
||
|
||
## 建议可部署（按收益，非立刻全上）
|
||
|
||
见 `docs/ops/manhuang-selfhost-catalog.md`。 |
