2c6281d041
Expand manhuang collect/UI (tabs, markets, guishi/quote probes), add configs and launchd helpers, ops handbooks, and scripts for channel validation and price/threat enrichment. Keys stay in keys.env.example only.
3.9 KiB
3.9 KiB
蛮荒 · 数据源契约（按标签）
2026-07-11 · linuxjoy 接管 tux 后落地 · 2026-07-12 链到总手册
主视野 = 对象 + 信号；资源图谱 = 辅线
密钥：~/.config/manhuang/keys.env（Mac）· 永不进 git / 面板
运维总入口：manhuang-handbook.md · 供应链比价/Quote：manhuang-channels-and-quote-api.md
总管线
| # | 通道 | 频率 | 职责 |
|---|---|---|---|
| ① | SSH scout _ASSET_SCRIPT |
随 dashboard collect | 台账/库/手册/CLI/Miniflux/批跑统计 |
| ② | Mac live-pulse |
缓存 45min；每轮只刷 1 域名 | OTX/urlscan/CT + 可选 abuse.ch |
| ③ | scout fetch-feeds.sh |
cron 每 6h | CISA KEV / NVD / Wayback |
| ④ | scout social-batch.py |
人工/按需 | holehe/maigret → sqlite |
按标签
| 标签 | 主对象源 | 信号源 | 可选 key | 自托管/API 候选 |
|---|---|---|---|---|
| 总览 | summary 汇总 | live-pulse + KEV | — | — |
| Agent | scout Projects/* + scripts 包 |
版本/path | — | LiteLLM 状态、garak 评测结果 |
| 密令 | data/codex-tokens |
额度扫描 | — | HIBP API |
| 接口 | resource-pool.db 41 平台 |
apikey_probe | 各厂 key | Censys/AbuseIPDB free |
| 通道 | pool tunnels/proxies | Tor socks | — | 代理质量抽样脚本 |
| 匠人 | dork + humint + social-batch | 批跑 hits | — | holehe/maigret 结果库 |
| 鬼市 | Tor + leak dork | Tor 健康 | — | Ahmia（Tor）、LeakIX |
| 游侠 | 闲鱼/灰产手册 | 慢 | — | 结构化章节表 |
| 帮派 | KEV + 威胁矩阵 + reports | live-pulse IOC/OTX | ABUSECH_AUTH_KEY | OpenCTI/MISP（重） |
| 密室 | intel.duckdb + reports | CT/Wayback | — | Common Crawl CDX |
| 剑客 | tools-inventory CLI 表 | ok/missing | — | kali frida/jadx 上报 |
| 碎银 | 手册金融章 | 弱 | Etherscan free | Chainabuse 公开 feed |
| 社区 | linuxdo.db + Miniflux | RSS 未读 | miniflux.auth | 已自托管 Miniflux:8080 |
| 资料 | data/resources md | — | — | awesome 镜像解析 |
| 数据源 | sources[] + feeds + CLI | 绿/红 | keys 提示 | 本契约 |
密钥（可选）
文件：~/.config/manhuang/keys.env（示例见 keys.env.example）
| 变量 | 用途 | 注册 |
|---|---|---|
ABUSECH_AUTH_KEY |
ThreatFox + URLhaus（推荐统一） | https://auth.abuse.ch/ |
THREATFOX_AUTH_KEY |
仅 ThreatFox | 同上 |
URLHAUS_AUTH_KEY |
仅 URLhaus | 同上 |
OTX_API_KEY |
提高 OTX 限额（100/h 公开易 429） | https://otx.alienvault.com/api |
URLSCAN_API_KEY |
urlscan 提额 | https://urlscan.io |
无 key 时状态为 needs_key（黄），不对 abuse.ch 轰炸。
live-pulse 行为（v6.1）
/tmp无关；缓存于~/.cache/manhuang/live-pulse/bundle.json新鲜 45min → dashboard 15s 轮询直接命中- 刷新时 round-robin 1 域名 ×（OTX + urlscan + CT）
- CT 优先 crt.sh，失败再 certspotter
- CISA KEV 读盘优先（Mac
~/.cache/manhuang/feeds/或 scout 同步） - 429 时保留旧 slot 并标记
throttled
scout 定时
15 */6 * * * bash ~/scripts/manhuang/fetch-feeds.sh >> ~/logs/manhuang-feeds.log 2>&1
批跑（需先填 seed）：
# scout
$EDITOR ~/data/manhuang/social-seeds.json # emails / usernames
python3 ~/scripts/manhuang/social-batch.py
已有自托管（scout）
| 服务 | 端口 | 用途 |
|---|---|---|
| Miniflux | :8080 | RSS 订阅聚合（社区 tab 已接线） |
| Tor | 9050 | 鬼市通道 |
| postgres | 5432 | Miniflux 后端 |
凭据：~/data/manhuang/miniflux.auth（user:pass）或环境 MINIFLUX_AUTH。
建议可部署（按收益，非立刻全上）
见 docs/ops/manhuang-selfhost-catalog.md。
