kekechong/joy-cli
0
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
joy-cli/docs/ops/manhuang-guishi-probe.md
feibisi 2c6281d041 feat(manhuang): supply-chain dashboard, probes, and side-cache data 
Expand manhuang collect/UI (tabs, markets, guishi/quote probes), add
configs and launchd helpers, ops handbooks, and scripts for channel
validation and price/threat enrichment. Keys stay in keys.env.example only.
2026-07-13 02:08:29 +08:00

6.1 KiB
Raw Permalink Blame History

鬼市核验探针

总手册：manhuang-handbook.md（黑市/鬼市/shops/onion/管线一体）

运行平面：scout only（本机 Mac 不跑 Tor）

角色 做什么
scout Tor :9050 · 跑 probe-guishi.py · 写 ~/data/manhuang/guishi/status.json
Mac 不跑 onion 探针；collect 经 scout asset 读 guishi_probe；可选 ssh scout 触发

部署

scp scripts/manhuang/probe-guishi.py scripts/manhuang/build-guishi-handbooks.py scout:~/scripts/manhuang/
ssh scout 'python3 ~/scripts/manhuang/probe-guishi.py'
# cron 已建议：25 */2 * * * probe-guishi + handbooks

实测（scout）

  • socks: true @ 127.0.0.1:9050
  • role: scout · onion_probed ≥ 0
  • Mac collect 字段：manhuang.guishi.probe.host == scout

脚本

脚本 输出（scout）
~/scripts/manhuang/probe-guishi.py ~/data/manhuang/guishi/status.json
~/scripts/manhuang/build-guishi-handbooks.py ~/data/manhuang/guishi/handbooks.json
cron 25 */2 * * *（见下）
Mac launchd run-quote-probe.sh → ssh 触发 scout

检查类

  • clearnet 首页：Ahmia / dark.fail / onion.live / abuse.ch 系 / ransomware / 论坛壳（BHW·Hostloc·Linux.do·NodeSeek·V2EX）/ paste / 闲鱼 goofish
  • JSON/文本 feed：CISA KEV · onionoo · HIBP · 5sim guest · urlscan brand · ransomware.live v2 · RansomLook · OpenPhish · Phishing.Database · Maltrail onion · Feodo IP · RWOS commits · ransomwatch
  • SOCKS（9050 或 9150）：check.torproject.org/api/ip · 合法 onion · onion-markets.json 白名单
  • 不自动爬：暗网商城商品页、下单、盗号店列表分页

白名单

cp configs/manhuang/onion-markets.example.json ~/.config/manhuang/onion-markets.json
# 编辑真实 .onion；example.onion 会被跳过

API 字段

manhuang.guishi.probe · handbooks · demand · channels · product_types · counts.by_depth|by_layer|by_region
链环 exit → tab mh-guishi

子代理增补源（已部分接入）

见 probe 内 CLEARNET/JSON；更多：ThreatFox POST（需 key）、LeakIX（需 key）、urlscan brand q、自建 RSSHub TG channel。

深水目录 v3

configs/manhuang/guishi-channels.json（~115 扩展条 + seed/运营渠道合并）

维度 值
depth shallow / mid / deep
layer osint · onion_infra · trade_grey · c2c_cn · forum · register · payment · infra
region global · cn · en · ru
品类 _guishi_product_types() ~35（Team 席、镜像面板、虚拟卡、eSIM、品牌 IOC…）

覆盖：~/.config/manhuang/guishi-channels.json
加载：manhuang.guishi.channels · catalog_version: 3

本地店表 shops.json

# 初始化 / 校验 / 同步
python3 scripts/manhuang/ensure-shops.py
python3 scripts/manhuang/ensure-shops.py --add-stub   # 加可编辑位
python3 scripts/manhuang/ensure-shops.py --validate
python3 scripts/manhuang/ensure-shops.py --sync-scout # scp → scout:data/manhuang/
  • 路径：~/.config/manhuang/shops.json（不进 git）· scout ~/data/manhuang/shops.json
  • collect 合并进 guishi.channels + guishi.shops（有 handle/url → quality=signal）
  • demand 按 sku_for 匹配 capability（codex/claude/sms…）
  • 内容可为：FunPay/GGSel 公开 lot、5sim、X 检索式 URL、样本发卡/中转；勿提交私人 TG
  • probe 对有 url 的店做首页健康；可选 RSSHUB_BASE + rsshub_path 拉标题
  • CD：ensure-cd-watches.py --shops
  • 详述：手册 §8 本地店表

Tor（scout）

bash scripts/manhuang/check-tor-scout.sh
bash scripts/manhuang/check-tor-scout.sh --restart   # 可选重启 tor 服务

结果写入 pipeline-last.json 的 tor_hint（circuit_ok / tor_down）。

品牌撞库

probe 在 OpenPhish / Phishing.Database / urlscan brand / ransomware 等 body 上扫 BRAND_DOMAINS（默认 feibisi/wenpai…）。
结果：guishi.brand_hits · probe.samples（勒索摘要、最新 HIBP 等，非全量 dump）。

severity 来源 推 konqi
threat openphish / phishing-db / maltrail / urlhaus… 是（notify-guishi-brand.sh，4h 节流）
exposure urlscan 自有域旁证 否（--exposure 可开） 
bash scripts/manhuang/notify-guishi-brand.sh
bash scripts/manhuang/notify-guishi-brand.sh --force
bash scripts/manhuang/notify-guishi-brand.sh --exposure

ChangeDetection 盯 shops + 鬼市浅水

# 幂等创建缺失 watch
python3 scripts/manhuang/ensure-cd-watches.py --all-guishi
# 仅 shops.json 的 http URL
python3 scripts/manhuang/ensure-cd-watches.py --shops
# 仅 Ahmia/dark.fail/ransomware… 
python3 scripts/manhuang/ensure-cd-watches.py --guishi

run-quote-probe.sh 在 scout 鬼市探针之后自动跑 --all-guishi + notify-guishi-brand.sh。

管线健康

Mac run-quote-probe.sh 末尾写 ~/.cache/manhuang/pipeline-last.json（quotes / relays / CD / guishi / tab-caches 年龄）。
collect → manhuang.pipeline → 数据源 tab 可见。
注意：脚本 exit code 仍以 quotes 为主；尾部失败记 log + pipeline 快照，不伪装 quotes 失败。

黑市 / 鬼市分层（本质不同 · 都不在本系统成交）

黑市 heishi 鬼市 guishi
对象 清网可审计平台、SKU 比价 隐渠、onion、OSINT、shops
能做 探价、demand 挂钩、价差/缺口推 konqi Tor 标题探活、品牌撞库、目录质量
不做 代下单/代付 登录市场、爬商品分页、自动成交
  • 明面 marketplace heishi kind 优先。
  • 鬼市：signal|live|placeholder；onion 标题级（<title>），白名单见 onion-markets.json。
  • 大胆观察可以，成交在系统外人工。

Onion 白名单

cp configs/manhuang/onion-markets.example.json ~/.config/manhuang/onion-markets.json
# 同步 scout:
scp ~/.config/manhuang/onion-markets.json scout:data/manhuang/