后端
- asset_service: delete_asset 先清 subdomains/site_certs 子表(SQLite 不强制
FK 且 assets.id 无 AUTOINCREMENT,删最大 id 后新建会复用 rowid 导致孤儿误挂);
metrics.db 清理改 best-effort,不再让已成功的删除返回 500
- provider_service: slug 唯一约束竞态补 IntegrityError 兜底(与 account_service 一致)
- account_service/sync_service: raise HTTPException 补 from e,保留原始异常链
- sync_service: 删死代码 _load_config;新增 BalanceUnsupported,平台无余额接口时
计入 skipped 而不是静默当作失败;到期日写库前归一
- ai: 删掉 OpenAI 早已下线的 billing 余额接口实现,能力探测如实报「不支持」
- adapters/base: _overridden 改走 MRO,中间层基类实现的能力不再被误判为未实现
- core/timeutils: 删死代码 utcnow_iso(注释声称 Z 后缀,实际输出 +00:00)
- main: lifespan 退出时 await 被 cancel 的清理任务,避免 pending task 被销毁
- ssl_service: 写 site_certs/subdomains 前校验 asset_id 存在,杜绝悬空引用;
到期阈值贯穿 _judge_status/_apply_probe/check_one/check_all_site_certs
- routers/credentials、accounts: 明文密码 GET 补 Cache-Control: no-store
- routers/stats: /stats/expiring 的 Query 描述与实际语义对齐(不设下界,含已过期)
Agent
- collector: 解析 sshd_config 的 Include(含 sshd_config.d/*.conf,按 sshd 语义
「首次出现的值生效」),未显式配置的关键字按编译默认值判定,消除假 pass;
防火墙检测改用 iptables -S 统计 -A 规则行并读 INPUT 策略(-L -n 恒有链头输出)
- reporter: 4xx(除 429)不再重试直接退出,429 优先按 Retry-After 退避
安全与部署
- core/security: require_agent_key 改为对外 fail-closed——tailnet/本机放行,
外部来源未配 AGENT_KEY 时一律 401(此前全放行,而服务默认监听 0.0.0.0,
公网上任何人可伪造监控指标与安全检查结果)
- main: 启动时把「未配 API_KEY/AGENT_KEY 则外部来源不可用」打进日志
- run.sh: HOST/PORT 可用环境变量覆盖,并说明默认 0.0.0.0 的权衡
- deploy/setup.sh: 新装时自动生成随机 API_KEY/AGENT_KEY 并提示同步到各 VPS;
注册 vps-cert-check.timer
- deploy/vps-cert-check.{service,timer}: 新增每日 09:30 的站点证书到期探测
(此前 check_site_certs.py 没有任何 unit,证书提醒不会自动跑)
- deploy/update.sh: sync_units 对 timer 用 enable --now(新增 timer 只 restart
不会建开机自启软链),主服务 unit 变更后额外 restart;pip 安装失败不再被吞
- scripts/check_site_certs.py: threshold 参数真正生效并打印
- scripts/make_migration_bundle.py: 缺 assets.db 直接 abort;umask 077 + chmod 600
(包内含 .env 的 MASTER_KEY 与 escrow,不能默认 644 落在 /tmp)
- scripts/restore_migration_bundle.py: 校验之外补必备文件预检,缺文件在触碰
目标机状态之前就 abort
前端
- store: 拆分列表口径 assets 与统计口径 allAssets(无筛选时同源,不重复请求);
删除已无消费者的 expiring/loadExpiring(每次 loadAll 白发一个请求)
- dashboard/monitor/providers/subscriptions/modals: 统计与计数改用 allAssets,
资产页的筛选(含统计卡片点击跳转带的筛选)不再让其他视图的数字缩水
- modals: 账号同步后补 loadOverview;settings: 导入后改 loadAll
- api: countdownText 支持 unit/empty 选项,monitor/domains 各自的实现改为委托,
assets/domains/subscriptions 的到期列不再直出「(-3天)」
- servers: cpu/mem/disk 百分比统一判空,采样缺项不再渲染「null%」
- assets: 同步 AI 余额的结果提示区分 skipped(平台无余额接口)与 failed
- modals: 修正凭据库头注释——2FA 动态码是选填 + 可事后补验,与实现一致
测试
- 新增 tests/test_agent_collector.py(8 条)、tests/test_security.py(11 条)
- 全量 113 passed;改动 JS 均通过 node --check,deploy 脚本通过 bash -n
- 浏览器实测:筛选态下总览/监控中心/平台页/付费资产的统计仍为全量口径,
到期文案与 null 百分比渲染正确,console 零报错
153 lines
5.7 KiB
Python
153 lines
5.7 KiB
Python
"""迁移打包:把 vps-manager 的唯一状态打成单一可校验迁移包
|
||
|
||
在源机器(如 cc1)运行:
|
||
.venv/bin/python scripts/make_migration_bundle.py [输出tar.gz路径]
|
||
|
||
打包内容(唯一状态;代码/venv/systemd units/tailscale serve 均可由
|
||
setup.sh 与一条 serve 命令重建,故不在包内):
|
||
- data/assets.db、data/metrics.db:sqlite backup API 在线一致性快照(无需停服)
|
||
- data/master_key.escrow:MASTER_KEY 托管档(若已建立)
|
||
- data/backups/:历史备份(含 escrow 副本)
|
||
- .env:MASTER_KEY / API_KEY / AGENT_KEY / 通知渠道 / S3 配置
|
||
- manifest.json + manifest.sha256:版本、commit、主机、逐文件校验和
|
||
|
||
安全说明:包内含 MASTER_KEY 与全部密文,等同最高机密。传输仅用 scp 或加密
|
||
介质,恢复完成并验证后即刻删除;切勿上传公开对象存储或聊天工具。
|
||
恢复步骤见 scripts/restore_migration_bundle.py 与 docs/migration-runbook.md。
|
||
"""
|
||
|
||
import hashlib
|
||
import json
|
||
import os
|
||
import shutil
|
||
import socket
|
||
import sqlite3
|
||
import subprocess
|
||
import sys
|
||
import tarfile
|
||
import tempfile
|
||
from datetime import datetime, timezone
|
||
from pathlib import Path
|
||
|
||
BASE = Path(__file__).resolve().parent.parent
|
||
|
||
|
||
def sha256_file(path: Path) -> str:
|
||
h = hashlib.sha256()
|
||
with path.open("rb") as f:
|
||
for chunk in iter(lambda: f.read(1 << 20), b""):
|
||
h.update(chunk)
|
||
return h.hexdigest()
|
||
|
||
|
||
def snap_db(src: Path, dst: Path) -> None:
|
||
"""sqlite 在线一致性快照:backup API 保证事务边界完整,源库无需停服"""
|
||
con = sqlite3.connect(str(src))
|
||
bkp = sqlite3.connect(str(dst))
|
||
with bkp:
|
||
con.backup(bkp)
|
||
bkp.close()
|
||
con.close()
|
||
|
||
|
||
def read_git_commit() -> str:
|
||
try:
|
||
out = subprocess.run(
|
||
["git", "rev-parse", "--short", "HEAD"], cwd=BASE,
|
||
capture_output=True, text=True, timeout=5,
|
||
)
|
||
return out.stdout.strip() or "unknown"
|
||
except Exception:
|
||
return "unknown"
|
||
|
||
|
||
def main() -> int:
|
||
out = Path(sys.argv[1]) if len(sys.argv) > 1 else Path(
|
||
f"/tmp/vps-manager-bundle-{datetime.now():%Y%m%d_%H%M%S}.tar.gz"
|
||
)
|
||
env_src = BASE / ".env"
|
||
if not env_src.exists():
|
||
print("[abort] 缺少 .env(MASTER_KEY 不在包内则迁移无意义)", file=sys.stderr)
|
||
return 2
|
||
|
||
work = Path(tempfile.mkdtemp(prefix="vps-bundle-"))
|
||
root = work / "bundle"
|
||
data_dst = root / "data"
|
||
data_dst.mkdir(parents=True)
|
||
data_src = BASE / "data"
|
||
|
||
copied: list[str] = []
|
||
for db in ("assets.db", "metrics.db"):
|
||
src = data_src / db
|
||
if src.exists():
|
||
snap_db(src, data_dst / db)
|
||
copied.append(f"data/{db}")
|
||
elif db == "assets.db":
|
||
# 资产库是迁移的主体:缺了它仍打包,恢复端会把目标机 data/ 换成空库
|
||
# 并报「恢复成功」,旧数据仅存于 data.pre-restore-*
|
||
print("[abort] 缺少 data/assets.db(迁移包没有主体数据)", file=sys.stderr)
|
||
shutil.rmtree(work, ignore_errors=True)
|
||
return 2
|
||
else:
|
||
print("[warn] metrics.db 不存在,包内不含监控历史(不影响资产迁移)")
|
||
escrow = data_src / "master_key.escrow"
|
||
if escrow.exists():
|
||
shutil.copy2(escrow, data_dst / "master_key.escrow")
|
||
(data_dst / "master_key.escrow").chmod(0o600)
|
||
copied.append("data/master_key.escrow")
|
||
else:
|
||
print("[warn] 未建立 MASTER_KEY 托管(master_key.escrow 不存在),恢复链不完整")
|
||
backups_src = data_src / "backups"
|
||
if backups_src.is_dir():
|
||
shutil.copytree(backups_src, data_dst / "backups")
|
||
for p in sorted((data_dst / "backups").rglob("*")):
|
||
if p.is_file():
|
||
copied.append(str(p.relative_to(root)))
|
||
shutil.copy2(env_src, root / ".env")
|
||
(root / ".env").chmod(0o600)
|
||
copied.append(".env")
|
||
|
||
manifest = {
|
||
"app": "vps-manager",
|
||
"version": (BASE / "VERSION").read_text(encoding="utf-8").strip()
|
||
if (BASE / "VERSION").exists() else "dev",
|
||
"commit": read_git_commit(),
|
||
"source_host": socket.gethostname(),
|
||
"created_at": datetime.now(timezone.utc).isoformat(),
|
||
"files": {name: {"sha256": sha256_file(root / name), "size": (root / name).stat().st_size}
|
||
for name in copied},
|
||
}
|
||
(root / "manifest.json").write_text(
|
||
json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8"
|
||
)
|
||
(root / "manifest.sha256").write_text(
|
||
"".join(f"{v['sha256']} {name}\n" for name, v in manifest["files"].items()),
|
||
encoding="utf-8",
|
||
)
|
||
|
||
out.parent.mkdir(parents=True, exist_ok=True)
|
||
# 包内含 .env(MASTER_KEY)与 escrow:先收紧 umask 再落盘,
|
||
# 避免默认 644 落在 /tmp 被同机其他用户读走
|
||
old_umask = os.umask(0o077)
|
||
try:
|
||
with tarfile.open(out, "w:gz") as tar:
|
||
tar.add(root, arcname="bundle")
|
||
finally:
|
||
os.umask(old_umask)
|
||
out.chmod(0o600)
|
||
shutil.rmtree(work, ignore_errors=True)
|
||
|
||
print(f"[ok] 迁移包:{out}")
|
||
print(f" 大小:{out.stat().st_size / 1024:.1f} KB")
|
||
print(f" 包校验和:{sha256_file(out)}")
|
||
print(f" 源主机:{manifest['source_host']} · 版本 {manifest['version']} ({manifest['commit']})")
|
||
print(f" 内含 {len(copied)} 个状态文件(两库快照 + escrow + backups + .env)")
|
||
print(" 恢复:新机器跑 setup.sh 后停服,执行")
|
||
print(f" .venv/bin/python scripts/restore_migration_bundle.py {out}")
|
||
print(" ⚠ 包等同最高机密:仅 scp/加密介质传输,验证后删除")
|
||
return 0
|
||
|
||
|
||
if __name__ == "__main__":
|
||
sys.exit(main())
|