github/sub2api
4
0
Fork 0
mirror of https://github.com/Wei-Shaw/sub2api.git synced 2026-10-27 16:07:02 +00:00
Code Issues Packages Projects Releases Wiki Activity
5,469 Commits 49 Branches 64 Tags
e1b76e2245cf099485c86a1d3ebca5303daa690a
Commit Graph
284 Commits
Author SHA1 Message Date
shaw dec47e8fae fix(profit-control): stop leaking profit policy, close veto livelock, restore passthrough turn pricing 
审计修复，逐条如下。

H1 利润策略泄露给所有普通用户
  profit_control_enabled / profit_min_margin / profit_safety_buffer 从
  dto.Group 移到 dto.AdminGroup（后者内嵌前者），赋值相应从
  groupFromServiceBase 移到 GroupFromServiceAdmin；前端 TS 同步从 Group 移到
  AdminGroup。dto.Group 是 GET /api/v1/groups/available 的响应体，该响应本就带
  rate_multiplier，相乘即可反推运营方上游采购成本上限。
  api_contract_test.go 的 /groups/available golden JSON 回滚这三个字段，并把
  fixture 改成非零值（require.JSONEq 是精确比对，缺字段即失败）。
  新增 dto 层边界测试：普通用户 DTO 不含三字段、管理员 DTO 仍含。

M1 利润终检 continue 与 failover 503 退避互动产生活锁
  FailoverState 新增 profitVetoedAccountIDs / profitVetoCount 与
  RecordProfitVeto()：加入排除集 + 计数，达 maxProfitVetoAttempts(10) 返回
  FailoverExhausted。HandleSelectionExhausted 的 503 清空分支改为清空后把利润
  否决的账号放回排除集；若排除集已全部由利润否决贡献，清空不会带来任何新候选，
  直接判定耗尽（否则 SwitchCount 永不前进、退避条件永远成立，每 2s 空转一轮）。
  五个 handler 否决点（gateway_handler ×2 / responses / chat_completions /
  gemini_v1beta）改为经 RecordProfitVeto 决策，耗尽时按无可用账号终止。
  回归测试钉死：503 之后持续利润否决必须有限步终止且不 spin；未启用利润控制的
  请求退避语义完全不变。

M2 排队等槽后才终检，延迟可放大到 N × WaitPlan.Timeout
  OpenAI 侧选号循环（自有 failedAccountIDs map，非 FailoverState）新增
  recordOpenAIProfitVeto + handleOpenAIProfitVetoExhausted，共用同一上限语义。
  覆盖 responses / messages-dispatch / chat_completions / alpha_search /
  embeddings / images / grok_media 七处，以及 WS 两处否决分支。

M4 ws_v2 透传 ingress 绕过 per-turn 重定价（选方案 B：最小止血）
  透传 relay 只回调 AfterTurn、没有任何 turn 起始回调，hooks.BeforeTurn 永远
  不触发，而 handler 把 turnPricingAt 初始化成建连时刻 ⇒ 透传连接全部 turn 按
  建连时刻的高峰因子结算，客户端峰前建连保活即可全程谷价——正是本 PR 想堵的
  漏洞。改为 openAIWSTurnPricing 零值起步、只由 BeforeTurn 冻结；透传路径保持
  零值，RecordUsage 回退记录时刻，与引入利润控制前的基线一致。
  未选方案 A（给透传补 turn 起始回调）：passthrough_relay.go 是 #5167 刚修过的
  取消传播/close frame 时序敏感区；且 BeforeTurn 还承担 turn>1 的并发槽位抢占，
  接进去等于给透传连接引入 per-turn 抢槽，风险远超本次修复范围。透传仍有建连时
  的准入门，只是没有 turn 级复核，已在两处注释写明。
  测试：service 层钉死透传 ingress 不触发 BeforeTurn（含失败时的复核指引），
  handler 层钉死零值语义与逐 turn 覆盖。

M5 装门读分组走了带账号计数聚合的 GetByID
  SchedulerSnapshotService 新增 GetGroupByIDLite，openai/gateway 两处装门改用
  之。门只需要平台/倍率/利润/高峰字段，且该查询发生在「是否启用利润控制」判定
  之前，未启用的分组同样付代价。两个测试 stub 的 GetByID 改成 panic 守卫。

M6 认证快照注释与真实读取路径相反
  门解析优先取 ctxkey.Group，而它就是本快照物化出来的对象，直连流量走的正是这
  条路。改正注释，与 api_key_repo.go 投影处的说明对齐，避免后人照旧注释删列。

M3 rate_multiplier 为 nil 时利润门 fail-closed（不改行为，加护栏）
  保留 fail-closed。补 repository 层测试钉死账号调度快照的 full/metadata 两份
  payload 都必须保留 RateMultiplier（含 0 值），漏列在 CI 就红。

L1 迁移号注释 191 / 191-192 改为实际的 192/193。
L2 admin group Create 的利润配置预校验改用与 CreateGroup 一致的归一化平台
   （新增 service.NormalizeGroupPlatform，两边共用）。保留预校验而非删除：
   service 层返回的是无类型 error，经 ErrorFrom 会变成 500，删掉会把合法的
   400 降级成 500。
L3 前端利润校验的上界改为判定换算后的小数（后端按小数校验 [0,1)），
   99.999% 会四舍五入进位成 1.0 而被后端 400；i18n en/zh 同步改为 0-99.99。
L4 clampProfitControlThreshold / profitControlOverThreshold 抽为共用函数，
   线上装门/否决点与 profit-preview 不再各自实现，附边界语义测试。
L5 profit-preview 补「默认 D 有账号但最低有效 D 归零」的告警（两档都为 0 由
   既有告警覆盖，不重复）。
 2026-08-01 22:39:33 +08:00
Brisbanehuang 20ad5ec506 feat(scheduler): per-group profit control for token account admission 
Group pricing (rate multiplier, peak windows, per-user overrides) and
account cost (accounts.rate_multiplier) already live side by side, but
nothing stops the scheduler from handing a request to an account whose
cost multiplier exceeds what the group's pricing can profitably serve.
Add an opt-in per-group profit gate that filters scheduling candidates
by a margin rule, while ordering, scoring, stickiness and breakers keep
working unchanged among qualified accounts.

Admission rule: an account qualifies iff U <= D * (1 - min_margin -
safety_buffer) within a small relative epsilon, where U is
accounts.rate_multiplier (0 is legal; missing/negative/NaN/Inf are
conservatively rejected as invalid) and D is the requester's effective
downstream multiplier (user-group override ?? group default, times the
group peak factor) frozen at the request's pricing instant.

- groups gain profit_control_enabled / profit_min_margin /
  profit_safety_buffer (migration 191); the durable auth-cache
  invalidation trigger additionally watches the profit and pricing
  columns (migration 192) so out-of-band group edits cannot leave
  stale auth snapshots; GetByKeyForAuth explicitly projects the new
  columns and the API-key auth snapshot version is bumped to force a
  refresh of pre-existing snapshots
- request-level pricing instant: token entry points install pricingAt
  into ctx; the profit threshold D and the RecordUsage peak factor
  read the same instant, so one request never changes price mid-flight
  across waits/retries/failover (media and unwired paths keep the
  existing record-time semantics)
- the gate covers token requests on openai, anthropic, gemini, grok
  and antigravity groups: OpenAI-family handlers via
  WithOpenAIRequestPricingContext (responses incl. WS bridge, chat
  completions, messages, embeddings, alpha search), the shared gateway
  via WithGatewayTokenRequestPricing (messages, chat completions,
  responses, gemini model actions); composite groups cannot enable it
  directly; image/video/models/usage/count_tokens stay ungated and an
  explicit image-generation intent suppresses the gate end to end
- post-slot recheck: after a slot is acquired the account is re-read
  via SchedulerSnapshotService.GetAccount (scheduler cache, then DB;
  only when both fail the check fails open with WARN + metric); a
  vetoed account releases its slot and joins the request's exclusion
  set for reselection; sticky bindings are written only after the
  final check passes, and an over-threshold sticky account is skipped,
  not deleted, so it comes back once its rate recovers
- sticky-session cache contract: GatewayCache.GetSessionAccountID now
  returns ErrStickySessionNotFound on a miss (mapped from redis.Nil in
  the repository implementation, mirroring ErrRefreshTokenNotFound) so
  the profit sticky path can distinguish "no binding yet" from a real
  read failure without importing the cache driver in service code
- cross-group re-entry (composite parent -> member group) resolves the
  gate against the member group and clears a stale parent gate instead
  of letting a foreign threshold veto accounts
- per-platform/group activity counters (installs, threshold vetoes,
  invalid-rate vetoes, refresh failures) for observability
- admin UI: profit-control section on the five platforms' group forms
  with percent input, validation and platform-switch reset; group
  create/update/duplicate normalize and validate the config at a
  single choke point
- cmd/profit-preview: offline what-if tool that replays the production
  admission semantics over an exported config/account/override/model
  dump, reports per-model admitted-account counts under the default
  and the worst-case (lowest user override) D, and surfaces probe-sync
  staleness as warnings without affecting admission

Tests: service unit coverage for gate resolution/veto/threshold
epsilon/pricing instant/suppress marker/scheduler filtering and
post-slot recheck (incl. -race on the profit surface), unit-tagged
handler slot-recheck and capability-mapping regressions, sqlmock and
real-PostgreSQL integration regressions for the GetByKeyForAuth
projection and the migration-192 trigger watch list, API contract
update, and frontend specs for the five-platform form helpers.
 2026-08-01 22:39:31 +08:00
wucm667 739c0ff9c5 feat(home): add compact home page preset to avoid abuse classification 
- Add compact_home_enabled setting to provide a minimal landing page
- Preserves custom home_content priority over compact mode
- Renders only site identity, navigation, and login/dashboard link
- Avoids marketing copy that triggers anti-fraud systems
- Includes focused backend/frontend tests and i18n support

Fixes #5065
 2026-07-30 16:28:19 +08:00
feeeei 720c405e35 feat: add model plaza with group-scoped pricing showcase 
- public /model-plaza page (standalone + admin-embedded) listing groups
  with discounted effective prices alongside LiteLLM official reference
- faceted platform/group/rate filters: cross-dimension options gray out
  instead of disappearing, platform-tinted chips via accent color-mix
- paid-price columns highlighted with per-platform tint band
- OptionalJWT middleware so anonymous and signed-in users share one route
- admin settings: enable switch, require-auth switch, markdown description
 2026-07-28 16:19:41 +08:00
Wesley Liddick 2e432173f7 Merge pull request #4920 from alexj11324/feat/passkey-auth 
feat: add passkey authentication
 2026-07-28 14:58:37 +08:00
shaw fead4c7ec3 feat(security): add panel API rate limiting to protect DB from high-frequency requests 
用户可高频刷面板接口（usage/dashboard 等重聚合查询）直接打爆数据库：
现有限流器只覆盖登录/注册等公开认证入口，登录后的全部面板端点无任何限流。

三层防护（阈值均可在后台可视化配置，panel_rate_limit_settings）：

1. 认证面板接口按「用户 ID」限流，与来源 IP 无关——反向代理/NAT 共享出口
   （所有请求源地址坍缩为 127.0.0.1 等）不会互相误伤：
   - Global 档（默认 240 rpm/账号）：user/auth/payment/admin 全部登录后路由
   - Heavy 档（默认 60 rpm/账号）：/usage、/usage/dashboard/*、
     /user/api-keys/:id/usage/daily 等重 SQL 聚合端点叠加计数
   - 管理员默认豁免（可关闭）

2. 无认证公开接口（/api/v1/settings/*，每次请求都查 DB）按安全客户端 IP
   限流（默认 300 rpm/IP）；回环/私网/链路本地地址（反代内部转发地址）
   一律跳过计数，杜绝把整条反代链路合并进同一个桶造成大面积误拦截。

3. 修复既有隐患：auth 入口限流的 IP 取值从 c.ClientIP() 切换到与审计日志/
   会话绑定/API Key ACL 同源的安全客户端 IP 解析（尊重后台「信任反代转发
   IP」开关快照）。原实现下默认反代部署（未配置 server.trusted_proxies）
   所有用户共享同一个登录限流桶，既会全员误拦也可被单人恶意占满形成登录
   DoS；开关关闭时行为与原来完全一致。

工程约束：
- 配置热路径走进程内缓存（atomic.Value + singleflight，60s TTL），
  限流中间件零 DB 访问；保存后当前节点立即生效
- 面板限流 Redis 故障 fail-open（auth 入口保持原有 fail-close）
- 429 响应携带 Retry-After；错误码 RATE_LIMITED
- 支付 webhook / 公开支付回调有意不挂限流
- 新增 GET/PUT /api/v1/admin/settings/panel-rate-limit；设置页安全 tab
  新增「面板接口限流」卡片（zh/en i18n 全量）

测试：rate_limiter/panel_rate_limit/setting_panel_rate_limit 单测全绿；
routes、handler/admin、-tags unit 契约测试通过；前端 vue-tsc/ESLint/
SettingsView spec（26/26，含新增交互用例）/i18n 守卫全部通过。
 2026-07-27 15:12:51 +08:00
Zhixuan Jiang 357c5b917b feat: add passkey sign-in settings control 2026-07-26 11:07:12 -04:00
Zhixuan Jiang cc62979aa7 feat: add passkey authentication 2026-07-26 09:50:28 -04:00
shaw 5374ce2a0f Merge remote-tracking branch 'origin/main' into feature/openai-live-gateway 2026-07-25 15:16:05 +08:00
song e6eb23eaac feat(openai): add Live gateway support 2026-07-25 12:50:46 +08:00
Edison42 1c0cb24c7e feat(usage): persist client session identifiers 2026-07-24 01:22:34 +08:00
alfadb 5ac4a9fac2 feat(ollama): 支持 Cloud 官方用量自动刷新 2026-07-23 15:50:44 +08:00
wjx2951874 7914433011 feat(payment): add mobile Alipay precreate deep link 2026-07-22 19:18:04 +08:00
zhaozewu 6af622c340 feat(groups): add OpenAI reasoning policy 
Persist reasoning ceilings and exact mappings for OpenAI groups, enforce them across HTTP and WebSocket forwarding, and invalidate cached auth snapshots.
 2026-07-21 11:02:43 +08:00
JlypxandSisyphus 3c86e249f4 feat: 接入客户端 IP 请求头管理接口 
Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
 2026-07-20 00:09:21 +08:00
shaw 539bfc8bad feat(security): 敏感操作 step-up 2FA 开关化，安全开关默认关闭 
新增系统设置 step_up_enabled（默认关闭），把敏感操作 2FA 门控做成可开关；
同时将会话 IP/UA 绑定默认值从开启改为关闭，避免用户因 IP 变动登录后掉线。

## 新增功能
- 敏感操作 step-up 2FA 总开关 step_up_enabled（默认关闭）：关闭时账号/代理导出、
  备份创建/下载、S3 配置修改、提升管理员等操作恢复门控引入前的直接放行行为；
  开启后要求当前会话在 15 分钟内完成过 TOTP step-up 验证。

## 优化改进
- 会话 IP/UA 绑定默认改为关闭（功能保留，可在设置页按需开启）。
- 开启 step-up 开关需操作者本人已启用 TOTP（防自锁）；关闭开关本身作为敏感操作，
  需通过 step-up 验证（防止攻击者拿到会话后先关闸再导出/备份）。
- 两个安全开关请求字段改为可空指针（省略=保持现值），避免旧客户端全量保存时
  静默重置安全开关。
- 备份恢复（整库覆盖可回滚安全设置）纳入 step-up 门控。
- 审计摘要 diffSettings 补记 step_up_enabled / session_binding_enabled 变更。

## Bug 修复
- 修复 BackupView 恢复操作 409（恢复进行中）判断未适配 apiClient 扁平化错误对象。
 2026-07-18 10:46:42 +08:00
shaw 0ddd58aaf9 feat(security): 操作审计日志 + 会话IP/UA绑定 + 敏感操作 step-up 2FA 
应对管理员访问凭证失守导致的数据外泄风险，新增三层防护：

审计日志（admin-only 可见，用户不可见）
- 新增 append-only audit_logs 表（migration 180）+ 异步批量写入 + 保留期清理
- 审计中间件挂在 admin/user/auth/admin-payment 组认证之后：记录所有变更类
  请求 + 白名单敏感读取（账号/代理导出、备份下载、admin/user API key 读取）
- 请求头凭证首尾掩码；请求体 JSON 递归脱敏（api_key/password 等擦除，base_url
  保留以便追责）；非 JSON body 不入库
- 无单条删除；全量清空需现场 TOTP 校验、拒绝 admin API key、未启用 2FA 不允许，
  清空后同步写入留痕记录

会话 IP/UA 绑定（默认开启，可在系统设置关闭）
- JWT 携带 session id + IP/UA 指纹哈希；IP 或 UA 任一变化即撤销会话家族并要求
  重新登录；旧 token 无指纹时放行以平滑升级

敏感操作 step-up 2FA（sudo 窗口 15 分钟）
- 账号/代理导出、DB 备份创建/下载、S3 目标修改要求近期 TOTP 二次验证；admin API
  key 一律拒绝；前端 useStepUp 组合式 + TotpStepUpDialog 弹码后自动重试
- API key 查看按需求暂不加强管控

前端：新增 /admin/audit-logs 操作日志页面（筛选/详情/2FA 清空）、侧边栏入口、
step-up 弹窗接入导出与备份流程、安全设置项（绑定开关 + 日志保留天数）、zh/en i18n
 2026-07-16 13:47:50 +08:00
shaw 0408bdb34f Merge remote-tracking branch 'origin/main' into feat/upstream-rate-scheduling 
# Conflicts:
#	backend/internal/handler/openai_gateway_handler.go
 2026-07-16 10:31:21 +08:00
harukaandClaude Opus 4.8 62d57c02d8 feat(billing): usage_logs 单独记录图片输入 token 与费用 
图片编辑/图生图请求的图片输入 token 此前并入 input_tokens/input_cost，
无法对账。拆分上报口径，total_cost 保持不变。

后端:
- CostBreakdown 新增 ImageInputCost；computeTokenBreakdown 将图片输入费用
  从 InputCost 拆出（InputCost 从此仅含文本输入），并纳入 tier 倍率与总额；
  长上下文合并路径同步携带 ImageInputCost
- 迁移 179：usage_logs 新增 image_input_tokens / image_input_cost 列
- UsageLog、insert/query 仓储（含定位参数数组、CTE 列表、扫描顺序）、
  DTO 与 mapper 补齐两列
- openai_gateway_usage 从 usage 与 cost 落库图片输入 token/费用

前端:
- UsageLog 类型、imageUsage 工具（hasImageInputTokens/Cost、textInputTokens）
- 用量表 token 徽标、Token/费用 tooltip 与单价行按图/文输入拆分展示
- zh/en usage.* i18n

测试:
- 新增 gpt-image-2 图片编辑复现用例（复现 #4386 的 $0.016081 期望值）
- 新增 usage 提取器图片输入 token 解析用例（input_tokens_details.image_tokens）
- 更新 doubao 图文分价用例与仓储/契约测试以匹配新的 input/image 拆分口径

相关 #4386。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_015wcJTKDddxXSQrepSs3wrU
 2026-07-15 10:03:38 -07:00
Tian Lee 90ee85f3ef feat: 按上游计费倍率调度 OpenAI 账号 2026-07-16 00:40:46 +08:00
Yuhao Jiang 736824dd7a feat(affiliate): add admin recharge rebate option 2026-07-15 04:28:55 -05:00
cat d68a2aac1a chore(openai): 同步上游并解决认证冲突 2026-07-14 19:04:04 +08:00
cat 1dab126944 feat(openai): 支持 Agent Identity 认证 2026-07-14 17:05:46 +08:00
benjamin 0d9c140bc2 Merge upstream/main into fix/api-double-billing 2026-07-13 11:10:33 +08:00
shaw 7cbb36f278 feat(billing): Codex alpha/search 网页搜索按次计费 
- alpha/search 成功请求（上游 2xx）按次计费落 usage_logs（billing_mode=per_request），
  上游错误透传/failover 不计费；使用 mandatory 池提交，池满同步兜底不丢扣费
- 单价默认 0.01 USD/次（官方 $10/1000 次），分组新增 web_search_price_per_call
  覆盖价（0=免费，负数/留空=默认价），实际扣费叠加分组费率倍数（与 token 口径一致）
- 分组字段全链路：ent schema + 迁移 174 + 端口快照 v15 + admin 创建/更新 + DTO
- 前端分组表单（openai 平台）新增单次价格配置，实时预览应用当前倍率后的单次价格
- 该端点鉴权维持仅 OpenAI 分组（非 OpenAI 分组 404）
 2026-07-13 09:54:51 +08:00
benjamin 92dcfb5ebc fix(billing): 按账号控制 OpenAI 长上下文计费 2026-07-13 09:47:19 +08:00
Lyonle f2966530c5 feat(openai): 支持用户级 Fast/Flex 策略 2026-07-10 15:16:09 +08:00
Wesley Liddick 9ba0fb3084 Merge pull request #3775 from heathermhuang/codex/grok-media-pricing-labels 
fix: add Grok video pricing controls
 2026-07-09 15:03:38 +08:00
wucm667 e0d149d511 feat(api-key): show last used IP 2026-07-08 15:26:54 +08:00
Heatherm Huang 4d702e3234 fix: split Grok image and video pricing 2026-07-08 13:50:49 +08:00
Turtle_Li 1b07fe821a merge: sync batch image branch with origin main 2026-07-07 03:27:11 +08:00
Wesley Liddick d1d3400b69 Merge pull request #3645 from bestony/worktree/lucky-harbor-dbe4 
feat(keys): add api key concurrency stats
 2026-07-06 16:45:15 +08:00
shaw d56e94b875 feat(payment): 订阅 CNY 换算改为独立汇率配置的显式 opt-in 
- 新增 SUBSCRIPTION_USD_TO_CNY_RATE 配置（1 USD = X CNY，默认 0=关闭），
  替代复用 balance_recharge_multiplier 的隐式换算，促销倍率与订阅定价解耦
- 未配置汇率时订阅保持 price 直付的存量行为，存量部署升级零影响
- 前端确认页/原价/手续费/方式限额与后端换算条件严格镜像（rate>0 且币种为 CNY）
- 管理后台新增汇率配置输入（zh/en 文案），checkout-info 透出 subscription_usd_to_cny_rate
- 单测锁定：汇率未配置时不换算、换算使用汇率而非余额倍率、余额订单不受影响、返利仍按 USD price
 2026-07-06 14:34:17 +08:00
Turtle_Li 9703ca9d33 merge: sync batch image foundation with upstream main 2026-07-06 13:40:09 +08:00
Turtle_Li 8fab636998 feat: complete batch image workflow 2026-07-06 12:22:04 +08:00
linshuboy f26ca5661e feat: add OpenAI advanced scheduler controls 
Related: #1089, #408, #123
 2026-07-05 17:24:38 +08:00
shaw 11a3da65c0 fix(group): harden peak-rate config handling and label peak windows with server timezone 
Follow-up fixes to #3569 based on code audit:

- Expose server_timezone / server_utc_offset in public settings (and the
  __APP_CONFIG__ injection payload) and label every peak-window display
  with the server UTC offset, so users don't misread the billing window
  as browser-local time
- Unify CreateGroup/UpdateGroup peak-config sanitization via a single
  NormalizePeakRateConfig chokepoint: non-subscription groups always get
  peak fields cleared; unparseable window strings and negative
  multipliers are scrubbed when peak is disabled
- Replace hot-path time.Parse in PeakMultiplierAt with a manual HH:MM
  parser (accept set verified byte-for-byte identical to
  time.Parse("15:04") by exhaustive fuzzing) and reuse it in validation
- Revert the zero-behavior CalculateCost indirection churn in
  billing_service/gateway_service introduced by #3569
- Remove dead GetGroupPlatformMap and the duplicate deref helper in the
  admin handler package
- Share frontend peak formatting via utils/peak-rate.ts, unify the ×N
  label format, and move hardcoded Chinese tooltips to i18n keys
 2026-07-02 16:11:07 +08:00
Bestony@Homelab 089a7b7fae feat(keys): add api key concurrency stats 2026-07-02 15:58:29 +08:00
xueshiji 5e99561d6e Merge branch 'Wei-Shaw:main' into main 2026-07-01 17:48:42 +08:00
Wesley Liddick 0a9146c3d1 Merge pull request #3586 from deqiying/codex/fix-subscription-revoke-soft-delete 
修复订阅撤销操作实际上是软删除的bug
 2026-07-01 15:38:45 +08:00
xueshiji 8b46994dc2 Merge branch 'Wei-Shaw:main' into main 2026-07-01 14:01:03 +08:00
xueshiji 5e9529bb88 Merge branch 'Wei-Shaw:main' into main 2026-07-01 14:00:51 +08:00
DaydreamCodingandClaude Sonnet 5 bdf7ead157 feat(spark-shadow): OpenAI Spark 链接型影子账号 
背景:gpt-5.3-codex-spark 使用独立于 codex 全局(5h/7d)的配额窗口(数据源是
/wham/usage 响应体的 codex_bengalfox,而非 codex 全局用的 x-codex-* 响应头),且
只能挂在已完成 OAuth 授权的 OpenAI 账号下复用其登录态,不能作为独立账号单独接入。
为此新增“链接型影子账号”(spark shadow account):影子账号本身不持有任何凭据,
通过 parent_account_id 指向母账号,凭据/token/代理透传自母账号并共享母账号的刷新
周期,仅在配额维度(quota_dimension=spark)和用量窗口上与母账号完全独立调度、互不
连坐。

实现:
- 数据模型:migration 154(+154a)给 accounts 表加 parent_account_id /
  quota_dimension 列 + 4 条约束(维度合法 / parent⟺非 global 维度一致 / 禁自指 /
  FK)+ 2 个 CONCURRENTLY 索引(母账号索引 + 每母账号至多一个影子的唯一索引)。
- 创建:POST /api/v1/admin/accounts/:id/shadow(CreateShadow)—— 一母一影(唯一
  索引兜底并发竞态),继承母账号 proxy/分组/并发/优先级(显式传参可覆盖),默认
  model_mapping 恒等映射到 spark(拒绝非 spark 模型),母账号必须是真实的 OpenAI
  OAuth 账号(非影子)。
- 凭据透传:resolveCredentialAccount 把影子解析回母账号,GetAccessToken / 请求头
  / WS 三条路径统一走此函数;影子自身 Credentials 恒为空(仅允许写 model_mapping),
  凭据写入的汇聚点 persistAccountCredentials 对影子早返 no-op,防止误写。
- 调度:parentHealthyForShadow 只看母账号是否仍是 OpenAI OAuth + 凭据/传输是否
  可用(active、token 未过期、未处于 401/刷新失败/传输故障导致的临时不可调度冷却),
  刻意不看母账号的 global 限流窗口——两条 429 道互不连坐。
- 用量:影子的 codex_5h/7d 走 OpenAIQuotaService.QueryUsage(/wham/usage 的
  codex_bengalfox),与母账号走的 WSv2 探测(/responses 头)完全独立的数据源、
  刷新节流与 staleness 判定。
- 备份:ExportData 显式排除影子账号(影子不持凭据,通用凭据型导入强制
  credentials 非空、无法表达父子链接),按 skipped_shadows 计数提示前端。
- 前端:账号操作菜单新增“创建 Spark 影子”入口,影子行展示回填的母账号信息
  (邮箱 / plan / 隐私模式 / 订阅到期 / chatgpt_account_id),批量操作自动跳过
  影子账号。

说明:migrations 目录用完整文件名(而非纯数字前缀)标识迁移,故本次新增的
154_account_spark_shadow.sql / 154a_..._notx.sql 与已有的
154_add_ops_system_logs_api_key_id.sql 按序号共存,与目录里 145/151 已有的
先例一致。

测试:新增约 20 个测试文件,覆盖 handler(CreateShadow 校验 / 母账号信息回填)、
repository(影子 round-trip / 一母一影唯一索引 / 迁移 schema)、service(凭据
透传三路径 / 调度母健康门 / 用量窗口来源与刷新节流 / CRS 母账号不变量 / 各类
早返与 fail-closed 场景)及前端组件(账号列表 / 操作菜单 / 用量重置)。

验证(镜像 CI;golangci-lint 首次全量分析耗时过长被跳过,其余全部实测):
- gofmt -l:干净
- go build ./... / go vet ./...:通过
- go test ./... -count=1:全绿(全部包 ok,含 internal/service、
  internal/repository、migrations)
- go test -tags integration ./internal/repository/... ./internal/service/...
  (真实 Postgres,testcontainers):全绿,含迁移幂等性
  (TestMigrationsRunner_IsIdempotent_AndSchemaIsUpToDate)与影子相关全部用例
- pnpm lint:check / pnpm typecheck / pnpm build(真实 vite 构建)/
  pnpm vitest run:全绿(124 文件 760 用例)

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
 2026-07-01 12:21:45 +08:00
shaw 59e9356c51 feat: 抹除 Anthropic OAuth 请求中客户端 dateline 隐写指纹 
对 /v1/messages 转发到 Anthropic OAuth/setup-token 账号的请求做 dateline
归一化，将 system prompt 与 <system-reminder> 块中 "Today's date is …"
语句里的 4 种撇号变体与 "/" 日期分隔符还原为 ASCII 撇号 + "-"，抹除某些
客户端在检测到非官方 base URL 时注入的 3 bit 隐写指纹。API Key 账号不受
影响。新增系统设置开关 enable_client_dateline_normalization，默认开启。
 2026-07-01 10:54:18 +08:00
deqiying 03727ac363 fix(subscription): 修复订阅撤销软删除失效 
总: 增加明确的订阅撤销接口，修复撤销后的缓存失效和管理端 revoked 展示。

分: 同步失效订阅 L1 与 billing cache，补跨实例失效通知、soft-delete-aware 列表查询、revoked_at DTO 字段和回归测试。
 2026-07-01 00:37:51 +08:00
PMExtra cafc95c3e2 feat: align user usage analytics with admin 2026-06-30 15:31:28 +08:00
xueshiji 915c60b150 feat(group): 订阅分组新增可选的高峰时段倍率，以支持智谱等coding plan的高峰时段 2026-06-30 14:17:05 +08:00
DaydreamCodingandClaude Opus 4.8 819fda34d9 feat(codex-detect): codex_cli_only 检测加固 + 引擎指纹统一信号列表 + 账号级 app-server 
将 codex_cli_only 客户端识别从「单一 strict 开关 + 固定 OR 头集合」重构为
可逐项管理的引擎指纹信号列表，加固整条判定链，并补齐账号级 app-server 控制、
对齐前端设置文案。

判定链（每步可短路）：
- 账号未开 codex_cli_only → 不限制；gateway.force_codex_cli → 旁路放行
- 全局黑名单命中（OR 宽 deny）→ 立即拒
- 身份候选：官方 UA（strict，仅前缀）/ 官方 originator（OR）/ 全局白名单（双因子 AND）
  / 全局 app-server 开关 OR 账号 app-server 开关；均不命中 → 拒
- 版本门（仅官方候选）：UA 须可解析引擎版本，再校验 [min,max] 区间
- 引擎指纹 AND 硬门：按信号列表逐条勾选 AND、每条行内变体 OR；无 Required 信号 → 放行

引擎指纹信号列表（唯一真源）
- 新增 openai.EngineFingerprintSignal 类型 + EvaluateEngineFingerprint 求值器
  （勾选 AND / 行内变体 OR / 无勾选 → 放行）
- CodexRestrictionPolicy 增 EngineFingerprintSignals；信号列表单一决定是否启用指纹门，
  不再保留独立「要求引擎指纹」总开关（与「信号全不选」语义重复）
- 新设置键 codex_cli_only_engine_fingerprint_signals（默认只勾 x-codex- 前缀）；
  旧 body 指纹开关幂等迁移并入信号列表；wire 接线
- 黑/白名单自由条目、命名预设、版本区间 全局设置管线
- gateway 缺 settingService（仅测试/误配可达）时指纹门回退默认种子信号、失败关闭，
  不再因零值 policy（nil 信号）失败开放

账号级 Codex app-server（替换已失效的 ClaudeCode 放行机制）
- account.IsCodexCLIOnlyAppServerAllowed() 读 extra.codex_cli_only_allow_app_server，
  仅在 codex_cli_only 开启时生效；候选身份门「全局 OR 账号」，与旧系统双层控制对齐
- 移除已无入口的 claude_code 预设机制（allowedClientRegistry / MatchAllowedClients /
  账号 GetCodexCLIOnlyAllowedClients / reason）；白名单 AllowedClientEntry / IsAllowedClientMatch 保留

门加固（反伪 + 写入校验）
- 官方 UA 访问门改 strict：IsCodexOfficialClientRequestStrict 仅前缀匹配，收窄「浏览器前缀 +
  中段 codex token」伪造面（strict 仍保留 Codex 家族前缀与 UA 尾部兜底，故对「任意前缀 +
  官方尾部 (name;ver)」仍放行——与 UA 可伪造、真正反伪靠引擎指纹门的设计一致）
- 官方客户端识别扩展：新增 codex-tui/、codex_vscode_copilot/ 前缀 + UA 尾部 (name;ver) 兜底
  （恢复 CODEX_INTERNAL_ORIGINATOR_OVERRIDE 的真实 client，如 cccc→codex-tui），originator 改
  精确集。该识别经 IsCodexOfficialClientByHeaders 被 passthrough 复用，故透传的官方判定一并
  修正（codex-tui 等不再被误改写 UA）——非「行为不变」，属有意修正
- 白名单写入校验 ValidateCodexWhitelistEntriesJSON + AllowedClientEntry.IsWhitelistable：
  双因子 AND 条目须可命中（非空 originator + 非空 ua_contains），拒绝写入会静默失效的死规则；
  黑名单（OR 宽 deny，允许 originator-only）不受约束

管理端 / 前端
- handler / DTO / settings_view / 契约测试；gateway 接入判定链
- 信号列表编辑器（替换 body 开关）、api 类型、SettingsView；无勾选给常驻警告
- Create/Edit/Bulk 三弹窗「Codex Only」下新增 app-server 开关（OR 合并全局）
- 文案：UA/Originator → User-Agent/Originator；黑/白名单重命名为 User-Agent/Originator 黑/白名单；
  「允许 App Server 第三方客户端」→「Codex app-server」+ 简介示例；i18n zh/en 同步
- 移除死代码 HasCodex*Fingerprint helper

测试：引擎指纹求值器 / 账号 app-server（OR 语义）/ detector（含 N1 strict、失败关闭）/
白名单写入校验 / BulkEdit spec 等；后端 build + service/openai/admin 单测全绿，前端 vue-tsc + vitest 全绿。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 16:19:41 +08:00
Wesley Liddick 16765bde69 Merge pull request #3230 from DaydreamCoding/feat/openai-cyber-policy-passthrough 
feat(openai): cyber_policy 硬阻断全链路透传、审计与计费
 2026-06-16 16:55:51 +08:00
dailingfei 8ce7b9a8f6 feat: configure Claude OAuth system prompt blocks 2026-06-13 04:12:13 +08:00