github/sub2api
4
0
Fork 0
mirror of https://github.com/Wei-Shaw/sub2api.git synced 2026-10-27 16:07:02 +00:00
Code Issues Packages Projects Releases Wiki Activity
5,975 Commits 49 Branches 64 Tags
5b2a386ed7ff66e3376791cca36e1eebe68fc398
Commit Graph
214 Commits
Author SHA1 Message Date
Randark 901a0439f1 feat: 国产供应商一等支持（Kimi/Zhipu/DeepSeek 多协议 + 配额/余额监控） 
后端：
- 协议凭证维度 credentials[api_protocol] ∈ chat_completions(默认)/anthropic/responses(deepseek)
- /v1/messages 零转换直通原生 Anthropic 端点（kimi/zhipu/deepseek），CC/Responses
  入站交叉组合走 apicompat 双向转换链（responses/chat_completions anthropic-native 转发器）
- count_tokens：anthropic 协议透传原生端点；其余 CN 协议本地 tiktoken 估算
- Coding Plan 额度探测（5h/weekly 滚动窗口）+ payg 余额探测（kimi/deepseek），
  deepseek 双币种 CNY+USD 明细，任一币种达标不停调
- 周期任务 [CNBalance] 并发探测 + 预算随工作量放大；响应式 429 冷却到最早窗口
  重置点；余额不足可恢复临时停调；智谱 CREDIT_LIMIT 不污染窗口解析
- CC→anthropic 流式客户端断开后继续排水上游保住 usage 计量

前端：
- 创建/编辑弹窗 account_mode + api_protocol + base_url 联动预设（含 watcher 竞态防护）
- 用量单元格：kimi/zhipu coding 显示 5h/weekly 窗口，kimi/deepseek payg 显示余额，
  多币种并列展示；探测失败保留快照；挂载自动探测 5min 去抖
- 调度阈值设置面板补 kimi/zhipu 平台（对齐后端 AllowedSchedulingThresholdPlatforms）
 2026-08-15 10:37:51 +00:00
lyen1688 cb7b03795d feat: 优化分组用量统计 2026-08-14 22:34:43 +08:00
IanShaw027 7eb1310701 fix(grok): close free-by-default billing and related review blockers 
H1/H2: bill search and voice with code defaults when group prices are
nil (explicit 0 remains free); bump API key auth snapshot to v19 and
refresh incomplete media/search/audio projections.

M1–M6: free-quota soft gate fails open on cache miss with background
refresh and 60s default TTL; correct password_auth config docs; default
cross-client model map to true (→ grok-4.5); audit /tts and /web_search;
exclude composite from migration 220 video-price clears; never let a
search surcharge mask token pricing failures.
 2026-08-08 14:39:22 +08:00
IanShaw027 6d632eec45 fix(grok): tighten OAuth SSO flow and hide password login 
Require oauth state/redirect consistency, fail closed on missing proxy,
and remove password login from create/reauth UI (admin-only password path stays off by default).
 2026-08-08 01:07:19 +08:00
IanShaw027 72a56f862c fix(grok): free 500k + 对齐 personal-dev tier/时间窗 
- soft-gate 默认额度 500k tokens / 滚动 24h / 95%（门禁 475k）
- soft-gate 仅显式 free OAuth（subscription_tier/plan_type == free）
- isKnownGrokFreeAccount 按 personal-dev（usage% 为 paid 证据、仅 credentials tier）
- 调度阈值仅 grok_sched header quota 窗，去掉 billing 7d/30d 候选
 2026-08-07 18:52:53 +08:00
IanShaw027 7a81468282 fix(grok): 按 review 优先级修复计费漏扣、auth 投影与 free 门禁 
P0: content 与 status 共用 claim 计费；稳定 grok-video request_id；
auth 热路径投影 video_model_prices。
P1: claim 失败释放可重试；视频绑定 TTL≥24h；SSO 凭据白名单与脱敏；
Token URL 校验；free soft-gate 默认 1M 并统一 free 判定；
Voice 预检余额；STT 抗低报；Realtime 失败不计费；search 未定价告警。
 2026-08-07 17:15:43 +08:00
IanShaw027 d0930c4bdb fix(grok): 完善密码与SSO授权能力控制 2026-08-07 14:13:07 +08:00
IanShaw027 ba58e74b33 feat(grok): free 档本地用量软门禁与支付失败临时下线 
对明确 free 的 OAuth 账号在调度路径应用可配置用量窗口门禁（统计失败 fail-open）。
402 payment required / 消费上限类 403 继续临时移出调度，管理端探测不走门禁。
 2026-08-07 13:04:05 +08:00
shaw 287a9f386b fix: 修复腾讯验证码票据过期与区域切换 2026-08-06 21:27:06 +08:00
shaw 8e102b3a0f fix: 完善腾讯验证码区域适配与 CSP 白名单 
修复国内站和国际站 SDK 构造、验证容器、票据重置及动态资源加载问题，并补充认证流程回归测试。
 2026-08-06 20:34:37 +08:00
feeeei 26e0a89323 人机验证增加阿里云验证码 2.0 
沿用腾讯天御验证码引入的多服务商模型：aliyun_captcha_enabled 作为独立
开关，与 Cloudflare Turnstile、腾讯天御三方互斥（保存校验 + 运行时
CAPTCHA_PROVIDER_CONFLICT）。后台「安全与认证」合并为单张人机验证卡片：
总开关 + 服务商单选（Turnstile / 腾讯天御 / 阿里云），选中即启用该家并
关闭其它，落库仍是三个独立开关键，由前端映射保证互斥。

阿里云侧同时支持 aliyun 中国站与国际站（alibabacloud.com）：两站前端脚本、
region 取值与服务端 API 完全一致，仅账号与 AccessKey 相互独立，因此由
「服务地域」决定线路即可——中国内地走 captcha.cn-shanghai.aliyuncs.com，
非中国内地（新加坡）走 captcha.ap-southeast-1.aliyuncs.com，AccessKey
取自持有该实例的账号，无需在配置中区分站点。

- AliyunCaptchaService 对称 TencentCaptchaService：服务端校验走官方 SDK
  VerifyIntelligentCaptcha，调用异常按 fail-closed 拦截，与 Turnstile
  网络错误行为对称；保存设置时真实探测 AK/SK 有效性
- 保护面对齐腾讯扩展入口：VerifyTencentCaptchaIfEnabled 通用化为
  VerifyActionCaptchaIfEnabled，OAuth 登录启动、passkey 登录在阿里云
  启用时同样拦截；Turnstile 维持既有覆盖不扩大
- 前端 AliyunCaptchaWidget 为表单内预验证按钮（popup 模式），同时暴露
  verify() 供 OAuth 启动、passkey 等动作入口程序化弹窗；未预验证直接
  提交时弹窗兜底。SDK 按钮绑定异步完成，弹窗未出现前按 tick 重试触发，
  并轮询弹窗可见性识别用户关闭
- captchaVerifyParam 复用 turnstile_token 请求字段提交；公开设置下发
  aliyun_captcha_enabled / scene_id / prefix / region
- CSP 放行验证码 CDN：script-src/style-src 加 *.alicdn.com
 2026-08-04 20:57:15 +08:00
Wesley Liddick 8b3fe664dc Merge pull request #5261 from lyen1688/feat/tencent-captcha-gate 
新增腾讯天御验证码认证门禁
 2026-08-04 16:39:55 +08:00
lyen1688 e592c5f9e0 新增腾讯天御验证码认证门禁 2026-08-04 15:09:29 +08:00
zhiyu 2eb24814fe fix(codex): 强制统一出站身份并让客户端版本号跟随官方发布 
上游 /backend-api/codex 在容量紧张时按客户端身份分优先级降载，被降载的请求
HTTP 200 后立刻推流内 server_is_overloaded。此前网关对配不出官方身份的客户端
整体回退到硬编码的 codex_cli_rs/0.144.1（落后官方 4 个发布），这些请求稳定
落在被优先丢弃的一侧。

- 强制统一出口：所有 OAuth 出站的 User-Agent / originator / version 一律改写
  为网关规范身份，客户端自报身份不参与构造；HTTP / 透传 / WS / alpha-search /
  探针全覆盖。compat 桥接故意删除 originator 的路径保持 no-op。
- 版本号收敛为单一来源，运行时优先级为面板覆写 → 自动同步值 → 内置常量；
  UA 与 version 头同源派生，不再各自硬编码。
- 新增 3 小时自动同步官方客户端最新稳定版，面板可关闭，无需为跟版本而发版。
- 流内 server_is_overloaded / slow_down 改为先在同账号有界重试再切号，并标记为
  请求级瞬时故障，不再据此临时封禁账号。
- 移除被取代的降载身份黑名单、浏览器 UA 兜底及其辅助函数。
 2026-08-03 20:14:58 +08:00
shaw e1b76e2245 fix(codex): normalize load-shed originators to avoid upstream capacity shedding 
上游 /backend-api/codex 按 Originator 头分桶调度容量：落在降载桶的请求即使返回
HTTP 200，也会立刻推 SSE `event: error`（code=server_is_overloaded）并以
response.failed 收尾。2026-07-29 起 codex-tui 落入降载桶，codex_cli_rs 正常——
判定因子是 originator 而非 User-Agent（codex_cli_rs 配 curl UA 亦可正常返回）。

网关会把该错误判定为瞬时上游故障并冷却账号，对外表现为 Codex 账号频繁过载不可用：
server_is_overloaded → isOpenAITransientProcessingError →
shouldCooldownOpenAITransientUpstreamError → 账号冷却 → 客户端 503。

本项目有三处降载身份来源：浏览器 UA 兜底的默认 UA、客户端透传的真实 TUI 身份、
以及指纹缓存注入探针的 UA。

修复收口在 enforceCodexIdentityHeaders——HTTP / 透传 / WS 握手 / compat 桥接 /
探针 / PAT / 模型列表 / alpha-search 八条出站路径共用的唯一纯函数收口点：

- 新增 NormalizeCodexClientIdentityToCLI，把降载桶身份改写为 codex_cli_rs，
  只替换身份段并裁掉尾部 (name; version) 客户端标识组，保留版本 / OS / 架构 /
  终端指纹；改写后 originator 与 UA 首段仍然配套，不破坏 #3901 的配对不变式，
  且改写幂等。
- DefaultOpenAICodexUserAgent 从 TUI 身份改为 CLI 身份（浏览器兜底路径上最大的
  降载身份来源）。
- 管理端 Codex UA 的 placeholder / hint 原本在把管理员往降载桶引导，一并修正。

新增 gateway.disable_codex_originator_normalization（默认 false，即归一化开启），
供上游调整分桶后回滚。该开关经 NewOpenAIGatewayService 发布为进程级快照，故必须
保持反义命名：正向命名的 Go 零值 false 会让未经 viper 加载而手工构造的 Config
静默关掉全局保护，viper.SetDefault 救不了这条路径。已加用例钉住该属性。

降载桶集合是上游容量策略快照而非协议常量，上游调整分桶后需同步修订。
 2026-08-02 23:00:12 +08:00
shaw da49ce3f29 fix(openai): fail open proxy stream circuit and collapse burst disconnects 
The proxy stream circuit introduced in v0.1.164 (#4749) removes every
account behind a quarantined proxy from scheduling. When all schedulable
accounts share one proxy (a common deployment), two mid-stream
disconnects within a minute zeroed out capacity for 10 minutes and every
request failed with 502. One HTTP/2 connection loss also killed all
multiplexed streams at once, tripping the threshold from a single event.

- Quarantine now degrades to a preference: when the only reason no
  account is available is proxy quarantine, selection retries once with
  the quarantine bypassed, so capacity can never reach zero.
- Disconnects within 3s per proxy collapse into one failure event.
- Add gateway.openai_proxy_stream_circuit.disabled escape hatch.
- A completed stream still clears the quarantine immediately; TTL,
  thresholds and recording guards are unchanged.
 2026-07-31 10:30:30 +08:00
Wesley Liddick 2e432173f7 Merge pull request #4920 from alexj11324/feat/passkey-auth 
feat: add passkey authentication
 2026-07-28 14:58:37 +08:00
shaw 97f44b21bb fix: keep passkey switch coupled to WebAuthn config and fix CI issues 
- parseSettings now reports passkey_enabled=false whenever the WebAuthn
  deployment config is absent: a stale "true" row left behind after the
  config is removed previously made the admin update gate reject every
  settings save while the UI toggle was disabled, leaving no recovery
  path from the admin panel. Added a regression test.
- update the admin settings API contract goldens with the new
  passkey_enabled/passkey_configured/passkey_rp_id/passkey_rp_origins
  fields.
- errcheck: check rows.Close in passkey repository (repo convention).
- staticcheck QF1001: apply De Morgan's law in WebAuthn origin scheme
  validation.
 2026-07-28 11:45:18 +08:00
alfadb 7e65eafbe4 feat: add Kimi K3 support 2026-07-28 10:08:39 +08:00
wucm667 5c471485ab fix(config): honor explicit CONFIG_FILE path 
Make CONFIG_FILE select an explicit config for both full loading and lightweight address lookup, with regression tests.
 2026-07-27 06:20:11 +08:00
Zhixuan Jiang cc62979aa7 feat: add passkey authentication 2026-07-26 09:50:28 -04:00
song 988d4b577e feat(openai): add macOS Live attestation 2026-07-25 12:50:46 +08:00
song e6eb23eaac feat(openai): add Live gateway support 2026-07-25 12:50:46 +08:00
Heatherm Huang 47ad29db3e fix(openai): quarantine proxies after stream disconnects 2026-07-23 00:12:28 +08:00
Jingru Shi 49200d4747 fix(config): support Redis ACL username 2026-07-21 01:31:46 +08:00
shaw 2518691dbc fix(config): 为 trusted_proxies 与 forwarded_client_ip_headers 注册 BindEnv，修复 env 可达性守卫测试 
#4593 引入的 TestConfigKeysAreEnvReachable 与 #4604 新增的两个配置键语义相撞：
两键在 setDefaults 中无注册，守卫测试判定其环境变量不可达。

不能按守卫注释直接 SetDefault：viper 的 IsSet 会连同 defaults 一起上报，
任何已注册默认值都会让 load() 中 trustedProxiesConfigured 的显式配置探测
永远为真，摧毁 #4600 的 absent/empty 区分。改用 BindEnv 注册——绑定键同样
进入 AllKeys()（守卫测试与 Unmarshal 均可见），而变量缺席时不影响 IsSet。
两个环境变量本就由 load() 中 os.LookupEnv 手工解析，行为不变。
 2026-07-20 09:41:02 +08:00
Wesley Liddick bfabfe60c8 Merge pull request #4593 from StarryKira/fix/image-storage-env-unreachable 
fix: 异步生图开关配了却不生效（环境变量被静默丢弃 + 迁移到后台开关）
 2026-07-20 09:20:15 +08:00
JlypxandSisyphus dd0cbe91c9 fix: 避免复制客户端 IP 原子状态 
Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
 2026-07-20 00:22:45 +08:00
JlypxandSisyphus 041db5d824 feat: 支持自定义客户端 IP 请求头配置 
Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
 2026-07-20 00:08:26 +08:00
JlypxandSisyphus 8a147fcc51 fix: 解析显式可信代理配置 
Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
 2026-07-19 21:39:24 +08:00
Jlypx 732aeef880 fix: 兼容反代和 Docker 客户端 IP 解析 2026-07-19 19:41:01 +08:00
harukaandClaude Opus 4.8 37db8d031b fix(config): 让环境变量能真正配置 image_storage 等凭证 
viper.Unmarshal 只解码 AllKeys() 返回的键，而 AllKeys() 只汇总 SetDefault、
配置文件和显式 BindEnv 三个来源。AutomaticEnv 仅能覆盖已在其中的键，无法引入
新键；能兜底的 viper_bind_struct 又被 build tag 排除（我们只用 -tags embed）。

因此任何「没有注册默认值、且不在 config.yaml 里」的配置项，其环境变量会被静默
丢弃。image_storage 的 endpoint/bucket/access_key_id/secret_access_key/
public_base_url 正属此列，于是纯环境变量部署落到最坏组合：IMAGE_STORAGE_ENABLED
生效使 Enabled=true，四个凭证却为空 → Active()=false → 异步生图接口整体 404，
运维看到的却是"凭证不完整"。deploy/docker-compose.yml 默认就是纯环境变量驱动，
且自动生成的 config.yaml 从不写 image_storage 段，必然踩中（见 #4458、#4542）。

同类缺口不止于此：github_oauth、google_oauth、dingtalk_connect 三组第三方登录
配置（含 client_secret）同样完全无法用环境变量设置。

- 为这些键注册零值默认，使其进入 AllKeys() 而可被环境变量覆盖。零值与"键缺失"
  时的解码结果一致，故行为不变。
- sticky_escape_enabled 例外：它的实际默认是 true（靠 IsSet 守卫在解码后补上），
  注册 false 会让 IsSet 恒真而永久关闭该特性，故直接注册 true。
- 启动告警补上 missing_keys 字段，指明到底哪个凭证为空。
- 新增反射守卫测试：Config 结构体上每个可由环境变量表达的字段都必须已注册默认值。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01VHreE5pzCkSYz7J45fmd2Y
 2026-07-18 05:24:32 -07:00
benjamin b92bbf0299 fix: 过滤入口拒绝日志并强化鉴权边界 2026-07-18 00:11:18 +08:00
harukaandClaude Opus 4.8 0eb6e21aaa feat: 异步图片任务结果落对象存储 
为异步生图任务增加 S3 兼容对象存储支持，任务结果不再把大图内联存进 Redis：

- 新增可插拔接口 service.ImageStorage（Save -> url），适配别的厂商只需实现它
- S3 实现 S3ImageStorage（AWS S3 / R2 / 阿里云 OSS / MinIO），与备份共用 S3 客户端构造
- 新增 image_storage 配置（config.yaml + IMAGE_STORAGE_* 环境变量），默认关闭
- enabled 同时作为总开关：关闭或未配置对象存储时，异步生图接口返回 404 且不写
  Redis，从根上避免几 MB 的 b64_json 结果撑爆 Redis
- 完成时把图片上传对象存储并把结果改写为短链接（公开直链或 presigned），
  上传失败则任务标记为失败

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01SM1tf3CFVRzC7guuhBXvMd
 2026-07-15 19:57:37 -07:00
Tian Lee 90ee85f3ef feat: 按上游计费倍率调度 OpenAI 账号 2026-07-16 00:40:46 +08:00
Wesley Liddick 0de768e8be Merge pull request #4221 from heathermhuang/codex/fix-grok-oauth-pool-health 
fix(grok): refresh OAuth pools proactively
 2026-07-15 16:07:09 +08:00
Wesley Liddick bac925624f Merge pull request #4289 from Tiantianr/fix/openai-ws-first-message-timeout 
fix(openai-ws): make first-message timeout configurable
 2026-07-15 15:45:24 +08:00
王鹏 fc4089f292 fix(openai): bound native responses first output wait 
Add an opt-in first semantic output budget for native HTTP Responses, including response-header wait. Keep preamble and keepalive bytes non-semantic so a stalled account can fail over once without replaying its response IDs. Defaults remain disabled.

Related to #4201, #4185, and #4248. Complements the HTTP/2 dead-connection fix in #4207.
 2026-07-15 13:01:16 +08:00
Heatherm Huang 6b25900403 fix(grok): refresh OAuth pools proactively 2026-07-15 09:40:08 +08:00
Tiantianr 74e296703a fix(openai-ws): make first-message timeout configurable 
Add a dedicated client first-message timeout while preserving the legacy 30-second default.

Use the resolved value for both the WebSocket read deadline and structured timeout logs, and document tuning for large requests or slow links.

Add configuration, validation, handler, and resolver regression coverage.

Refs #4158
 2026-07-14 22:40:05 +08:00
Wesley Liddick c361b0606d Merge pull request #4219 from zh239ns/codex/fix-openai-images-nonstream-keepalive 
fix(images): add opt-in non-stream JSON keepalive
 2026-07-14 11:30:28 +08:00
zh239ns 002c0b9fda fix(images): keep non-stream requests alive 2026-07-14 07:39:21 +08:00
bestonyandmultica-agent 54d228dda5 feat(admin): add opt-in server timing metrics 
Co-authored-by: multica-agent <github@multica.ai>
 2026-07-14 01:29:30 +08:00
Bestony@Homelab c8cfc93632 fix(openai-ws): bound ingress session lifecycle 2026-07-13 15:32:42 +08:00
Turtle_Li 3c43fdec11 docs: add batch image PR readiness notes 2026-07-07 03:31:39 +08:00
Turtle_Li 9703ca9d33 merge: sync batch image foundation with upstream main 2026-07-06 13:40:09 +08:00
Turtle_Li 8fab636998 feat: complete batch image workflow 2026-07-06 12:22:04 +08:00
linshuboy f26ca5661e feat: add OpenAI advanced scheduler controls 
Related: #1089, #408, #123
 2026-07-05 17:24:38 +08:00
Turtle_Li a994fbd77a feat: add batch image MVP 2026-07-04 05:30:50 +08:00
shaw a1b2b32e08 fix: prevent silent usage_logs drops under queue overflow (#3656) 
高并发下扣费成功但 usage_logs 被双层异步队列静默丢弃（单用户实测丢失 49%），
导致消费排行与对账缺口。根因是 6a685727 为避免溢出时单行 INSERT 踩踏数据库，
把三处"队列满"改成了立即终态丢弃。

改为有界阻塞背压，兼顾数据不丢与批量写入模式不变：

- CreateBestEffort/createBatched 入队移除 default 立即丢弃分支，
  队列满时阻塞等待（受 detached 15s ctx 期限约束）
- writeUsageLogBestEffort 收到 dropped 不再直接放弃，统一走
  repo.Create 同步兜底（仍经批处理器；ctx 耗尽时换新 detached 窗口），
  重复写入由 ON CONFLICT DO NOTHING 幂等防护
- worker 池默认溢出策略 sample→sync（viper 默认 + 池常量），
  溢出时提交方内联执行（提交点在响应写出后，不阻塞客户端），
  显式配置 sample/drop 的部署不受影响
- 附带修复 ensure*Batcher 的存量数据竞争：channel nil 检查移入 sync.Once

正常负载零行为变化；突发时短暂等待替代永久丢失；数据库只见批量 INSERT。
 2026-07-03 21:02:32 +08:00