github/sub2api
4
0
Fork 0
mirror of https://github.com/Wei-Shaw/sub2api.git synced 2026-10-26 08:02:08 +00:00
Code Issues Packages Projects Releases Wiki Activity
4,370 Commits 49 Branches 64 Tags
29a5fcd25e997d1bcdd29ff2c30d33fc9265e8a3
Commit Graph
2313 Commits
Author SHA1 Message Date
superman2003andCursor 29a5fcd25e fix(gateway,frontend): 修复鉴权绕过与前端支付/会话缺陷 
后端:
- Gemini /v1beta 鉴权中间件补齐主中间件的授权校验: API Key 的 IP 白/黑名单、
  专属分组授权、运行时过期/配额二次检查, 修复经 Gemini 端点绕过 IP ACL、
  越权访问专属分组、以及状态未刷新时的配额/有效期绕过窗口。
- 粘性会话等待计划分支改走 newSelectionResult 以 hydrate 账号凭证, 修复调度
  快照中账号凭证被剥离导致等待路径转发鉴权失败。
- SSE 流式转发客户端断开时不再 break 跳过当前事件 usage 合并, 修复少计费。
- Forward 对 nil gin.Context 的防御补齐; 上游错误体读取失败时记录日志避免静默。

前端:
- logout 将本地会话清理移入 finally, 服务端吊销失败也保证本地登出。
- Stripe 弹窗轮询改用正确的 auth_token 键并加防重入; 收到 INIT 后清除兜底
  超时定时器, onUnmounted 清理 message 监听器。
- token 刷新请求补充 30s 超时, 避免挂起导致请求队列与 loading 永久卡死。
- 路由守卫在公共设置未加载时先 await fetchPublicSettings, 避免 payment/
  risk_control 被误判为未启用而错误拦截。
- 支付状态轮询回调补充防重入与终态守卫。

Co-authored-by: Cursor <cursoragent@cursor.com>
 2026-07-09 09:06:56 +08:00
shaw a56eb5b4dc fix(compact): body-signal 提升上移到 handler 层并对齐 path-based 链路 
合并 main 解决拆分冲突后，将原先 Forward 内的 body-signal 提升重构到
handler 的 compact 归一化入口之前，修复原方案的四个问题：

- reqStream 未重推导：body-signal 原始请求带 stream:true，Forward 级提升
  后 compact 上游返回 JSON（Accept: application/json）却被流式 handler
  解析，"stream ended before a terminal event" 会触发最多
  max_account_switches 次换号 failover，且每次都白烧一次上游 compact 配额；
  handler 级提升让白名单归一化先删除 stream，reqStream 自然为 false。
- requireCompact 调度过滤失效：原方案 path 改写发生在 requireCompact 判定
  之后，调度器不会过滤不支持 compact 的账号；现在改写先于该判定。
- passthrough / Grok / chat-completions 桥接分支位于 Forward 检测点之前，
  passthrough 账号完全无法命中；handler 级改写对所有分支生效。
- body 归一化口径不一致：body-signal 现在与 path-based 一样走白名单归一化
  （prompt_cache_key 等一并删除），而非仅依赖 OAuth 黑名单转换。

检测函数导出为 HasCompactionTriggerInInput 供 handler 使用，保留原 PR 的
7 个单测；新增 6 个 handler 级回归测试（提升、codex 别名路由、尾斜杠、
子路径不误伤、path-based 无双重后缀、普通请求不受影响）。

Refs #3777
 2026-07-08 10:04:14 +08:00
shaw a855317624 Merge remote-tracking branch 'origin/main' into fix/compact-body-signal-routing 
# Conflicts:
#	backend/internal/service/openai_gateway_service.go
 2026-07-08 09:57:31 +08:00
shaw f013bc1141 refactor(service): 纯移动拆分 admin_service.go（4409→642行） 2026-07-08 08:49:22 +08:00
shaw 2a4c28e8f5 refactor(service): 纯移动拆分 antigravity_gateway_service.go（4664→639行） 2026-07-08 08:49:22 +08:00
shaw d0f669338b refactor(service): 纯移动拆分 openai_ws_forwarder.go（4675→399行） 2026-07-08 08:49:21 +08:00
shaw 4d23ad4bac refactor(service): 纯移动拆分 openai_gateway_service.go（4872→1095行） 2026-07-08 08:49:21 +08:00
shaw 50043b1176 refactor(service): 纯移动拆分 setting_service.go（5471→263行） 2026-07-08 08:49:20 +08:00
shaw 084d26cbd2 refactor(service): 纯移动拆分 gateway_service.go（7294→1289行） 2026-07-08 08:49:20 +08:00
shaw d754be0d8e refactor(gateway): 抽取 CC forwarder 公共管线并拆分两大 service 文件 
PR #3802 遗留项：三个 CC forwarder（raw 直转 / responses 回退 / messages
回退）间约 85% 重复的 HTTP 管线与 SSE 循环骨架收敛到新文件
openai_gateway_cc_pipeline.go，messages / chat_completions 两条主路径中
逐字相同的错误处理块一并接入。各路径有意保留的行为差异（GLM effort
归一化、fast policy 适用范围、ClientDisconnect 语义、Grok 分支等）留在
调用方，未强行统一。

同时对两个最臃肿的网关文件做纯移动拆分（零语义变化，逐字节校验）：

- openai_gateway_service.go 7821→4872 行：
  调度 → openai_gateway_scheduling.go
  passthrough → openai_gateway_passthrough.go
  用量/计费/codex 快照 → openai_gateway_usage.go
- gateway_service.go 10912→7294 行：
  调度 → gateway_scheduling.go
  Anthropic APIKey 直通 → gateway_anthropic_passthrough.go
  Bedrock → gateway_bedrock.go

回归保障：全部搬迁块与 HEAD 逐字节 diff 一致；留存文件经"HEAD 减去搬迁
范围"重构比对，差异仅为 goimports 移除的孤儿 import；定向单测
（fallback/raw/cyber/grok/transport/调度/用量/广域 Forward-Handle 扫描）
全绿；另经独立对抗审计确认零行为差异。
 2026-07-07 22:14:46 +08:00
li 2dd2be9922 fix(compact): 识别 /v1/responses body 中的 compaction_trigger 信号 
Codex remote compact v2 可以把 compact 触发器作为 input item
（type=compaction_trigger）嵌入普通 POST /v1/responses 请求体，
而非直接调用 /v1/responses/compact。此前 isCompactRequest 仅检查
URL path 后缀，导致 body-signal 形式的 compact 请求被当作普通
Responses 处理——上游路径、模型映射、body 归一化全部错误，Codex
收到非 compact 响应后报 "expected exactly one compaction output
item, got 0"，长会话无法继续。

新增 hasCompactionTriggerInInput 检测 input 中的 compaction_trigger
item，命中后提升为 compact 请求并改写 URL path，使后续所有
isCompactRequest 分支（模型映射、body 归一化、上游 URL 构建）
自动生效。

Fixes #3777 (part 1: body-signal routing)
 2026-07-07 21:23:02 +08:00
shaw dad92488e5 fix(messages): 修复 /v1/messages CC 回退的错误处理旁路并补齐流式测试 
针对 #3795 合并后审计发现的问题：

- 非 failover 上游错误分支改走共享 handleAnthropicErrorResponse：恢复
  ops 上游错误记录、错误透传规则、cyber_policy 检测与按状态码映射的
  错误 type（400→invalid_request_error 等）；删除随之失效的
  mapUpstreamStatusToAnthropicStatus
- 流式读错误对齐 forwardResponsesViaRawChatCompletions：scanner 出错时
  不再 finalize（不再补发 message_stop 把截断伪装成正常完成），返回
  stream usage incomplete 错误
- sawDone 由死变量改为与兄弟一致的无 [DONE] 哨兵 debug 日志
- 补充 fast policy 在本路径有意省略的说明注释
- 新增 8 个单测：流式收尾闭块、tool_call 分片聚合、length→max_tokens、
  空流补帧、非 failover 400 走共享处理器、读错误不伪造收尾、
  Responses 账号门控回归、非流式转换
 2026-07-07 20:59:41 +08:00
Wesley Liddick 4bcb13f77f Merge pull request #3786 from creamtea47/codex/openai-fast-force-priority 
add force priority fast policy action
 2026-07-07 20:45:45 +08:00
Wesley Liddick 9643382bd3 Merge pull request #3795 from fengshao1227/fix/messages-inbound-chat-completions-fallback 
fix(messages): /v1/messages 入站支持不兼容 Responses API 的 OpenAI 上游
 2026-07-07 20:45:14 +08:00
Wesley Liddick af4b75a77c Merge pull request #3794 from fengshao1227/fix/image-gen-namespace-permission-bypass 
fix(image): 识别 Codex namespace image_gen 工具声明以拦截生图请求
 2026-07-07 20:42:43 +08:00
Wesley Liddick c7249a54ac Merge pull request #3793 from heathermhuang/codex/grok-video-text-fallback 
fix: route text-only Grok video 1.5 requests
 2026-07-07 20:22:44 +08:00
shaw 80a229bce5 fix(batch-image): 修复审计发现的计费死锁、状态机与队列原子性缺陷 
修复 PR #3768 批量图像 MVP 合并后审计报告中的全部问题：

结算与计费（高危）：
- 所有 SETTLEMENT_* 失败（超冻结/计数非法/manifest 冲突/定价缺失/扣费失败）
  统一计入 retry_count 并在耗尽时释放冻结转 failed，消灭 settling 无限
  requeue 导致的冻结余额永久锁死
- 耗尽出口的释放指纹统一为 RequestHash，与 processor/Cancel/recovery 一致；
  release 遇同 request id 指纹冲突视为幂等成功，治愈历史毒消息
- 管理端校验 hold_multiplier >= discount_multiplier，定价快照对存量脏数据钳制
- 释放前校验 per-job hold claim（dedup+归档表），杜绝幻影释放

索引对账（高危）：
- provider 输出与提交 custom_id 集对账：未知条目丢弃并记事件，
  漏项补 PROVIDER_RESULT_MISSING 失败行，保证 success+fail == item_count

提交与恢复（高危）：
- 提交前转 uploading 并在 provider.Submit 期间心跳刷新 updated_at；
  恢复扫描改为原子复核（FailStaleUnsubmittedBatchImageJob），
  消灭慢提交被误杀退款而上游任务照常计费的孤儿场景
- 上游任务创建成功但本地状态推进失败时，尽力取消上游并清理输入
- recovery 释放失败时入队交由 worker releaseTerminalHold 兜底重试

队列与并发（中危）：
- Enqueue（SetNX+LPush）与 Reserve（BRPop+ZAdd）均改为 Lua 原子脚本，
  消灭崩溃窗口导致 job 脱离队列、被 7 天 inflight 键锁死
- 锁冲突按 LockConflictDelay 重新入队（原直接丢弃需等 10 分钟 stale 恢复）
- 处理期间心跳：active zset 续期（ZAddXX 防幽灵成员）+ 锁 TTL 续期
- ReplaceBatchImageItemsForJob 增加 indexing 状态守卫，防掉队 worker 重写账目

存量回归（中危）：
- image-only 定价条目（仅图片价无 token 价）恢复 token 计费 fail-closed，
  不再按 $0 计费；图片计费路径不受影响
- 鉴权余额门槛恢复 balance <= 0 语义，MinimumBalanceReserve 不再作硬 403

加固：
- ZIP max_items 钳制到管理员上限；Submit 补齐 Platform==Gemini 校验；
  gemini downloadUri 跟随前做 host 白名单校验
- 批量客户端改用共享 httpclient（拨号/TLS/响应头超时有界）
- 审计点名的忽略错误（MarkDownloaded/SettlementFailed/AppendEvent 等）改为记日志
 2026-07-07 18:53:56 +08:00
li 69d02d2036 fix: 补齐 failover 路径的 appendOpsUpstreamError 日志 
审查发现 error 路径缺少 appendOpsUpstreamError 和 upstreamDetail
记录，与 forwardResponsesViaRawChatCompletions 不对称。
 2026-07-07 17:35:09 +08:00
li 5c0e580fbe fix(messages): /v1/messages 入站支持不兼容 Responses API 的 OpenAI 上游 
ForwardAsAnthropic 此前无条件把 Anthropic Messages 转为 Responses
格式发往 /v1/responses，导致只支持 /v1/chat/completions 的第三方
OpenAI 兼容上游（京东云、DeepSeek、Kimi、GLM 等）全部 400。

在入口增加与 ForwardAsChatCompletions 对称的 ShouldUseResponsesAPI
分流：APIKey 账号 + 上游不支持 Responses 时，改走新建的
forwardAnthropicViaRawChatCompletions，链式复用全部已有转换桥
（Anthropic→Responses→CC 请求，CC→Responses→Anthropic 响应），
不新建转换函数。

Fixes #3735
 2026-07-07 17:23:18 +08:00
li a02700c16f fix(image): 识别 Codex namespace image_gen 工具声明以拦截生图请求 
分组 allow_image_generation=false 时，Codex /image 技能通过
namespace 工具声明（type=namespace, name=image_gen）和 Responses
Lite 的 input additional_tools 绕过了现有生图意图检测——现有逻辑
只识别 tools[].type == "image_generation" 这一种形式。

在 gjson 版（openAIJSONToolsContainImageGeneration）和 map 版
（hasOpenAIImageGenerationTool）检测中增加 namespace image_gen
识别；同时扫描 input[].type == "additional_tools" 中嵌套的工具
声明，覆盖 Responses Lite 格式。

Fixes #3608
 2026-07-07 16:58:48 +08:00
Heatherm Huang 3b2099350e fix: route text-only grok video requests 2026-07-07 16:44:20 +08:00
Wesley Liddick 44ab690a01 Merge pull request #3768 from Turtle-Li/feature/batch-image-foundation 
feat: add batch image generation MVP
 2026-07-07 16:32:45 +08:00
li fd64d07e61 fix(codex): 剥离续链 function_call item 的非法 item_* id 
OpenAI OAuth 转发续链请求时，function_call 等 call-input 类 item 的
id 被客户端以 item_* 形式回放，但上游要求以 fc 开头，返回 400
"Expected an ID that begins with 'fc'"，导致工具续链反复失败。

filterCodexInputWithOptions 在 PreserveReferences=true 路径下对
call-input 类 item（function_call/tool_call/local_shell_call 等）
增加 id 前缀检查：非 fc 开头即删除。output 类（function_call_output
等）的 id 无此约束，不动。

Fixes #3785
 2026-07-07 15:54:55 +08:00
NellPoi e979990bf9 add force priority fast policy action 2026-07-07 15:27:23 +08:00
Turtle_Li a6023840f7 Merge remote-tracking branch 'origin/main' into feature/batch-image-foundation 
# Conflicts:
#	deploy/Dockerfile
 2026-07-07 15:14:37 +08:00
Wesley Liddick b5b0ea3460 Merge pull request #3708 from sweetcornna/fix/antigravity-401-self-heal 
fix(antigravity): 网关转发默认走生产端点（修复一请求就 401/502、账号被 benched）
 2026-07-07 15:12:29 +08:00
Wesley Liddick 87bdaf8e60 Merge pull request #3780 from fengshao1227/fix/gateway-parse-error-observability 
fix(gateway): 记录请求体解析失败的真实原因，不再吞错
 2026-07-07 14:37:46 +08:00
Wesley Liddick a98397adbb Merge pull request #3778 from fengshao1227/fix/websearch-emulation-history-blocks 
fix(websearch): 剥离历史消息中上游不接受的 web search 块
 2026-07-07 14:33:16 +08:00
Wesley Liddick aff87d9497 Merge pull request #3776 from alfadb/fix/openai-compact-usage-sse-detection 
fix(openai): 避免 JSON 响应被 SSE 文本误判导致用量丢失
 2026-07-07 14:31:52 +08:00
li 40c563c4ae fix(gateway): 记录请求体解析失败的真实原因，不再吞错 
400 "Failed to parse request body" 此前丢弃底层错误，无法区分
JSON 真非法、还是 body 被截断/被中间件提前消费。

- 服务层 invalid json 错误增补 len/offset/非法字符信息
  （仅诊断元数据，不含 body 内容，可安全 wrap）；
- handler 层新增 logRequestBodyParseFailure，向服务端日志输出
  底层错误 + body 长度 + 转义后的 head/tail 片段（各 256B），
  客户端响应文案保持不变；
- 接入全部 9 处入站解析点（messages/count_tokens/responses/
  chat_completions/embeddings，Anthropic 与 OpenAI 网关）。

Fixes #3715
 2026-07-07 13:53:39 +08:00
li 867616fca8 fix(websearch): 剥离历史消息中上游不接受的 web search 块 
Web Search 模拟合成的 server_tool_use / web_search_tool_result 块
（srvtoolu_ws_ 前缀）被客户端回传到后续 /v1/messages 历史后，
上游一律 400（GLM 等第三方兼容上游只接受
text/thinking/image/tool_use/tool_result），会话从此卡死。

新增 FilterWebSearchHistoryBlocks 预过滤：
- 模拟伪造块对所有上游无条件剥离；
- 真实 web search 块仅对 passback-required 协议族剥离
  （复用 ResolveThinkingProtocol），不误伤官方 Anthropic 会话；
- 接入 Anthropic 通用转发与 API Key 透传两条路径的既有 pre-filter 区。

Fixes #3677
 2026-07-07 13:41:40 +08:00
alfadb 438f17be5e fix(openai): avoid compact usage loss from json sse heuristic 
Replace the substring-based data:/event: SSE heuristic in
handleNonStreamingResponse with bodyHasSSEFraming, a line-level check
that only matches when a physical line starts with the SSE data:/
event: field names. This prevents OAuth compact JSON responses whose
output text merely contains the literal substrings "data:" or
"event:" from being misrouted into handleSSEToJSON, which was
causing usage to be recorded as zero even though the JSON body itself
carries a valid top-level usage object. Content-Type: text/event-stream
detection and genuine SSE body handling are unaffected.
 2026-07-07 13:04:28 +08:00
Heatherm Huang c34db70a88 fix: bridge grok composer image inputs 2026-07-07 10:55:07 +08:00
Turtle_Li 5494261902 Merge remote-tracking branch 'origin/main' into feature/batch-image-foundation 
# Conflicts:
#	.github/audit-exceptions.yml
 2026-07-07 10:53:17 +08:00
Turtle_Li aff148167c fix: address batch image ci failures 2026-07-07 10:50:36 +08:00
shaw d37d216f9d Merge remote-tracking branch 'origin/main' into pr-3762 
# Conflicts:
#	backend/internal/repository/concurrency_cache.go
#	backend/internal/repository/concurrency_cache_integration_test.go
 2026-07-07 09:22:44 +08:00
Wesley Liddick a862eac1d8 Merge pull request #3758 from catoncat/fix/test-oauth-codex-headers 
fix: add missing Codex CLI headers for OAuth account test
 2026-07-07 08:34:18 +08:00
Wesley Liddick 3828a48752 Merge pull request #3751 from heathermhuang/codex/grok-image-pricing-latest 
fix: expose Grok image pricing controls
 2026-07-07 08:29:01 +08:00
Wesley Liddick 77b1a0452e Merge pull request #3760 from DaydreamCoding/fix/codex-detect-version-gate-message 
fix(codex-detect): codex 版本门拒绝返回带版本号的差异化文案
 2026-07-07 08:28:51 +08:00
Wesley Liddick 26b51ccfd3 Merge pull request #3737 from wucm667/fix/sync-models-non-v1-base-url 
fix(models): 同步上游模型支持非 /v1 API 版本 base_url（如智谱 /v4）
 2026-07-07 08:28:41 +08:00
Turtle_Li 89edba8028 fix: restrict batch image groups to gemini 2026-07-07 04:14:09 +08:00
Turtle_Li 3c43fdec11 docs: add batch image PR readiness notes 2026-07-07 03:31:39 +08:00
Turtle_Li 1b07fe821a merge: sync batch image branch with origin main 2026-07-07 03:27:11 +08:00
cat cb151e36eb fix: respect custom User-Agent in OAuth account test 
Match the image OAuth test path and gateway behavior: check for a
custom user_agent credential first, fall back to codexCLIUserAgent
only when no custom UA is configured.
 2026-07-06 20:45:00 +08:00
jjaw 5089c303e1 优化 Redis SCAN 清理架构 2026-07-06 20:27:13 +08:00
shaw 31b6e0d94a fix: 请求头覆写审计问题修复（禁止名单缺口/beta 对称性/批量清空防护） 
后端：
- 禁止名单补充 content-type（multipart boundary 为每请求随机值，静态覆写必坏
  images 路径）、x-claude-code-session-id / x-client-request-id（会击穿每请求
  会话同步，与已禁的 session_id 等同类）、cookie / x-goog-api-key（与透传路径
  的入站鉴权残留清洗保持一致）
- anthropic-beta 覆写与 body 净化对称：四个 Anthropic 构建器在
  sanitizeAnthropicBodyForBetaTokens 前以覆写值为有效 finalBeta，避免覆写
  丢 token 后 header/body 不对称被上游 400
- 保存/应用两路径共用 normalizeHeaderOverrideEntry，消除双份校验规则漂移
- GetHeaderOverrides 按 modelMappingCache 先例增加热路径缓存（WS 每消息
  重建头场景收益最大）；ApplyHeaderOverrides 移除无观测效果的排序

前端：
- 禁止名单镜像同步新增项；值长度改按 UTF-8 字节校验（与后端 len() 对齐）
- Create 弹窗切换平台时重置覆写配置，避免上一平台模板行串台
- BulkEdit：开启覆写但无有效行时拦截保存（防止整键替换静默清空所选账号
  既有配置）；开启分支显示整体替换警告；混合平台选择时隐藏模板按钮
- 删除未使用的 isBlockedHeaderOverrideName 导出
 2026-07-06 20:05:50 +08:00
shaw ec7b20649e feat: apikey 账号支持请求头覆写（Anthropic/OpenAI） 
- 账号 credentials 新增 header_override_enabled / header_overrides，
  仅对 anthropic/openai 平台的 api_key 账号生效
- 转发前对同名请求头做大小写不敏感覆盖（EqualFold 全量删除后按
  wire casing 写入单值），值为空的条目视为占位不参与覆盖
- 覆盖全部出站路径：/v1/messages（标准+透传）、count_tokens、
  /v1/responses、chat completions、embeddings、images、全部 WS 模式、
  账号测试/探测、上游模型列表
- 创建/编辑/批量更新统一校验：RFC 7230 名称格式、去重、长度/条目上限、
  24 个禁止覆写头（认证/连接控制/accept-encoding/sec-websocket-*/
  会话隔离头），应用时二次防御过滤
- 前端三个账号弹窗新增开关+键值行编辑器+模板按钮（Claude Code CLI /
  Codex CLI 标准头，值为空），本地校验与后端规则对齐，i18n 中英文
 2026-07-06 19:11:08 +08:00
cat 1c0ccb477a fix: add missing Codex CLI headers for OAuth account test 
The testOpenAIAccountConnection function was sending requests to
chatgpt.com/backend-api/codex/responses without the required Codex CLI
identification headers, causing 401 Unauthorized for OAuth/PAT accounts.

The gateway Forward path and the compact test path both set these headers:
- Originator: codex_cli_rs
- User-Agent: codex_cli_rs/<version>
- OpenAI-Beta: responses=experimental

This patch adds the same headers to the normal (non-compact) OAuth test
path. API key accounts and other platforms are unaffected since the
headers are inside the isOAuth branch.
 2026-07-06 19:09:26 +08:00
DaydreamCodingandClaude Opus 4.8 4b321142bb fix(codex-detect): codex 版本门拒绝返回带版本号的差异化文案 
codex_cli_only 的 403 出口此前对所有拒绝原因硬编码同一句
"This account only allows Codex official clients"，但能走到版本门
（判定链第 5 步）的请求其实已命中官方 UA/originator，仅版本不符，
再回「只允许官方客户端」会误导。

- CodexClientRestrictionDetectionResult 增 DetectedVersion/MinCodexVersion/
  MaxCodexVersion，仅在 VersionTooLow/VersionTooHigh 分支填充
- 新增 CodexClientRestrictionMessage：too_low/too_high 给出带实际版本号与
  边界的提示；undetectable/未命中/黑名单/缺指纹 仍用通用兜底句（不泄露门控细节）
- Forward 唯一 403 出口改用该映射函数

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-07-06 19:03:36 +08:00
Heatherm Huang de31e57333 test: document Grok video media billing unit 2026-07-06 18:32:29 +08:00