中转站看板

请输入访问口令

中转站看板

账户余额

原始 quota ÷ 500000 = 实际余额(美元)

模型可访问性 × 实际分组

每 15 分钟真实调用一次;实际分组与倍率取自调用日志

单模型均匀压测

每个窗口内均匀调用;实际分组按 request id 从调用日志回读

消耗趋势(按天 · 分模型)

主站 · 错误监测

模型近1h 失败/尝试失败率近24h 失败失败率主要类别 (24h)提醒
类别错误近1h近24h模型渠道首次出现

主站 · 各渠道消耗

每点为 5 分钟平均(每分钟),比瞬时峰值平滑;点击图例可隐藏/显示某条线
点击渠道行展开分模型明细 · 数据由主站日志每 5 分钟汇总一次

分组可用性

可用(调用成功) 不可用 悬停查看每次探测的时间、耗时与上游返回

调用时延

每次成功调用的往返耗时(ms)

告警

可用时段

连续成功的区间

渠道 / API Key 连通性

点击「测试」发起一次真实的 chat 调用
名称分组状态Key 已用 $剩余 $连通性

最新使用日志

各账号最近的调用记录:令牌 · 模型 · 实际分组 · tokens · 倍率
时间用户令牌模型分组 渠道 / 重试耗时 提示/补全(缓存)quota 组×补全×

请求采样与重复

filter-proxy 对经过它的渠道(#54/#48/#71 等)逐个请求体算哈希统计重复,并按模型随机采样(默认 0.1%,每模型每小时至少 2 条)
重复 = 同一请求体 1 小时内再次出现(不含 15 秒内换渠道的主站重试,那部分单列;小于 1KB 的探测类请求也单列,不计入重复率)。不重复数为 HyperLogLog 估计(误差约 1%)。

重复最多的请求

样本

号池内部分配

filter-proxy 号池:上游按顺序尝试,每个上游有每分钟令牌桶上限;额度满、暂停中或失败就转下一个,全部不行返回 503 落到主站下一档渠道

Arachne 限速

Arachne 一筛等 LLM 调用的全局令牌桶(所有副本共用);这里改完约 10 秒生效,运行中的任务也会立刻按新速率放行;只作用于批量任务(见批量阈值)。rpm 填 0 = 不限速;「恢复环境变量」删掉动态配置,回到部署时的 LLM_SCORE_RATE_LIMITS

模型路由路径

每个模型可用的已启用渠道,按优先级从左到右依次尝试;数字为近 24h 该渠道实际承接的成功调用占比

响应格式检查

每 30 分钟每模型发 3 条要求输出 JSON 的小请求,检查上游有没有悄悄改响应形态(多余思考段、杂段、JSON 不可解析)

上游真实花费

各上游账号小时消耗 × 充值汇率 = 实付美元;折扣倍率 = 实付 / 主站对同一流量的计费

主站 MySQL · 表空间

表总大小数据索引 行数操作

OpenAI 平台 · 花费与用量

模型花费 $ 输入(缓存)输出请求数

谷歌云 · 账单明细

服务开销 $
模型开销 $
开销取自 Cloud Billing BigQuery 导出(按 SKU 归并到模型/服务,UTC 天)。为账单毛额,即消耗的赠金。

AWS · 账单明细

服务开销 $
用量类型开销 $
开销取自 Cost Explorer(UnblendedCost,按天,当日为部分值)。无 Bedrock,第二张表为 Top 用量类型。