模型
Jev 是 TypeSafe 的旗舰模型,也是第一个 System One 模型。本页上的每个模型都由同一个端点 POST /v1/systemone 提供服务。请求中的 model 字段决定由哪个模型处理这次调用;完整的请求结构参见 API 参考。
当前模型
| Jev 1.13 | jev-1.13.0 |
|---|---|
| 价格(每 Btok / 每 Mtok) | $42 / $0.042 |
| 速率限制 | 每秒 250,000 个 token / 每分钟 1,200 个请求 |
| 上下文长度 | 每个请求 64k tokens;state 加上最长的问题为 32k tokens |
| 输入 | 仅文本。字符串、JSON 对象或文本值数组。不支持图像、音频或视频输入。 |
- 价格: 按输入 token 计费。输出 token 免费。1 Btok 等于十亿个 token,1 Mtok 等于一百万个 token。
- 速率限制: 以每秒 token 数和每分钟请求数来衡量。超过任一限制的请求会返回
429 Too Many Requests。我们的客户端 SDK 默认会以退避方式重试,并在响应带有retry-after头时遵循该头。如果你直接调用 HTTP API,参见处理速率限制。 - 上下文长度: Jev 只读取一次
state,并针对它并行评估每个问题。64k 的预算涵盖state加上所有问题的总和;32k 的预算适用于state加上单个最长的问题。关于如何把许多问题打包进一个请求,参见推测式扇出;关于准确率如何随状态增长而变化,参见 Jev 1.13 的锯齿现象。 - 输入: Jev 评估自然语言文本。非文本输入(图像、音频、视频、二进制文件)要先预处理为文本或结构化字段,再作为
state发送。支持的形态参见状态。
速率限制正在动态调整。 我们正在服务非常大量的需求,在我们做到这一点的过程中,上述限制可能会在不另行通知的情况下变化——因为即将落地的大型 GPU 交易,以及我们放入了更多用户。等局面更稳定之后,我们就能提供更稳定的限制。自定义和企业方案可获得更高的限制。请联系 sales@typesafe.ai。
别名
别名是一个能解析为带版本号的模型 ID 的模型名称。像其他任何名称一样,把它发送在 model 字段中。
| 别名 | 指向 | 含义 |
|---|---|---|
jev-latest |
jev-1.13.0 |
最新的稳定官方发布版本。它是我们客户端 SDK 中的默认值,也是这些文档中示例所使用的名称。 |
jev-preview |
jev-1.13.0 |
最新的发布版本,无论是否为官方版本。当有预览构建可用时,它会先于 jev-latest 前进。 |
jev-preview 目前指向与 jev-latest 相同的模型。当前没有可用的预览构建。
当新版本发布时别名会移动,因此它背后的答案可能在你这边毫无改动的情况下发生变化。响应的 model 字段会报告作出回答的带版本号 ID,因此你可以记录每个结果是由哪个模型产生的。如果你已针对某个具体版本调好置信度阈值,就固定使用该版本的 ID 而不是别名,并按你自己的节奏迁移到新版本。
定制 Jev
Jev 不会用客户数据做微调或 LoRA 适配。它通过 RLCD 训练以返回校准过的决策,并且同一套权重服务于所有账户。你通过请求而不是按账户的权重,让它的答案贴合你的领域:
- 把你的专有内容、记录和参考资料放进
state字段。参见状态。 - 把领域规则和边界情况编码进每个问题的
instructions和criteria。参见如何使用 TypeSafe 构建和进阶:结构。 - 把宽泛的判断拆解为原子化的问题,并在代码中组合输出。参见复合评分和 AutoResearch 实践手册,了解如何在 Jev 的概率上训练下游的经典模型。
语言支持
Jev 接受自然语言文本。英语是主要的训练语言,也是目前准确率最高的语言。其他语言(包括 CJK 文字)也能处理,但效果并不同样好;在把 Jev 用于非英语工作负载之前,请先在你自己的内容上测试,并在路由时密切关注置信度。
数据处理
Jev 不会用客户的请求或响应进行训练。关于数据处理协议、隐私政策以及面向企业客户的零数据保留(ZDR)详情,参见法律。
列出模型
GET /v1/models 返回你的账户可以在 model 字段中发送的名称,并为每个名称附上描述和发布日期。它目前列出的是别名。像 jev-1.13.0 这样带版本号的 ID,无论是否出现在该列表中,都能被 model 字段接受。
curl https://api.typesafe.ai/v1/models \
-H "Authorization: Bearer $TYPESAFE_API_KEY"
from typesafe_sdk import TypeSafeClient
with TypeSafeClient() as client:
for model in client.models.list().models:
print(model.name, model.release_date, model.description)
import { TypeSafeClient } from "@typesafe-ai/sdk";
const client = new TypeSafeClient();
const models = await client.models.list();
for (const model of models) {
console.log(model.name, model.release_date, model.description);
}
models array每个模型或别名对应一项。
属性
name string模型 ID 或别名,即 model 字段所接受的形式。
description string该模型的用途。
release_date string该模型或别名的发布日期。
完整的方法签名参见 Python 和 JavaScript SDK 参考。