TS TypeSafe 文档中文版 原文 ↗

模型

Jev 是 TypeSafe 的旗舰模型,也是第一个 System One 模型。本页上的每个模型都由同一个端点 POST /v1/systemone 提供服务。请求中的 model 字段决定由哪个模型处理这次调用;完整的请求结构参见 API 参考。

当前模型

Jev 1.13 jev-1.13.0
价格(每 Btok / 每 Mtok) $42 / $0.042
速率限制 每秒 250,000 个 token / 每分钟 1,200 个请求
上下文长度 每个请求 64k tokens;state 加上最长的问题为 32k tokens
输入 仅文本。字符串、JSON 对象或文本值数组。不支持图像、音频或视频输入。
  • 价格: 按输入 token 计费。输出 token 免费。1 Btok 等于十亿个 token,1 Mtok 等于一百万个 token。
  • 速率限制: 以每秒 token 数和每分钟请求数来衡量。超过任一限制的请求会返回 429 Too Many Requests。我们的客户端 SDK 默认会以退避方式重试,并在响应带有 retry-after 头时遵循该头。如果你直接调用 HTTP API,参见处理速率限制。
  • 上下文长度: Jev 只读取一次 state,并针对它并行评估每个问题。64k 的预算涵盖 state 加上所有问题的总和;32k 的预算适用于 state 加上单个最长的问题。关于如何把许多问题打包进一个请求,参见推测式扇出;关于准确率如何随状态增长而变化,参见 Jev 1.13 的锯齿现象。
  • 输入: Jev 评估自然语言文本。非文本输入(图像、音频、视频、二进制文件)要先预处理为文本或结构化字段,再作为 state 发送。支持的形态参见状态。
警告

速率限制正在动态调整。 我们正在服务非常大量的需求,在我们做到这一点的过程中,上述限制可能会在不另行通知的情况下变化——因为即将落地的大型 GPU 交易,以及我们放入了更多用户。等局面更稳定之后,我们就能提供更稳定的限制。自定义和企业方案可获得更高的限制。请联系 sales@typesafe.ai。

别名

别名是一个能解析为带版本号的模型 ID 的模型名称。像其他任何名称一样,把它发送在 model 字段中。

别名 指向 含义
jev-latest jev-1.13.0 最新的稳定官方发布版本。它是我们客户端 SDK 中的默认值,也是这些文档中示例所使用的名称。
jev-preview jev-1.13.0 最新的发布版本,无论是否为官方版本。当有预览构建可用时,它会先于 jev-latest 前进。
警告

jev-preview 目前指向与 jev-latest 相同的模型。当前没有可用的预览构建。

当新版本发布时别名会移动,因此它背后的答案可能在你这边毫无改动的情况下发生变化。响应的 model 字段会报告作出回答的带版本号 ID,因此你可以记录每个结果是由哪个模型产生的。如果你已针对某个具体版本调好置信度阈值,就固定使用该版本的 ID 而不是别名,并按你自己的节奏迁移到新版本。

定制 Jev

Jev 不会用客户数据做微调或 LoRA 适配。它通过 RLCD 训练以返回校准过的决策,并且同一套权重服务于所有账户。你通过请求而不是按账户的权重,让它的答案贴合你的领域:

语言支持

Jev 接受自然语言文本。英语是主要的训练语言,也是目前准确率最高的语言。其他语言(包括 CJK 文字)也能处理,但效果并不同样好;在把 Jev 用于非英语工作负载之前,请先在你自己的内容上测试,并在路由时密切关注置信度。

数据处理

Jev 不会用客户的请求或响应进行训练。关于数据处理协议、隐私政策以及面向企业客户的零数据保留(ZDR)详情,参见法律。

列出模型

GET /v1/models 返回你的账户可以在 model 字段中发送的名称,并为每个名称附上描述和发布日期。它目前列出的是别名。像 jev-1.13.0 这样带版本号的 ID,无论是否出现在该列表中,都能被 model 字段接受。

cURL
curl https://api.typesafe.ai/v1/models \
  -H "Authorization: Bearer $TYPESAFE_API_KEY"
 
Python
from typesafe_sdk import TypeSafeClient
 
with TypeSafeClient() as client:
    for model in client.models.list().models:
        print(model.name, model.release_date, model.description)
 
JavaScript
import { TypeSafeClient } from "@typesafe-ai/sdk";
 
const client = new TypeSafeClient();
const models = await client.models.list();
for (const model of models) {
  console.log(model.name, model.release_date, model.description);
}
 
models array

每个模型或别名对应一项。

属性
name string

模型 ID 或别名,即 model 字段所接受的形式。

description string

该模型的用途。

release_date string

该模型或别名的发布日期。

完整的方法签名参见 Python 和 JavaScript SDK 参考。