ModelKit
ModelKit 是 AgentOS 提供的统一模型能力网关。
如果你的 App 已经有自己的复杂 agent,或者你只是想直接使用模型能力,通常优先看这里。
它解决什么问题
ModelKit 的核心价值是:让开发者不必先处理“模型从哪里来”的问题。
它按任务统一提供:
| 任务 | 路由前缀 | 说明 |
|---|---|---|
chat | /modelkit/chat | 文本与视觉模型,OpenAI chat completions 协议 |
embedding | /modelkit/embedding | 文本嵌入 |
asr | /modelkit/asr | 语音转文本 |
tts | /modelkit/tts | 文本转语音 |
最适合什么场景
- 你已有自己的 agent runtime,只需要模型调用层
- 你想通过 AgentOS SDK 或 OpenAI 兼容协议直接调用模型
- 你要把文本、多模态、TTS、ASR、Embeddings 统一接入到同一个网关
最常见用法
用 AgentOS SDK 接
TypeScript 和 Dart SDK 都通过 sdk.modelkit 暴露 ModelKit。
ts
import { AgentOSSDK, ModelTask } from 'agentos-sdk-ts';
const sdk = new AgentOSSDK({ baseUrl: 'http://127.0.0.1:8888' });
const chatModels = await sdk.modelkit.listModelsByTask(ModelTask.chat);
const completion = await sdk.modelkit.chat.create({
model: chatModels[0].id,
messages: [{ role: 'user', content: 'Hello from ModelKit.' }]
});用 OpenAI SDK 直接接
AgentOS 的任务路由对外暴露 OpenAI 兼容协议,因此很多场景下可以直接使用 OpenAI SDK。注意 baseURL 要指向具体任务前缀:
| OpenAI SDK 参数 | AgentOS 中的来源 |
|---|---|
baseURL | Chat 使用 ${baseUrl}/modelkit/chat/v1,其中 baseUrl 来自根接口 GET / |
apiKey | AppKit 注册返回的 Bearer token |
model | sdk.modelkit.listModelsByTask(ModelTask.chat) 返回列表中的 model.id |
能力范围
chat completions:/modelkit/chat/v1/chat/completions- 图片相关输入的模型调用:仍走
/modelkit/chat,通过模型的capabilities.vision判断 tts:/modelkit/tts/v1/audio/speechasr:/modelkit/asr/v1/audio/transcriptionsembeddings:/modelkit/embedding/v1/embeddings
什么时候不该先看 ModelKit
- 你不只是要模型调用,还希望平台帮你组织 agent 和 tool 调用链
- 你需要现成的 RAG 服务,而不是单独 embeddings
这两种情况更适合先看:
