Skip to content

ModelKit

ModelKit 是 AgentOS 提供的统一模型能力网关。
如果你的 App 已经有自己的复杂 agent,或者你只是想直接使用模型能力,通常优先看这里。

它解决什么问题

ModelKit 的核心价值是:让开发者不必先处理“模型从哪里来”的问题。

它按任务统一提供:

任务路由前缀说明
chat/modelkit/chat文本与视觉模型,OpenAI chat completions 协议
embedding/modelkit/embedding文本嵌入
asr/modelkit/asr语音转文本
tts/modelkit/tts文本转语音

最适合什么场景

  • 你已有自己的 agent runtime,只需要模型调用层
  • 你想通过 AgentOS SDK 或 OpenAI 兼容协议直接调用模型
  • 你要把文本、多模态、TTS、ASR、Embeddings 统一接入到同一个网关

最常见用法

用 AgentOS SDK 接

TypeScript 和 Dart SDK 都通过 sdk.modelkit 暴露 ModelKit。

ts
import { AgentOSSDK, ModelTask } from 'agentos-sdk-ts';

const sdk = new AgentOSSDK({ baseUrl: 'http://127.0.0.1:8888' });
const chatModels = await sdk.modelkit.listModelsByTask(ModelTask.chat);

const completion = await sdk.modelkit.chat.create({
  model: chatModels[0].id,
  messages: [{ role: 'user', content: 'Hello from ModelKit.' }]
});

用 OpenAI SDK 直接接

AgentOS 的任务路由对外暴露 OpenAI 兼容协议,因此很多场景下可以直接使用 OpenAI SDK。注意 baseURL 要指向具体任务前缀:

OpenAI SDK 参数AgentOS 中的来源
baseURLChat 使用 ${baseUrl}/modelkit/chat/v1,其中 baseUrl 来自根接口 GET /
apiKeyAppKit 注册返回的 Bearer token
modelsdk.modelkit.listModelsByTask(ModelTask.chat) 返回列表中的 model.id

能力范围

  • chat completions/modelkit/chat/v1/chat/completions
  • 图片相关输入的模型调用:仍走 /modelkit/chat,通过模型的 capabilities.vision 判断
  • tts/modelkit/tts/v1/audio/speech
  • asr/modelkit/asr/v1/audio/transcriptions
  • embeddings/modelkit/embedding/v1/embeddings

什么时候不该先看 ModelKit

  • 你不只是要模型调用,还希望平台帮你组织 agent 和 tool 调用链
  • 你需要现成的 RAG 服务,而不是单独 embeddings

这两种情况更适合先看:

下一步看什么