概述
在 AI+ 模块中,我们将提供一系列与 AI 相关的功能,如大模型接入、智能体、知识库等,帮助开发者为自己的应用接入 AI 能力。
目前,我们提供了大模型接入服务,帮助开发者顺畅接入各家大模型。
大模型接入是什么
目前,国内外大模型发展火热,已经有多家公司推出了大模型服务,如腾讯混元、月之暗面、智谱清言等等。然而各家大模型的接入方法各有差异。因此,为了帮助开发者快速接入各家大模型,我们推出了大模型接入服务。通过使用 AI+ 模块提供的大模型服务,开发者们可以以一套简洁、统一的方式使用多家大模型。我们为开发者提供了 Web、小程序双端可用的 AI SDK ,做到一套代码多端、多模型适用。
如何启用大模型接入
可访问「微信云开发云后台 AI+」,在大模型列表中启用任一大模型。
启用后即可使用 AI SDK 在您的应用中接入大模型了。
有什么大模型可以被接入
目前支持接入的大模型列表包含:
也可访问「微信云开发云后台 AI+」,在大模型列表中查看支持接入的大模型。
为什么要使用大模型接入
使用大模型接入服务可以提高为应用接入大模型的效率,不用被各家大模型的调用细节干扰,还可以在多家大模型之间快速切换使用。同时 AI SDK 提供了简洁的文本生成接口,并且支持流式调用。
多端适用、多大模型兼容的文本生成
AI SDK 支持在 Web 端和小程序端使用,并且提供了统一的对接多家大模型的接口。无论是运行在 Web 端还是小程序端,无所谓接入的是哪一家的大模型,都可以使用一套代码实现 AI 接入。
除了 SDK 支持之外,我们还开放了 HTTP API,发起 HTTP 请求即可接入大模型。
这里我们选择接入混元大模型,调用大模型生成介绍李白的文本,并且将结果打印出来。
const model = ai.createModel("hunyuan"); // 创建模型
const result = await model.generateText({
model: "hunyuan-lite",
messages: [
{ role: "user", content: "你好,请你介绍一下李白" },
],
});
console.log(result.text)
如果想切换到其他大模型,比如智谱清言,只需要修改 ai.createModel
传入的参数为 zhipu
,并且选择智谱清言的 glm-4
模型即可:
const model = ai.createModel("zhipu"); // 创建模型
const result = await model.generateText({
model: "glm-4",
messages: [
{ role: "user", content: "你好,请你介绍一下李白" },
],
});
console.log(result.text)
我们只修改了两处参数,就完成了接入大模型之间的切换!
易用的流式文本生成接口
AI SDK 提供了同样简洁的流式文本生成接口,这在需要与用户交互的场景十分有用,比如构建智能聊天机器人、流式展示长生成文本等等。
这里我们会试着将大模型流式返回的文本增量地添加到网页上:
const model = ai.createModel("hunyuan"); // 创建模型
const result = await model.streamText({
model: "hunyuan-lite",
messages: [
{ role: "user", content: "你好,请你介绍一下李白" },
],
});
for await (let str of result.textStream) {
document.body.innerText += str;
}
同样的简洁程度,我们完成了流式调用文本生成!