跳转至

🦙 结合Ollama的本地模型用法

适配了OpenAI接口规范的本地部署模型

Agently能不能支持使用开源模型/本地模型来驱动Agent,进行应用开发?”这个问题是Agently开发者最常问到的一个问题。

因为本地部署的模型在输出方式上差异非常大,为了更好地进行适配,我们需要经过一层标准化封装。目前市面上主流的方式是与OpenAI的API请求格式进行标准化对齐,在模型请求设置的说明中,我们提到的月之暗面Kimi和Mixtral都使用了这种方式。目前有一些优秀的项目,能够帮助开发者快速完成开源模型下载、本地推理部署并封装成接口服务的全过程。

Ollama是目前最知名的本地模型推理框架之一,使用者众多,支持一键下载模型、启动推理并提供OpenAI-like的本地模型服务接口(含Completions和Chat),简单易用,也是我们推荐您使用的推理框架。您可以在Ollama Download页面找到Ollama的下载安装方式,并在Ollama Models页面查看和检索支持的模型。

在完成模型部署之后,您可以使用我们提供的OAIClient方案进行请求,并驱动您的Agent实例。您可以查看Ollama OpenAI compatibility了解更多关于Ollama如何提供OpenAI-like的服务接口适配的信息。

Agently x Ollama配合使用案例

在本案例中,我们将展示如何使用Ollama来启动一个本地私有的开源模型API服务,并使用Agently应用开发框架通过简单的设置就能访问这个私有模型API,让私有模型驱动Agent,进行应用开发。

以Mac为例,拥有8G内存的M2以上芯片机型,可以尝试本地启动7B左右的模型,本案例中,我们以qwen2.5的7B模型为例:

第一步:安装Agently和Ollama

安装Agently

pip install -U -q Agently

安装Ollama:

查看Ollama Download页面选择更适合您的Ollama的下载安装方式。

第二步:选择想要本地启动推理的模型,使用Ollama命令行指令一键启动

如我们想要qwen2.5的7B模型,可以先在Ollama Models页面通过搜索找到qwen2.5系列模型的页面,从页面中选择7b,进入到qwen2.5模型的7B模型子页面,在页面中部靠右位置,可以看到一键启动该模型的指令ollama run qwen2.5:7b,复制并运行即可。

如果本地还没有下载这个模型,Ollama将会自动开始为您下载:

下载完成后,将看到Ollama提供的默认对话界面,您可以尝试输入一些对话,测试推理的速度以及对机器硬件的压力:

第三步:使用Agently框架请求本地模型服务,开始你的开发吧

在完成上一步的测试确认之后,您可以通过ollama serve指令启动Ollama的本地推理服务接口,然后你就可以开始使用Agently开发框架进行你的LLMs应用开发了~

下面我们尝试使用Agently与qwen2.5-7b配合,快速制作一个具有搜索工具使用能力的Agent。

import Agently

agent_factory = (
    Agently.AgentFactory()
        .set_settings("current_model", "OAIClient")
        .set_settings("model.OAIClient.url", "http://localhost:11434/v1")
        .set_settings("model.OAIClient.options", { "model": "qwen2.5" })
)

agent = agent_factory.create_agent()

result = (
    agent
        .use_public_tools(["search"])
        .input("Agently框架是什么")
        .start()
)
print(result)

对,就是这么简单,输出结果样例:

Agently框架是一款专注于构建智能代理(Agent)的开源框架。通过该框架,开发者可以轻松地创建自定义的Agent,并实现自动化任务执行,支持从简单的文本处理到复杂的模型交互。它不仅提供了一种高效且灵活的方式去管理和操作各类AI模型和服务。

您可以在其官方网站获取更多详细信息和教程:

- [Agently AI应用开发框架](http://www.agently.cn/)
- [手把手入门教程 - Agently AI应用开发框架](https://www.agently.cn/guides/agentic_request/guide.html)
- [Agently Workflow介绍 - Agently AI应用开发框架](https://www.agently.cn/guides/workflow/index.html)

以上内容展示了Agently的功能和使用场景,包括但不限于构建不同领域的Agent示例、支持多轮模型请求以及更复杂的业务逻辑编排管理等。如果您需要进一步了解其具体特性和最新进展,请访问官方网站获取更多资料。