Ollama 本地模型配置

如果你在找「ollama 部署本地模型」「ollama 本地 API」「本地 agent」相关教程，这一页给你可直接运行的最短路径。

1. 安装并启动 Ollama

• 官网：https://ollama.com/
• 安装完成后启动服务，默认监听 http://127.0.0.1:11434

检查服务是否正常：

curl http://127.0.0.1:11434/api/tags

2. 下载本地模型（ollama 模型下载）

示例：

ollama pull qwen2.5:7b

你也可以按机器资源选择模型规模：

• 轻量试跑：qwen2.5:3b
• 通用开发：qwen2.5:7b
• 更高质量：qwen2.5:14b（需要更高显存/内存）

3. 用 OpenAICompatible 方式接入 Agently

Ollama 提供 OpenAI 兼容接口，可直接用 base_url + model 方式接入。

from agently import Agently

Agently.set_settings("OpenAICompatible", {
  "base_url": "http://127.0.0.1:11434/v1",
  "api_key": "ollama",  # 本地通常不会校验，可填任意占位字符串
  "model": "qwen2.5:7b"
})

4. 最小可运行测试（ollama 用法）

from agently import Agently

agent = Agently.create_agent()

result = (
  agent
  .input("请用一句话解释什么是 AI Agent")
  .output({"answer": ("str", "一句话回答")})
  .start()
)

print(result)

5. 常见问题

5.1 connection refused 或请求超时

• 确认 Ollama 服务已启动
• 确认 base_url 为 http://127.0.0.1:11434/v1
• 先用 curl 测通本地接口

5.2 模型下载慢或失败

• 先用 ollama pull <model> 单独拉取
• 检查网络与磁盘空间

5.3 本地模型质量不稳定

• 提升模型规格（如从 3b 到 7b/14b）
• 在 prompt 中强化输出结构约束
• 使用 Agently 的结构化输出能力做字段约束

6. 下一步

• 输出稳定化：/output-control/overview
• Prompt 工程：/prompt-management/overview
• 结果读取与流式：/model-response/overview