跳转至

Ollama 本地离线大模型接入 (Ollama local)

Ollama 允许你在自己的本地计算机硬件上离线运行各类主流开源大语言模型。整个过程无需申请任何 API 密钥，零财务开销，且绝对没有任何数据会外泄离开你的计算机。Griptape Nodes 具备模型动态即刻发现能力，能够自动索引本机已安装的全部模型。

前置准备工作 (Prerequisites)

  1. 前往 Ollama 官网 ollama.com 下载并安装对应操作系统的版本；

  2. 在系统终端中拉取至少一个大模型权重，例如：

    ollama pull llama3.2

  3. 验证 Ollama 服务是否处于正常运行监听状态，并确认模型已下载完成：

    ollama list

    在 Griptape Nodes 中调用时，请确保 Ollama 后台守护进程处于运行状态。

添加 Ollama 提供商 (Add the Provider)

  1. 从顶部菜单栏依次打开 Settings → Agent Settings；
  2. 点击 + Add Provider 按钮；
  3. 选择 Ollama (local) 类型；
  4. 填写基础网络配置：
    • Name：保留默认名称 Ollama 或自定义易懂的标签名；
    • Base URL：默认自动填充为 http://localhost:11434/v1；点击右侧的刷新按钮即可向本地端口发起连通性探测；
    • 当探测成功时，输入框下方会亮起绿色的 Connected — N models available（已连接 — 检测到 N 个可用模型）提示；
    • Model (可选)：设定全局默认首选模型，亦可保持留空以便后续在对话界面中按需挑选。
  5. 点击 Create Provider 完成创建。

连通性测试与验证 (Test)

创建完成后，接入向导会自动呈现即时测试面板。从下拉框中选择一个本地模型，输入一段测试提示词（如 “Hi”），在收到本地模型生成的实时回复后，点击 Done 确认完成。

模型动态检索与选用 (Choosing Models)

你在本地终端中通过 ollama pull 拉取的任何新模型均会被系统自动扫描并呈现在：

  • 侧边栏 智能体 (Agent) 的 Model 下拉菜单中（归类在 Ollama 专属分组下）；
  • 画布上 Agent 算子节点 的 prompt model 下拉参数中（当该节点的 provider 被指定为 Ollama 时）。

若后续希望接入更多前沿开源模型，只需在系统终端中执行 ollama pull <model-name>，无需重启 Griptape Nodes，界面即可实时呈现新模型候选。

推荐延伸阅读