跳转至

LM Studio 本地离线大模型接入 (LM Studio local)

LM Studio 是一款专为在个人计算机上极速检索、下载与运行各类开源大语言模型打造的图形化桌面应用。与 Ollama 类似，它完全无需任何 API 密钥，零外网流量消耗，且绝对不会有任何隐私数据离开你的设备。Griptape Nodes 具备模型动态探测能力，能够自动索引在 LM Studio 本地服务器中已挂载的全部大模型。

前置准备工作 (Prerequisites)

  1. 前往官方站点 lmstudio.ai 下载并安装适配你操作系统的桌面客户端；
  2. 启动 LM Studio，在内置的 Discover (模型发现) 市场中检索并下载至少一个 GGUF 格式的模型权重（如 Qwen2.5、Llama 3 或 Mistral）；
  3. 切换至 LM Studio 左侧的 Local Server (本地服务) 标签页，点击 Start Server (启动服务器) 按钮——Griptape Nodes 正是通过该端口与模型建立通信，因此在使用期间请确保该本地服务处于运行中。

添加 LM Studio 提供商 (Add the Provider)

  1. 打开 Griptape Nodes，依次进入 Settings → Agent Settings；
  2. 点击 + Add Provider；
  3. 选择 LM Studio (local) 类型；
  4. 填写基础参数：
    • Name：保持默认的 LM Studio 或输入个性化别名；
    • Base URL：默认自动填充为 http://localhost:1234/v1；点击右侧刷新按钮执行端口探测；
    • 探测成功后，面板将亮起绿色的 Connected — N models available（已连接 — 检测到 N 个可用模型）提示；
    • Model (可选)：设定默认模型，亦可保持留空随用随选。
  5. 点击 Create Provider 完成创建。

连通性测试与验证 (Test)

创建完毕后，向导将展示即时测试面板。选中已加载的模型，输入一段简单的问候语并发送，确认收到来自 LM Studio 的流式回答后，点击 Done 即可收工。

模型动态检索与选用 (Choosing Models)

在 LM Studio 中下载并装载进内存的任何模型均会自动出现在：

  • 侧边栏 智能体 (Agent) 的 Model 下拉菜单中（统一归拢在 LM Studio 分组下）；
  • 画布上 Agent 算子节点 的 prompt model 下拉参数中（当 provider 指定为 LM Studio 时）。

若需选用新模型，只需在 LM Studio 界面中完成下载与加载，Griptape Nodes 即可在前端零延迟即刻同步。

推荐延伸阅读