Groq Prompt Driver 极速推理提示驱动与 LPU 模型连接节点
Groq Prompt Driver 驱动节点专用于在 Griptape Nodes 框架中配置并驱动 Groq 专有 LPU（Language Processing Unit）芯片架构上的各种开源大语言模型，为工作流提供亚秒级响应、超高 Token/s 吞吐的极速推理能力。
驱动环境配置 (Configuration)
API 凭证管理 (API Key)
使用 Groq 提示驱动需要有效的 Groq API 密钥。您可以前往 Groq 控制台 (Groq Console) 免费创建和获取专属 API Key。
支持的模型清单 (Available Models)
Groq 提示驱动全面适配并支持以下主流模型矩阵：
正式生产模型 (Production Models)
- gemma2-9b-it - Google 的 Gemma 2 9B 轻量级对话模型；
- meta-llama/llama-guard-4-12b - Meta 专用于内容安全合规与审核的 Llama Guard 防护模型；
- llama-3.3-70b-versatile - Meta 全能型 70B 强推理模型；
- llama-3.1-8b-instant - Meta 毫秒级极速响应的 8B 参数模型；
- llama3-70b-8192 - Meta 70B 高性能模型（8K 上下文窗口）；
- llama3-8b-8192 - Meta 8B 轻量模型（8K 上下文窗口）；
- meta-llama/llama-4-scout-17b-16e-instruct - Meta 视觉多模态模型（16K 上下文），完美兼容图像描述节点；
- meta-llama/llama-4-maverick-17b-128e-instruct - Meta 长文本视觉模型（128K 超长上下文），兼容图像描述节点。
实验预览模型 (Preview Models)
- allam-2-7b - 沙特数据与 AI 管理局推出的 7B 多语言模型；
- deepseek-r1-distill-llama-70b - 基于 DeepSeek-R1 蒸馏的 70B 深度思考模型。
配置参数规范 (Parameters)
| 参数名称 (Parameter) | 数据类型 (Type) | 默认值 (Default) | 语义说明 (Description) |
|---|---|---|---|
| model | string | gemma2-9b-it |
用于文本生成与推理的目标 Groq 模型标识符。 |
| temperature | float | 0.7 |
控制生成的发散度与随机性（0.0 至 1.0）。 |
| top_p | float | 0.9 |
核采样阈值，调控候选词词汇多样性（0.0 至 1.0）。 |
| max_tokens | integer | 2048 |
单次生成允许的最大 Token 数量上限。 |
| stream | boolean | false |
是否开启实时流式生成（Token-by-Token 吐出）。 |
| max_attempts | integer | 3 |
请求异常或触发限流时的最大自动重试次数。 |
使用步骤指南 (Usage)
- 在工作流画布中添加 Groq Prompt Driver 节点。
- 确保在 Groq 密钥管理中心 获取了有效的 API Key。
- 在 Griptape 统一环境配置或全局偏好设置中挂载
GROQ_API_KEY。 - 从下拉列表中选择所需的生产级或预览版模型。
- 根据任务属性按需调整温度与最大 Token 数量。
- 将其输出引脚连入 Agent 或后续的处理算子中。
关键技术特性与说明 (Notes)
- OpenAI 兼容协议：Groq 驱动基于兼容 OpenAI 的标准 REST 端点
https://api.groq.com/openai/v1进行安全通信。 - 预览模型生命周期提醒：Preview 系列模型专供技术评估测试，官方可能随时下线轮换；在核心生产管线中强烈建议选用 Production Models。
- 执行前状态自检：在工作流每次触发执行前，该节点均会自动在后台对 API Key 的合法性进行快速探测与连通性验证。