菜单
English articles本文暂无译文
积墨AI

积墨AI

一条命令搞定本地AI助理:NemoClaw+vLLM在DGX Spark上的沙盒化部署实操

当你手握一台DGX Spark,想要真正把它变成生产力工具时,往往会陷入两难:用Ollama拉个模型跑着玩,问两句就腻了;试着装个Agent,却发现它拥有电脑的完整shell权限,数据安全毫无保障。NVIDIA官方在DGX Spark的部署手册里给出了一个把这两件事一起解决的做法:用NemoClaw把OpenClaw Agent关进内核级沙盒,再把推理路由到本地vLLM上。全程一条安装命令起步,最终得到一个跑在沙盒里、可以通过网页、终端或微信访问、且所有推理都不出本机的AI助理。

分层架构解析:NemoClaw、OpenClaw与OpenShell

理解这套方案,先要分清三个核心组件的角色。OpenClaw是真正干活的AI助手本体,具备规划、工具调用和长时在线运行能力;OpenShell是NVIDIA的Agent隔离运行时,负责把Agent关进笼子再放它出门;NemoClaw则是将上述两件事与Node.js、CLI、模型拉起打包成一键部署的开源参考堆栈。整个安装流程简化为:安装Node.js、安装OpenShell、拉取NemoClaw稳定版、建立CLI、运行板载向导创建沙盒Agent、可选接消息渠道、套策略层,由一条安装脚本curl -fsSL https://www.nvidia.com/nemoclaw.sh | bash自动串起。

模型选型逻辑:为什么是Qwen3.6-35B-A3B-NVFP4

快速安装默认配置的是nvidia/Qwen3.6-35B-A3B-NVFP4,这不是随意挑选的结果。35B指总参数量350亿,A3B表示MoE架构每次推理实际只激活约30亿参数,这是它能在单机上跑得动的关键——胃口按35B算,干活只出3B的力。NVFP4是NVIDIA的4位浮点量化格式,配合DGX Spark 128GB统一内存,让35B级别的模型稳稳落地还留有长上下文余量。所谓“代理就绪”,是官方为工具调用、推理链、长多轮会话调优过的模型——普通聊天模型对话没问题,一旦让它连续调用十几个工具、跑二十轮任务,就会开始忘记目标和填错参数。

本地AI助理的成败,不在模型大小里、不在渠道选择里,而在沙盒与推理的每一次隔离执行里

“行业观察”
积墨 AI 核心产品

积墨 AI 智能体开发平台

快速搭建具备商业价值的 AI 智能体,支持复杂工作流编排、50+ 主流模型接入与私有化部署。

四层隔离机制:OpenShell的安全底气

Agent和聊天机器人的本质区别在于Agent有权做事——它能读文件、跑命令、联网、调API。在个人电脑上裸跑一个有shell权限的LLM Agent,等于把家门钥匙交给一个可能被提示词注入欺骗的系统。OpenShell用四层隔离把风险框住:FileSystem层用Landlock实现内核级文件系统访问控制,阻止越出允许路径的读写,在沙盒创建时锁定;Process层用seccomp进行系统调用过滤,阻断提权和危险系统调用,同样在创建时锁死;Network层用netns网络命名空间隔离,阻断未授权外向连接,可在运行时热重载;Inference层把模型API调用重路由到受控后端而非直接联网,这是最聪明的一处——Agent以为在调云端大模型,实际请求绕回本机8000端口的vLLM,数据从头到尾没出过机箱。文件系统和进程在创建时就锁死,网络和推理允许运行时热重载以保持灵活性。

vLLM接线与三端接入:实操中的关键细节

OpenShell网关跑在Docker容器里,带来三个硬性要求:服务必须监听所有网卡否则容器无法访问;创建provider时要用机器IP而非localhost,格式为http://{机器IP}:8000/v1;模型ID必须在vLLM服务、OpenShell的inference set配置、向导填写的Model ID三处完全一致。验证服务是否正常用curl -s http://0.0.0.0:8000/v1/models检查是否返回包含模型句柄的JSON。安装完成后可通过三种方式对话:Web UI最直观但远程访问需建SSH隧道且浏览器必须用127.0.0.1不能用localhost;终端TUI最轻量;微信接入最方便但需注意是扫码登录个人号非官方协议,企业场景建议走Slack或飞书等提供官方Bot API的渠道。首次推理速度取决于模型大小,30B级别几秒内响应,120B级别可能需要30-90秒属正常现象。

NemoClaw解决的核心矛盾是:既要给Agent能力,又不给它无限能力。OpenShell的四层隔离给出了工程上的答案——FileSystem和Process锁死保证不出格,Network和Inference可热重载保证够灵活。需要明确的是,这套方案官方定位为演示用途非生产就绪,真要上生产环境安全控制需要自己补足;同时Agent固有风险不会因沙盒消失,隔离只降低不消除,务必用干净环境运行不接敏感数据。回到开头那两难,这台设备真正有意思的地方从来不是它能跑多大的模型,而是让人第一次能在自己桌上认真思考AI助理该怎么被管住这件事——给它能力,同时给它边界。

#NemoClaw#OpenShell#vLLM#沙盒隔离#Qwen3.6-35B-A3B#Landlock
分享文章

相关文章推荐

试用咨询
企业微信二维码

扫码添加企业微信