NVIDIA упростит запуск локальных ИИ-агентов на GPU с 24 ГБ памяти
По данным Wccftech, NVIDIA готовит упрощённый запуск Hermes Agent, OpenClaw и Perplexity Computer: Hermes — на RTX и DGX, а OpenClaw и Perplexity Portable Computer — на RTX с 24 ГБ VRAM и выше. Компания также оптимизировала инференс в llama.cpp и vLLM: в отдельных тестах ускорение достигает 1,9 раза.
NVIDIA расширяет инструменты для запуска ИИ-агентов непосредственно на компьютере. Как сообщает Wccftech, новые упрощённые сценарии установки предназначены для видеокарт NVIDIA с объёмом памяти от 24 ГБ и охватывают Hermes Agent, OpenClaw и Perplexity Computer.
Perplexity Portable Computer, уже доступный в Linux-средах вроде NVIDIA DGX Spark, в сентябре должен появиться на RTX-видеокартах с 24 ГБ видеопамяти и более в системах Linux и Windows. Приложение объединяет модели, оркестрацию и инструменты в одном интерфейсе. Задачи можно выполнять локально без расходования кредитов, а отдельные части работы при необходимости отправлять в облако к одной из более чем 15 моделей. Перед отправкой данных приложение запрашивает разрешение пользователя.
Для Hermes Agent заявлена однокнопочная настройка локальной модели на системах RTX и DGX под Windows и Linux. Агент должен самостоятельно определить установленный GPU, подобрать модель и конфигурацию, а затем запустить её через интегрированный llama.cpp с оптимизациями NVIDIA. Такой подход должен избавить пользователя от ручной загрузки моделей и настройки параметров. Срок выхода этой функции в публикации обозначен как «скоро».
NVIDIA, Microsoft и разработчики OpenClaw также работают над Windows-приложением OpenClaw. По данным Wccftech, оно упростит установку оптимизированной локальной модели на любом RTX-ускорителе с 24 ГБ VRAM и выше.
Параллельно NVIDIA продолжает оптимизировать локальный инференс в открытых проектах llama.cpp и vLLM. В тесте SpeedBench-Coding 8K Throughput с AIPerf GeForce RTX 5090 показала прирост скорости генерации токенов до 50% для Qwen3.6-27B и до 90% для Qwen3.6-35B в llama.cpp — это соответствует ускорению до 1,9 раза. Для RTX PRO 6000 Blackwell в vLLM источник указывает ускорение до 20% на обеих моделях, а для DGX Spark — рост производительности в 1,4 раза на Qwen3.6-27B в vLLM и на 20% при инференсе DeepSeek v4 Flash.
Ускорение связывают с улучшенной спекулятивной генерацией, более быстрым этапом prefill, новыми ядрами внимания XQA в FlashInfer и оптимизациями бэкенда vLLM.