NVIDIA представила Nemotron 3.5 Lightning для ИИ-агентов

У модели 30 млрд параметров, из которых одновременно активны 3 млрд. NVIDIA заявляет до четырех раз более быструю генерацию и сокращение времени выполнения агентных задач на 30%. Звучит мощно! Рассказываю.

Nemotron 3.5 Lightning относится к моделям типа MoE — Mixture of Experts («смесь экспертов»). Проще говоря, внутри такой модели есть несколько специализированных частей, которые отвечают за разные типы задач. При обработке запроса система задействует только те из них, которые нужны в конкретный момент. Всего модель содержит 30 млрд параметров.

Nemotron 3.5 Lightning рассчитана прежде всего на системы, в которых сразу несколько ИИ-агентов совместно выполняют разные задачи. Например, один ищет нужную информацию, другой анализирует данные, третий готовит результат, а четвертый проверяет выполненную работу.

Отмечается, что Nemotron 3.5 Lightning может работать не только в облаке, но и непосредственно на устройствах пользователя или компании. Есть поддержка ПК с видеокартами RTX, систем DGX Spark и DGX Station, а также платформ Jetson.

Модель также можно использовать в корпоративных инфраструктурах — на рабочих станциях NVIDIA RTX PRO, в центрах обработки данных, облачных сервисах и на периферийных ИИ-устройствах.

Источник фото: Freepik