AI-инфраструктура

Что решаем

• Данные нельзя отправлять во внешние облачные сервисы, а AI нужен уже сейчас
• Непонятно, сколько GPU, памяти, хранения и сети нужно под обучение и инференс
• Сотрудники работают с внешними LLM, и есть риск утечки данных
• Модели из экспериментов нужно перевести в промышленную эксплуатацию

Вопросы и ответы

Можно ли развернуть AI-инфраструктуру так, чтобы данные не уходили во внешние облака?

Да, GPU-серверы и кластеры, локальные LLM и платформы для моделей разворачиваются внутри периметра заказчика, поэтому данные не покидают его инфраструктуру. Такой подход реализован в проекте «AI-инфраструктура на GPU», где мощность для обучения, инференса и локальных LLM построена без отправки данных во внешние облака.

С какими производителями вы работаете при построении AI-инфраструктуры?

Работаем с NVIDIA, Lenovo, Dell Technologies, Nutanix, Red Hat и SUSE, а также используем платформы Nutanix GPT-in-a-Box, Red Hat OpenShift AI и SUSE Rancher.

Как посчитать, сколько GPU, памяти и сети нужно под обучение и инференс моделей?

Сайзинг делается под конкретные задачи заказчика: подбирается GPU-платформа и рассчитываются вычисления, память, хранение и сеть, необходимые для обучения и инференса моделей.

Что делать, если сотрудники уже используют внешние LLM и это создаёт риск утечки данных?

Для такого случая предусмотрена защита данных при работе с внешними LLM, а также перевод моделей из экспериментов в промышленную эксплуатацию на локальной инфраструктуре внутри периметра заказчика.