Yandex Cloud поможет компаниям быстрее переносить ML-разработку из локальной инфраструктуры в облако

Облачная платформа Yandex Cloud открыла доступ к обновленной версии сервиса для полного цикла машинного обучения Yandex DataSphere.

Теперь разработчики могут использовать для ML-задач в сервисе выделенные виртуальные машины. Это поможет ИТ-специалистам, которые привыкли работать с алгоритмами в собственной инфраструктуре, легче переносить ML-вычисления в облако. Также в Yandex DataSphere стало удобнее настраивать среду разработки, что позволит быстрее обучать и выводить модели в продакшн.

Новый режим работы Yandex DataSphere Dedicated дает возможность пользователю зарезервировать виртуальную машину в облаке под свой проект и работать с ней столько, сколько потребуется. За счет привычной работы с вычислительными ресурсами в режиме Dedicated можно ускорить разработку моделей машинного обучения для различных задач по анализу данных. Например, для обнаружения поломок оборудования или управления рисками в компании.

Помимо нового режима Dedicated, в Yandex DataSphere остается возможность выбрать режим Serverless при обучении моделей. Технология бессерверных вычислений позволяет автоматически подключать виртуальную машину нужного типа только на время непосредственных расчётов (обучение моделей, запуск и других вычислений). Этот режим позволяет пользователю оплачивать вычислительные мощности только во время реального обучения и максимально оптимизировать расходы на вычисления.

Также в Yandex DataSphere появилась новая версия Jupyter Notebook - наиболее популярного редактора кода для ML-разработки. Обновленный интерфейс, а также предустановленные расширения - например, навигация по блокноту внутри ноутбука, позволяют удобнее работать с Jupyter Notebook. Кроме этого, в Yandex DataSphere можно настроить прозрачную визуализацию использования ресурсов: в режиме реального времени отслеживать, какие ресурсы доступны на используемых машинах и как они утилизируются.

В Yandex DataSphere есть все необходимые инструменты для полного цикла разработки машинного обучения, а также интеграции с другими облачными сервисами платформы - Data Proc (управление Apache Spark) и Data Transfer (инструмент для передачи данных). ML-специалист может подключать внутри сервиса необходимые библиотеки для параллельной обработки данных на кластерах Spark и напрямую - различные облачные хранилища для анализа и хранения данных.

Также Yandex DataSphere отлично подходит для командной работы: к проектам можно подключать других ML-разработчиков и специалистов, которые задействованы в работе с моделями машинного обучения. Например, инженер поддержки может корректировать настройки для эксплуатации модели, а администратор – управлять настройками доступа.