Виртуальные машины с GPU для видеоаналитики VizorLabs: сверхмощные и экономичные

О чем эта история

Компания VizorLabs, которая занимается внедрением технологий компьютерного зрения и видеоаналитики на производствах, искала нового облачного провайдера. VizorLabs при обучении и дообучении своих машинных моделей оперирует особо чувствительными персональными данными — изображениями людей, именами и фамилиями, поэтому искала партнера, инфраструктура которого соответствовала бы 152-ФЗ. Также компания хотела иметь возможность гибко управлять мощностями: на время обучения моделей подключать очень производительные виртуальные машины, а в «рабочем» режиме использовать менее мощные.

Решением для VizorLabs стал сервис Yandex Compute Cloud с его возможностью подключить прерываемые виртуальные машины с GPU-ускорителем. Все ресурсы Yandex не только соответствуют 152-ФЗ, но и позволяют быстро решать самые «тяжелые» задачи, связанные с обработкой видеопотока. По расчетам VizorLabs, аналогичное решение у других облачных провайдеров обошлось бы им более чем в четыре раза дороже.

Высокопроизводительные машины для компьютерного зрения

VizorLabs разрабатывает технологии компьютерного зрения для промышленных систем видеоаналитики: распознавание людей, объектов, действий на фото и видео. Программное обеспечение компании применяется для контроля техники безопасности, а также может использоваться для трекинга людей, распознавания положения человека в пространстве, статистической и прогнозной аналитики.

В портфолио VizorLabs есть решения для промышленности, транспорта, спортивной индустрии, ритейла, а также для медицинских организаций в период COVID-19 (контроль ношения медицинских масок).

Изначально машинное обучение моделей было организовано на облачных платформах Amazon Web Services и Microsoft Azure. Но через некоторое время появилась задача гибко управлять загрузкой виртуальных машин и эффективнее планировать расходы. Еще одна возникшая задача — соблюдать требования федерального закона № 152-ФЗ «О персональных данных», потому что модели компьютерного зрения попадают под его действие. Например, в проектах для мониторинга соблюдения техники безопасности важно, чтобы каждое лицо на видео распознавалось и сопоставлялось с фамилией, именем, должностью работника. Такая информация, согласно законодательству РФ, относится уже к биометрическим персональным данным, и, чтобы использовать их даже во время обучения машинной модели, серверы должны иметь все необходимые сертификаты безопасности. Поэтому решили перенести инфраструктуру, которая работает с этими задачами, на российскую облачную платформу.

Для компании было важно, чтобы сервисы нового провайдера управлялись гибко: можно было подключать больше ресурсов в периоды обучения машинной модели для каждого конкретного проекта и отключать их, когда она переходит в режим inference (обрабатывает входящий видеопоток).

Все это предоставляет Yandex.Cloud. Также привлекла возможность гибко настраивать мощности виртуальных машин: подбирать оптимальные комбинации vCPU и RAM, а для «тяжелых» вычислений подключать высокомощные виртуальные машины с графическими ускорителями GPU.

Платформа Yandex.Cloud полностью удовлетворяет требования 152-ФЗ:

• есть средства защиты информации, обеспечивающие 3-й и 4-й уровни защищенности персональных данных;
• пройдены все необходимые сертификации и аттестации;
• в дата-центрах организована бесперебойная работа и отказоустойчивость выше 99%.

Использовать машины с GPU-ускорителем и не платить за простои

Для задач VizorLabs решили использовать сервис Yandex Compute Cloud с его возможностями развернуть прерываемые виртуальные машины, которые могут быть принудительно остановлены в любой момент. Теперь компания подключает дополнительные мощности на этапе, когда нейронная сеть проходит фазу обучения, и отключает, когда она переходит к рутинным задачам. Это позволяет не оплачивать время работы виртуальных машин с избыточными характеристиками.

VizorLabs использует облачные мощности для решения широкого круга задач (обучение, дообучение нейросетей, демостенды, тестовые ресурсы разработчиков, разметка и хранение датасетов), поэтому при создании ресурсов выбирали разные конфигурации. Например, для самых «тяжелых» вычислений создали виртуальные машины с графическим ускорителем NVIDIA Tesla V100, которые работают в режиме прерываемых виртуальных машин.

Вычисления, которые выполняет машинная модель при рутинной работе, передаются в инфраструктуру заказчика, если у него есть свои виртуальные машины в Yandex.Cloud. Если нет, то VizorLabs создают новые виртуальные машины в своем облаке, выбирая их мощность таким образом, чтобы она была оптимальна для задач конкретного заказчика.

Чтобы начать работу в Yandex.Cloud, нужно было организовать миграцию ресурсов от предыдущего облачного провайдера. Виртуальные машины переносили вручную и поэтапно, чтобы сделать миграцию более безопасной. Процесс прошел легко, а единственное, что нужно было доработать, — прописать скрипты запуска прерываемых машин, потому что раньше такие машины не использовались.

Со всей работой примерно за месяц справился один сотрудник VizorLabs. Его консультировал системный архитектор Yandex.Cloud, который помогал разобраться с функциональностью сервисов и советовал полезные опции, чтобы лучше распределить нагрузку.

Для хранения данных машинных моделей при обучении VizorLabs использовали сервис Yandex Object Storage.

Мощные машины — быстрая разработка

Благодаря миграции в Yandex.Cloud компании VizorLabs удалось создать надежную инфраструктуру для работы с персональными данными, которая удовлетворяет всем требованиям 152-ФЗ.

Оптимизированы расходы на содержание облачных ресурсов: экономия получилась больше чем в четыре раза в сравнении с тем, если бы использовали те же GPU-машины у других провайдеров без возможности прерывания.

Так как все мощности Yandex.Cloud расположены в России и организованы три зоны доступности (Московская, Владимирская и Рязанская области), пинг для сотрудников распределенных команд из различных регионов страны повысился. Поэтому разрабатывать новые машинные модели получается быстрее. В планах использовать еще более мощные GPU-машины. Скоро у Yandex.Cloud появится возможность подключить видеокарты NVIDIA Ampere A100 с еще большей производительностью.

Мнение

"Мы пробовали разных провайдеров, но наиболее интересными и простыми в управлении оказались решения от Yandex.Cloud со своими прерываемыми машинами. Они позволяют очень эффективно расходовать бюджет там, где такие прерывания некритичны для производительности, например в дообучении машинных моделей."

Василий Долгов,
основатель и CEO VizorLabs

Ссылка на оригинал статьи