Капацын Данила Владимирович

В статье рассматриваются особенности применения мультимодального обучения систем компьютерного зрения (СКЗ) в интересах контекстного понимания сцен. Целью исследования является анализ особенностей применения технологии мультимодального обучения в СКЗ для контекстного понимания сцен. Описаны такие методы мультимодального обучения, как представление модальностей, мультимодальное выравнивание, мультимодальное преобразование, совместное обучение и слияние данных. Представлены результаты экспериментов, подтверждающих более высокую эффективность функционирования СКЗ, в которой для контекстного понимания сцен использовано мультимодальное обучение, по сравнению с унимодальным обучением. Отражены проблемы и современные направления развития мультимодального обучения.