rst Информационно-экономические аспекты стандартизации и технического регулирования Informatsionno-ekonomicheskiye aspekty standartizatsii i tekhnicheskogo regulirovaniya 2311-1348 ФГБУ «Институт стандартизации» WFLVJN 91973393 Research Article Информационные системы и процессы information systems and processes МУЛЬТИМОДАЛЬНОЕ ОБУЧЕНИЕ СИСТЕМ КОМПЬЮТЕРНОГО ЗРЕНИЯ ДЛЯ КОНТЕКСТНОГО ПОНИМАНИЯ СЦЕН MULTIMODAL TRAINING OF COMPUTER VISION SYSTEMS FOR CONTEXTUAL SCENE UNDERSTANDING 1923-3687 635748 Морозов Владимир Петрович Morozov Vladimir Petrovich

Морозов Владимир Петрович, Доцент, профессор ФГБОУ ВО ВГТУ

Воронеж, Россия

Morozov Vladimir Petrovich, Associate Professor, Professor Voronezh State Technical University

Voronezh, Russia

 Марченко Николай Викторович Marchenko N. V.

Марченко Николай Викторович, студент ФГБОУ ВО ВГТУ

Воронеж, Россия

Marchenko N. V., student Voronezh State Technical University

Voronezh, Russia

 Капацын Данила Владимирович Kapatsyn D. V.

Капацын Данила Владимирович, студент ФГБОУ ВО ВГТУ

Воронеж, Россия

Kapatsyn D. V., student Voronezh State Technical University

Voronezh, Russia

 ФГБОУ ВО ВГТУ Россия Voronezh State Technical University Russian Federation 2026 102 91 21 26 Copyright © Морозов В. П., Марченко Н. В., Капацын Д. В., 2026 2026 Морозов В. П., Марченко Н. В., Капацын Д. В. Morozov V. P., Marchenko N. V., Kapatsyn D. V. Данная работа распространяется под лицензией Creative Commons Attribution 4.0. https://iea.gostinfo.ru/article/view/224

В статье рассматриваются особенности применения мультимодального обучения систем компьютерного зрения (СКЗ) в интересах контекстного понимания сцен. Целью исследования является анализ особенностей применения технологии мультимодального обучения в СКЗ для контекстного понимания сцен. Описаны такие методы мультимодального обучения, как представление модальностей, мультимодальное выравнивание, мультимодальное преобразование, совместное обучение и слияние данных. Представлены результаты экспериментов, подтверждающих более высокую эффективность функционирования СКЗ, в которой для контекстного понимания сцен использовано мультимодальное обучение, по сравнению с унимодальным обучением. Отражены проблемы и современные направления развития мультимодального обучения.

The article discusses the features of the application of multimodal learning of computer vision systems (CVS) in the interests of contextual understanding of scenes. The purpose of the study is to analyze the features of using multimodal learning technology in the CVS for contextual understanding of scenes. Such methods of multimodal learning as representation of modalities, multimodal alignment, multimodal transformation, collaborative learning and data fusion are described. The results of experiments confirming the higher efficiency of the functioning of the CVS, in which multimodal learning is used for contextual understanding of scenes, compared with unimodal learning, are presented. The problems and current trends in the development of multimodal learning systems are reflected

 аудиовизуальные данные контекстное понимание сцены мультимодальное выравнивание мультимодальное обучение мультимодальное слияние представление модальностей система компьютерного зрения. audiovisual data contextual scene understanding multimodal alignment multimodal learning multimodal fusion presentation of modalities computer vision system References Морозов В.П., Белоусов В.Е., Мистров Л.Е., Сырин А.И. Свойства и информационные процессы мозга человека для разработки нейроморфных систем // Информационно-экономические аспекты стандартизации и технического регулирования. 2023. № 5(74). С. 48–55. Morozov V.P., Belousov V.E., Mistrov L.E., Syrin A.I. Svojstva i informacionnye processy mozga cheloveka dlya razrabotki nejromorfnyh sistem. Informacionnoekonomicheskie aspekty standartizacii i tekhnicheskogo regulirovaniya. 2023, no. 5(74), pp. 48–55. (In Russ.). Сысков А. М., Борисов В. И., Петренко Т. С. Проектирование мультимодальных интерфейсов мозг-компьютер. – Екатеринбург: Изд-во Урал. ун-та, 2023. – 131 с. Syskov A.M., Borisov V.I., Petrenko T.S. Proektirovanie mul’timodal’nyh interfejsov mozg-komp’yuter. Ekaterinburg: Izd-vo Ural. un-ta, 2023, 131 p. (In Russ.). Потапов А.С. Системы компьютерного зрения. Учебное пособие. – СПб: Университет ИТМО, 2016. – 161 с. Potapov A.S. Sistemy komp’yuternogo zreniya. Uchebnoe posobie. SPb: Universitet ITMO, 2016, 161 p. (In Russ.). Рой Д., Пентланд А. Обучение словам на основе зрительных и звуковых данных: вычислительная модель // Cognitive Science. 2002. Т. 26, №1. С. 113–146. Roj D., Pentland A. Obuchenie slovam na osnove zritel’nyh i zvukovyh dannyh: vychislitel’naya model’. Cognitive Science. 2002, vol. 26, no, pp. 113–146. (In Russ.). Крейман Г. Биологическое и компьютерное зрение. – М.: ДМК Пресс, 2021. – 314 c. Krejman G. Biologicheskoe i komp’yuternoe zrenie. Moscow: DMK Press, 2021, 314 p. (In Russ.). Дэвис Р., Тёрк М. Компьютерное зрение. Передовые методы и глубокое обучение. – М.: Издательство «ДМК Пресс», 2022. – 690 с. Devis R., Tyork M. Komp’yuternoe zrenie. Peredovye metody i glubokoe obuchenie. Moscow: Izdatel’stvo «DMK Press», 2022, 690 p. (In Russ.). Иванько Д.В., Рюмин Д.А. Обзор нейросетевых методов распознавания и синтеза звучащей и жестовой речи // Научно-технический вестник информационных технологий, механики и оптики. 2024. Т. 24, № 5. С. 669–686. Ivan’ko D.V., Ryumin D.A. Obzor nejrosetevyh metodov raspoznavaniya i sinteza zvuchashchej i zhestovoj rechi. Nauchno–tekhnicheskij vestnik informacionnyh tekhnologij, mekhaniki i optiki. 2024, vol. 24, no. 5, pp. 669–686. (In Russ.). Морозов В.П., Белоусов В.Е., Суханова Д.А., Суханов В.В. Облик информационных систем верификации субъектной информации // Информационно-экономические аспекты стандартизации и технического регулирования. 2025. № 1(82). С. 57–62. Morozov V.P., Belousov V.E., Suhanova D.A., Suhanov V.V. Oblik informacionnyh sistem verifikacii sub»ektnoj informacii. Informacionno-ekonomicheskie aspekty standartizacii i tekhnicheskogo regulirovaniya. 2025, no. 1(82), pp. 57–62. (In Russ.). Гринчук О.В., Цурков В.И. Обучение мультимодальной нейронной сети для определения подлинности изображений // Известия РАН. Теория и системы управления. 2020. № 4. С. 103–109. Grinchuk O.V., Curkov V.I. Obuchenie mul’timodal’noj nejronnoj seti dlya opredeleniya podlinnosti izobrazhenij. Izvestiya RAN. Teoriya i sistemy upravleniya. 2020, no 4, pp. 103–109. (In Russ.). Морозов В.П., Белоусов В.Е., Моисеев С.И. Техническое обеспечение информационных систем компьютерного зрения // Информационно-экономические аспекты стандартизации и технического регулирования. 2022. № 4(68). С. 35–41. Morozov V.P., Belousov V.E., Moiseev S.I. Tekhnicheskoe obespechenie informacionnyh sistem komp’yuternogo zreniya. Informacionno-ekonomicheskie aspekty standartizacii i tekhnicheskogo regulirovaniya. 2022, no. 4(68), pp. 35–41. (In Russ.). Борисова И.В. Компьютерное зрение: цифровая обработка и анализ изображений. – Новосибирск: Изд- во НГТУ, 2022. – 163 с. Borisova I.V. Komp’yuternoe zrenie: cifrovaya obrabotka i analiz izobrazhenij. Novosibirsk: Izd-vo NGTU, 2022. 163 p. (In Russ.).

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

The authors declare that there are no conflicts of interest present.