Логотип
ИЭА СТР
УДК 004.85 • EDN: WFLVJN • e-Library ID: 91973393

МУЛЬТИМОДАЛЬНОЕ ОБУЧЕНИЕ СИСТЕМ КОМПЬЮТЕРНОГО ЗРЕНИЯ ДЛЯ КОНТЕКСТНОГО ПОНИМАНИЯ СЦЕН

• С. 21-26
Скачать JATS XML Скачать PDF
🇷🇺 На русском

Для цитирования

Морозов В.П., Марченко Н.В., Капацын Д.В. Мультимодальное обучение систем компьютерного зрения для контекстного понимания сцен // Информационно-экономические аспекты стандартизации и технического регулирования. 2026. №4 (91). С. 21–26.

Аннотация

В статье рассматриваются особенности применения мультимодального обучения систем компьютерного зрения (СКЗ) в интересах контекстного понимания сцен. Целью исследования является анализ особенностей применения технологии мультимодального обучения в СКЗ для контекстного понимания сцен. Описаны такие методы мультимодального обучения, как представление модальностей, мультимодальное выравнивание, мультимодальное преобразование, совместное обучение и слияние данных. Представлены результаты экспериментов, подтверждающих более высокую эффективность функционирования СКЗ, в которой для контекстного понимания сцен использовано мультимодальное обучение, по сравнению с унимодальным обучением. Отражены проблемы и современные направления развития мультимодального обучения.

Ключевые слова

аудиовизуальные данные контекстное понимание сцены мультимодальное выравнивание мультимодальное обучение мультимодальное слияние представление модальностей система компьютерного зрения.

Об авторах

Морозов Владимир Петрович

Морозов Владимир Петрович — Доктор технических наук, Доцент, профессор, ФГБОУ ВО ВГТУ, ( Воронеж, Россия )

Марченко Николай Викторович

Марченко Николай Викторович — студент, ФГБОУ ВО ВГТУ, ( Воронеж, Россия )

Капацын Данила Владимирович

Капацын Данила Владимирович — студент, ФГБОУ ВО ВГТУ, ( Воронеж, Россия )

Список литературы

  1. 1. Морозов В.П., Белоусов В.Е., Мистров Л.Е., Сырин А.И. Свойства и информационные процессы мозга человека для разработки нейроморфных систем // Информационно-экономические аспекты стандартизации и технического регулирования. 2023. № 5(74). С. 48–55.
  2. 2. Сысков А. М., Борисов В. И., Петренко Т. С. Проектирование мультимодальных интерфейсов мозг-компьютер. – Екатеринбург: Изд-во Урал. ун-та, 2023. – 131 с.
  3. 3. Потапов А.С. Системы компьютерного зрения. Учебное пособие. – СПб: Университет ИТМО, 2016. – 161 с.
  4. 4. Рой Д., Пентланд А. Обучение словам на основе зрительных и звуковых данных: вычислительная модель // Cognitive Science. 2002. Т. 26, №1. С. 113–146.
  5. 5. Крейман Г. Биологическое и компьютерное зрение. – М.: ДМК Пресс, 2021. – 314 c.
  6. 6. Дэвис Р., Тёрк М. Компьютерное зрение. Передовые методы и глубокое обучение. – М.: Издательство «ДМК Пресс», 2022. – 690 с.
  7. 7. Иванько Д.В., Рюмин Д.А. Обзор нейросетевых методов распознавания и синтеза звучащей и жестовой речи // Научно-технический вестник информационных технологий, механики и оптики. 2024. Т. 24, № 5. С. 669–686.
  8. 8. Морозов В.П., Белоусов В.Е., Суханова Д.А., Суханов В.В. Облик информационных систем верификации субъектной информации // Информационно-экономические аспекты стандартизации и технического регулирования. 2025. № 1(82). С. 57–62.
  9. 9. Гринчук О.В., Цурков В.И. Обучение мультимодальной нейронной сети для определения подлинности изображений // Известия РАН. Теория и системы управления. 2020. № 4. С. 103–109.
  10. 10. Морозов В.П., Белоусов В.Е., Моисеев С.И. Техническое обеспечение информационных систем компьютерного зрения // Информационно-экономические аспекты стандартизации и технического регулирования. 2022. № 4(68). С. 35–41.
  11. 11. Борисова И.В. Компьютерное зрение: цифровая обработка и анализ изображений. – Новосибирск: Изд- во НГТУ, 2022. – 163 с.
🇬🇧 In English

MULTIMODAL TRAINING OF COMPUTER VISION SYSTEMS FOR CONTEXTUAL SCENE UNDERSTANDING

For citation

Marchenko N.V. , Kapatsyn D.V. , Morozov V.P. Multimodal training of computer vision systems for contextual scene understanding. Information and economic aspects of standardization and technical regulation. 2026, 4(91): 21–26. (In Russ.)

Abstract

The article discusses the features of the application of multimodal learning of computer vision systems (CVS) in the interests of contextual understanding of scenes. The purpose of the study is to analyze the features of using multimodal learning technology in the CVS for contextual understanding of scenes. Such methods of multimodal learning as representation of modalities, multimodal alignment, multimodal transformation, collaborative learning and data fusion are described. The results of experiments confirming the higher efficiency of the functioning of the CVS, in which multimodal learning is used for contextual understanding of scenes, compared with unimodal learning, are presented. The problems and current trends in the development of multimodal learning systems are reflected

Keywords

audiovisual data contextual scene understanding multimodal alignment multimodal learning multimodal fusion presentation of modalities computer vision system

About the authors

Morozov Vladimir Petrovich

Morozov Vladimir Petrovich — Doctor of Technical Sciences, Associate Professor, Professor, Voronezh State Technical University, ( Voronezh, Russia )

Marchenko N. V.

Marchenko N. V. — student, Voronezh State Technical University, ( Voronezh, Russia )

Kapatsyn D. V.

Kapatsyn D. V. — student, Voronezh State Technical University, ( Voronezh, Russia )

References

  1. 1. Morozov V.P., Belousov V.E., Mistrov L.E., Syrin A.I. Svojstva i informacionnye processy mozga cheloveka dlya razrabotki nejromorfnyh sistem. Informacionnoekonomicheskie aspekty standartizacii i tekhnicheskogo regulirovaniya. 2023, no. 5(74), pp. 48–55. (In Russ.).
  2. 2. Syskov A.M., Borisov V.I., Petrenko T.S. Proektirovanie mul’timodal’nyh interfejsov mozg-komp’yuter. Ekaterinburg: Izd-vo Ural. un-ta, 2023, 131 p. (In Russ.).
  3. 3. Potapov A.S. Sistemy komp’yuternogo zreniya. Uchebnoe posobie. SPb: Universitet ITMO, 2016, 161 p. (In Russ.).
  4. 4. Roj D., Pentland A. Obuchenie slovam na osnove zritel’nyh i zvukovyh dannyh: vychislitel’naya model’. Cognitive Science. 2002, vol. 26, no, pp. 113–146. (In Russ.).
  5. 5. Krejman G. Biologicheskoe i komp’yuternoe zrenie. Moscow: DMK Press, 2021, 314 p. (In Russ.).
  6. 6. Devis R., Tyork M. Komp’yuternoe zrenie. Peredovye metody i glubokoe obuchenie. Moscow: Izdatel’stvo «DMK Press», 2022, 690 p. (In Russ.).
  7. 7. Ivan’ko D.V., Ryumin D.A. Obzor nejrosetevyh metodov raspoznavaniya i sinteza zvuchashchej i zhestovoj rechi. Nauchno–tekhnicheskij vestnik informacionnyh tekhnologij, mekhaniki i optiki. 2024, vol. 24, no. 5, pp. 669–686. (In Russ.).
  8. 8. Morozov V.P., Belousov V.E., Suhanova D.A., Suhanov V.V. Oblik informacionnyh sistem verifikacii sub»ektnoj informacii. Informacionno-ekonomicheskie aspekty standartizacii i tekhnicheskogo regulirovaniya. 2025, no. 1(82), pp. 57–62. (In Russ.).
  9. 9. Grinchuk O.V., Curkov V.I. Obuchenie mul’timodal’noj nejronnoj seti dlya opredeleniya podlinnosti izobrazhenij. Izvestiya RAN. Teoriya i sistemy upravleniya. 2020, no 4, pp. 103–109. (In Russ.).
  10. 10. Morozov V.P., Belousov V.E., Moiseev S.I. Tekhnicheskoe obespechenie informacionnyh sistem komp’yuternogo zreniya. Informacionno-ekonomicheskie aspekty standartizacii i tekhnicheskogo regulirovaniya. 2022, no. 4(68), pp. 35–41. (In Russ.).
  11. 11. Borisova I.V. Komp’yuternoe zrenie: cifrovaya obrabotka i analiz izobrazhenij. Novosibirsk: Izd-vo NGTU, 2022. 163 p. (In Russ.).