МЕТОДЫ ОЦЕНКИ КАЧЕСТВА СИСТЕМ КОМПЬЮТЕРНОГО ЗРЕНИЯ: ЭВОЛЮЦИЯ ПОДХОДОВ, ТЕНДЕНЦИИ И ОГРАНИЧЕНИЯ
🇷🇺 На русском
Для цитирования
Шарова Д.Е, Гарбук С.В. Методы оценки качества систем компьютерного зрения: эволюция подходов, тенденции и ограничения //Информационно-экономические аспекты стандартизации и технического регулирования. 2026. № 1(88). С. 35–41.
Аннотация
Рост применения систем компьютерного зрения на базе искусственного интеллекта сопровождается расширением спектра методов оценки их качества. При этом существующие подходы существенно различаются по охватываемым аспектам и часто не обеспечивают полноты представления о работе системы в реальных условиях. В статье представлен обзор основных направлений оценки качества: классических статистических метрик (точность, чувствительность, площадь под ROC-кривой), показателей устойчивости и обобщаемости, эксплуатационных характеристик, а также методов анализа доверия, объяснимости и взаимодействия с пользователем. Особое внимание уделено роли существенных факторов эксплуатации (СФЭ) - изменяемых условий применения систем (тип данных, оборудование, сценарии использования, структура пользовательских действий), влияющих на воспроизводимость метрик и достоверность испытаний. Показано, что даже высокие значения точности или площади под ROC-кривой не гарантируют качества в эксплуатации при изменении распределения данных, условий съемки или параметров подготовки изображений. Отмечается, что современные метрики и показатели качества охватывают точность, устойчивость к дрейфу данных, интерпретируемость результатов, доверие пользователя, скорость и предсказуемость работы системы...
Ключевые слова
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ
КОМПЬЮТЕРНОЕ ЗРЕНИЕ
ОЦЕНКА КАЧЕСТВА
ПОКАЗАТЕЛИ КАЧЕСТВА
ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ
Об авторах
Шарова Д. Е.
Гарбук С. В.
🇬🇧 In English
METHODS FOR EVALUATING THE QUALITY OF COMPUTER VISION SYSTEMS: EVOLUTION OF APPROACHES, TRENDS, AND LIMITATIONS
For citation
Sharova D.E., Garbuk S.V. Methods For Evaluating The Quality Of Computer Vision Systems: Evolution Of Approaches, Trends, And Limitations. Information and Economic Aspects of Standardization and Technical Regulation. 2026; 1(88): 35–41. (In Russ.).
Abstract
The growing use of computer vision systems based on artificial intelligence has led to the emergence of diverse approaches for evaluating their quality. However, these methods differ significantly in scope and often fail to reflect the full spectrum of system behavior under real-world conditions. This article provides a structured review of the main groups of quality assessment techniques, including classical statistical metrics (accuracy, precision, recall, ROC-AUC, MCC), robustness and generalization indicators, operational performance characteristics, as well as approaches addressing explainability, user interaction, and trustworthiness.A particular focus is placed on significant operational factors - variable conditions of system use such as data source, acquisition parameters, equipment, and user workflow - that substantially affect the reproducibility of metrics and the reliability of testing. The analysis shows that high accuracy or AUC scores do not guarantee stable performance when data distributions shift or when operating conditions deviate from those used during model development...
Keywords
COMPUTER VISION
QUALITY ASSESSMENT
SIGNIFICANT OPERATIONAL FACTORS
METRICS
QUALITY INDICATORS