Шарова Д. Е., Начальник управления Департамент информационных технологий города Москвы
Москва, Россия
Sharova D. E., Head of Department Department of Information Technologies of the City of Moscow
Moscow, Russia
Гарбук С. В., Директор ФГБУН ВИНИТИ РАН
Москва, Россия
Garbuk S. V., Director All-Russian Institute of Scientific and Technical Information of the Russian Academy of Sciences (VINITI RAS)
Moscow, Russia
Рост применения систем компьютерного зрения на базе искусственного интеллекта сопровождается расширением спектра методов оценки их качества. При этом существующие подходы существенно различаются по охватываемым аспектам и часто не обеспечивают полноты представления о работе системы в реальных условиях. В статье представлен обзор основных направлений оценки качества: классических статистических метрик (точность, чувствительность, площадь под ROC-кривой), показателей устойчивости и обобщаемости, эксплуатационных характеристик, а также методов анализа доверия, объяснимости и взаимодействия с пользователем. Особое внимание уделено роли существенных факторов эксплуатации (СФЭ) - изменяемых условий применения систем (тип данных, оборудование, сценарии использования, структура пользовательских действий), влияющих на воспроизводимость метрик и достоверность испытаний. Показано, что даже высокие значения точности или площади под ROC-кривой не гарантируют качества в эксплуатации при изменении распределения данных, условий съемки или параметров подготовки изображений. Отмечается, что современные метрики и показатели качества охватывают точность, устойчивость к дрейфу данных, интерпретируемость результатов, доверие пользователя, скорость и предсказуемость работы системы...
The growing use of computer vision systems based on artificial intelligence has led to the emergence of diverse approaches for evaluating their quality. However, these methods differ significantly in scope and often fail to reflect the full spectrum of system behavior under real-world conditions. This article provides a structured review of the main groups of quality assessment techniques, including classical statistical metrics (accuracy, precision, recall, ROC-AUC, MCC), robustness and generalization indicators, operational performance characteristics, as well as approaches addressing explainability, user interaction, and trustworthiness.A particular focus is placed on significant operational factors - variable conditions of system use such as data source, acquisition parameters, equipment, and user workflow - that substantially affect the reproducibility of metrics and the reliability of testing. The analysis shows that high accuracy or AUC scores do not guarantee stable performance when data distributions shift or when operating conditions deviate from those used during model development...
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
The authors declare that there are no conflicts of interest present.