Шарова Д. Е.

Развитие систем с технологией искусственного интеллекта (ИИ), основанных на методах компьютерного зрения, сопровождается ростом требований к объективной, воспроизводимой и нормативно обоснованной оценке их качества. Традиционные подходы сосредоточены на показателях точности и не учитывают устойчивость алгоритмов, интерпретируемость, влияние на пользователя и динамику характеристик во времени. В результате оценка качества остается фрагментарной и не позволяет сформировать целостное представление о поведении системы в реальной эксплуатации. Целью исследования является разработка методики комплексной динамической оценки качества систем с ИИ, обеспечивающей сопоставимость, прослеживаемость и возможность анализа изменений во времени. В основу методики положено использование репрезентативного перечня существенных факторов эксплуатации, определяющих вариативность условий применения систем и позволяющих достоверно оценить их ключевые показатели качества (метрики) – точность, устойчивость к изменениям данных, прозрачность и доверие, влияние на пользователя и организационные процессы, а также экономическую эффективность и другие. Каждый показатель нормируется и взвешивается по значимости, после чего агрегируется в интегральный показатель качества Q, принимающий значения в диапазоне от 0 до 1. Предложенный подход обеспечивает возможность количественного анализа динамики качества и выявления деградации или улучшений на основе мониторинга показателя Q(t). Учет вариативности существенных факторов и достаточного объема тестовых данных позволяет оценивать репрезентативность испытаний и достоверность получаемых результатов. Результаты демонстрируют, что методика формирует основу для комплексного управления качеством систем ИИ, объединяя требования к продукту и процессам жизненного цикла. Она может применяться для сертификационных испытаний, постпроектного мониторинга и оценки эффективности эксплуатации интеллектуальных систем в различных прикладных областях.

Рост применения систем компьютерного зрения на базе искусственного интеллекта сопровождается расширением спектра методов оценки их качества. При этом существующие подходы существенно различаются по охватываемым аспектам и часто не обеспечивают полноты представления о работе системы в реальных условиях. В статье представлен обзор основных направлений оценки качества: классических статистических метрик (точность, чувствительность, площадь под ROC-кривой), показателей устойчивости и обобщаемости, эксплуатационных характеристик, а также методов анализа доверия, объяснимости и взаимодействия с пользователем. Особое внимание уделено роли существенных факторов эксплуатации (СФЭ) - изменяемых условий применения систем (тип данных, оборудование, сценарии использования, структура пользовательских действий), влияющих на воспроизводимость метрик и достоверность испытаний. Показано, что даже высокие значения точности или площади под ROC-кривой не гарантируют качества в эксплуатации при изменении распределения данных, условий съемки или параметров подготовки изображений. Отмечается, что современные метрики и показатели качества охватывают точность, устойчивость к дрейфу данных, интерпретируемость результатов, доверие пользователя, скорость и предсказуемость работы системы...