УДК 004.6

Оценка работоспособности информационных моделей

Герасимов Владислав Игоревич – аспирант Санкт-Петербургского политехнического университета Петра Великого.

Аннотация: В работе отображены некоторые методы оценивания работоспособности информационных моделей. Тема актуальна по причине того, что информационные модели распространены у многих организаций. При этом часть из них не проходят должного оценивания на работоспособность, а иные – функционируют недостаточно точно, что можно было бы предотвратить предварительным тестированием. В заключении автор статьи отображает рекомендации по проведению эффективной, но в тоже время относительно недорогостоящей оценки работоспособности информационных моделей.

Ключевые слова: информационная модель, оценка работоспособности, работоспособность информационной модели, IT-валидация, критерий Колмогорова-Смирнова.

На данный момент информационные модели применяются во многих организациях для упрощения функционирования, принятия наиболее верных управленческих решений, в целом создания возможности у сотрудников выполнять свои полномочия быстро. Если информационная модель функционирует неверно, то есть ее работоспособность можно представить, как низкую, она не будет полезной для работников, напротив, ее существование может привести к неверным действиям, которые нанесут ущерб организации. В нынешнем состоянии экономического кризиса это недопустимо, так как существенно приближает организацию к банкротству. В результате, оценка работоспособности информационной модели является важным и актуальным вопросом.

В первую очередь работоспособность модели можно оценить, проведя анализ реалистичности ее действия. Традиционно для этого необходимо ввести несколько раз входные данные события, результат которого уже известен [2, с. 66]. Предположим, информационная модель определяет спрос, в зависимости от цены. Статистика демонстрирует, что при цене в сто рублей, было продано сто тысяч единиц товара за месяц, при цене в девяносто рублей – сто тридцать тысяч и так далее. В результате, необходимо подставить соответствующее значение цены и констатировать, каково отклонение прогноза информационной модели от факта. Проводят такое тестирование столько раз, сколько это требует руководство, можно рекомендовать показатель не менее чем в пятьдесят испытаний для получения наиболее точного результата. Если руководство довольно отклонением, например, оно составило 5% в среднем, то модель признают работоспособной и начинают применять.

Несмотря на распространенность такого метода, необходимо рекомендовать применение более точного способа, например, расчета критерия Колмогорова-Смирнова. Рассчитав его, можно получить точное абсолютно расстояние между прогнозным и фактическим значением, что продемонстрирует наибольшую возможную ошибку. Обычно нормой считается максимальное отклонение в пять процентов [3, с. 739], однако, руководство организации может желать получить большую точность или удовлетвориться меньшей.

Оценивая работоспособность информационной модели, важно учитывать ограничения, которые закладываются в нее [1, с. 95]. Предположим, оценивая уже представленную теоретическую модель, руководство может пожелать внедрить ограничение, согласно которому цена не может быть ниже, например, пятидесяти рублей, по некоторым причинам. Если это ограничение не выполняется моделью – она предоставляет расчет при пятидесяти и менее рублей за единицу товара, то модель неработоспособна – итоги ее работы недопустимы.

Важно составляющей оценивания работоспособности информационной модели является IT-валидация. Она должна проводиться лишь после уже указанных анализов, так как нет необходимости испытывать априори неработоспособную информационную модель. IT-валидация необходима для определения количества и качества ситуаций, при которых информационная модель будет функционировать с ошибками.

Для проведения IT-валидации используется множество методов, среди них, например, уже представленный критерий Колмогорова–Смирнова, позволяющий определить дискриминационную способность изучаемой модели. В данном случае критерий необходимо определять для анализа точности модели. При этом рекомендуется на этом этапе проводить сравнительный анализ с более дешевыми методами определения корреляции, один из них – экспертная оценка сотрудника организации. Так, если работник экспертным путем предоставляет результат, который тоже удовлетворяет организацию, возможно, смысла в создании информационной модели нет.

Дополнительно рекомендуется применять расчет показателя PSI. Это необходимо для минимизации рисков того, что информационная модель строилась на основе данных, которые были недостаточно актуальными, а потому сейчас модель не предоставляет информации желаемой точности. Рассчитав показатель, можно понять, до сих пор ли информационная модель формирует репрезентативные результаты, необходимо ли трансформировать ее. Рекомендуется при получении значения отклонений более чем в 25% немедленно приступать к изменению информационной модели, при значении более чем в 10% необходимо подготавливаться к трансформации. Руководство организации может задать и иные параметры, что допустимо.

IT-валидация может быть реализована и с помощью других анализов, например, вычисление стандартизированной разности средних (SMD), U-критерия Манна – Уитни, проведение Т-теста и так далее. Вариантов может быть множество, автором представлены лишь наиболее эффективные при наименьших расходах ресурсов.

После IT-валидации, необходимо оценить работоспособность информационной модели, исходя из критериев, поставленных руководством организации. Это может быть, например, время предоставления результата, возможность обслуживания модели при ее должной работоспособности в рамках бюджета и та далее. Здесь все параметры индивидуальны, но их важно учесть, иначе вся информационная модель будет неработоспособна, по мнению конкретного заказчика, что недопустимо.

Подводя итог, делаем вывод о том, что оценить работоспособность информационной модели можно с помощью различных анализов и расчетов показателей. Несмотря на высокую вариативность тестов, автор работы выделил наиболее важные и рекомендуемые из них: анализ реалистичности действия на основе критерия Колмогорова-Смирнова; анализ соответствия установленным ограничениям и допущениям; IT-валидация через сравнение критерия Колмогорова-Смирнова с экспертной оценкой и получение показателя PSI. Если данные рекомендации будут соблюдены, создатели информационных моделей удовлетворят всем требованиям заказчика, а созданные ими ресурсы действительно будут выгодны руководствам компаний.

Список литературы

  1. Меркунова, Д. Р. Исследование возможностей использования IT в процессе управления личной эффективностью современных руководителей / Д. Р. Меркунова // Студенческий. – 2021. – № 20-1(148). – С. 93-96.
  2. Селиванова, З. М. Информационная и математические модели для прогнозирования надежности интеллектуальной информационно-измерительной системы теплофизических свойств материалов / З. М. Селиванова, К. В. Скоморохов // Надежность и качество сложных систем. – 2022. – № 2(38). – С. 61-69. – DOI 10.21685/2307-4205-2022-2-7.
  3. Экспериментальное определение значимости статистической оценки параметров, характеризующих вторичные диагностические показатели акустической эмиссии / Е. Алтай, А. В. Федоров, К. А. Степанова, Д. О. Кузиванов // Известия высших учебных заведений. Приборостроение. – 2022. – Т. 65, № 10. – С. 735-746. – DOI 10.17586/0021-3454-2022-65-10-735-746.

Интересная статья? Поделись ей с другими: