Визуализация данных при анализе и оценке качества социально-экономических систем

Давид Кристофер, студент
prowsedavid@yandex.ru
Научн. Рук.
Татьяна Валентиновна Жгун, к. ф.-м. н.,
доцент

кафедры прикладной математики и информатики
Новгородский гос. университет им. Ярослава Мудрого
г. Великий Новгород,

данных;
визуализации.
Цели визуализации:
удобное и наглядное сравнение множества показателей за

один взгляд.
Быстрое понимание особенностей данных является главным преимуществом визуализации в сравнении с другими способами представлением информации (в текстовом виде или в виде таблицы).
выявление особенностей методов дальнейшей работы с данными и необходимых преобразований данных.

способствующем наиболее эффективному использованию.
В контексте проблемы вычисления показателя качества систем,

преобразование данных имеет вполне конкретные цели и задачи, а также использует достаточно стабильный набор методов.

из основных методов преобразования данных в задаче вычисления показателя качества

системы - масштабирование (унификация, нормализация) – процедура предобработки входной информации, при которой значения входных переменных приводятся к некоторому заданному диапазону, например к интервалу [0, 1].

данных характерно распределение, когда большая часть значений сосредоточена вблизи среднего

значения, но имеется небольшое количество аномально больших значений или аномально малых значений .
При вычислении интегрального показателя качества системы выбросы на верхнем уровне значений показателя нивелируют остальные значения.
Логарифмическая функция преобразования данных позволяет избежать потерь значений, уменьшая (сжимая) большие значения в наборе данных и растягивая меньшие значения.

в которой цвет выступает в качестве дополнительного измерения. Исследователи в

разных областях используют тепловые карты, чтобы представить многомерные данные.
Например, метод тепловых карт широко используется для визуализации данных в генетике и медицине.

США. Источник: [http://graphics.wsj.com/infectious-diseases-and-vaccines/]
Пример использования тепловых карт в медицине

обоснование эффективности использования тепловых карт для анализа и оценки качества

социально-экономических систем на примере исследования качества жизни населения РФ.
Визуализация с помощью тепловых карт служит для наглядного сравнения множества показателей при оценке изменения качества жизни и выявления особенностей данных, требующих нестандартных методов дальнейшей работы с данными и необходимых преобразований данных.
Рассматриваются значения 37 переменных, характеризующих качество жизни населения для 83 субъектов РA за 2010-2017гг.
Показатели, определяющие качество жизни, взяты из исследования [1].
Источник данных: Росстат (https://www.gks.ru/).

качество жизни для субъектов РФ по годам для 2010 и

2017 годов.
Наилучшему значению показателя соответствует более светлый тон.
Наблюдается посветление общего тона картины , что соответствует общему улучшению ситуации

Рис. 2. Температура тепловой карты

выше

ниже

– 2010 год, для Астраханской области – 2010 и 2013

годы (очень темные значения).
Данные для 2011 - 2012 гг сильно отличаются от данных других лет (светлая полоса).

Тепловая карта иллюстрирует наличие ошибок в данных. Для обработки данных нужны методы, учитывающие наличие ошибок.

большим разбросом. На представленных тепловых картах они выражены либо аномально

темным либо аномально светлыми столбцами. Большой разброс данных имеют переменные переменные 1, 8, 9, 22. Для этих переменных необходима логарифмическая коррекция.
Пример данных, для которых нет необходимости логарифмической коррекции и данных, для которых необходима логарифмическая коррекция, приведен на Рис. 5.

коррекции, для показателя 22 (правое изображение) – необходима лог. коррекция.

изображение) и после (правое изображение) лог. коррекции.

(левое изображение) и после (правое изображение) логарифмической коррекции.

большим разбросом), вычислим интегральный индикатор качества жизни населения субъектов РФ

за 2010-2017 гг.

Используем те же данные (слайд 10-12)

Используем алгоритм, вычисления интегрального показателя качества системы, учитывающий наличие ошибок во входных данных, изложенный в [2-6].

наблюдений, т.е. определить в динамике интегральную характеристику качества системы.
Для этого

требуется найти веса показателей для каждого момента времени.
В отличие от общепринятых подходов, когда веса отражают важность или значимость переменных, будем считать, что веса должны адекватно отражать свойства рассматриваемой системы.
Т.е. определяемые весовые коэффициенты должны отражать структуру оцениваемой системы.

метод главных компонент (PCA). Пространство главных компонент оптимально для моделирования

внутренней структуры данных. Однако классический метод главных компонент терпит неудачу даже при наличии единичных выбросов.

Рис. 8. Чувствительность к повреждениям / выбросам метода главных компонент (PCA)

и (2) строятся по статистическим измерениям для ряда наблюдений. Изменение

данных во времени вызывается как изменением ситуации, так и случайными ошибками.


Учитывая неизбежное наличие ошибок в данных, структура системы должна определяться на основании нескольких наблюдений. Главные компоненты будут являть сигналом, который нужно выделить по набору зашумлённых данных. Автором предложена модификация методы главных компонент, которая решает эту проблему [сноска ].

могут выступать, в частности, знаки полученных весовых коэффициентов. Знак должен

иметь однозначную трактовку. Получение отрицательных весовых коэффициентов является главным препятствием для широко использования PCA для построения комплексных индексов.

Если при унификации использовали очевидный характер зависимости переменной с измеряемым показателем качества системы, то знаки весов должны быть однозначно определены и знаки весов при такой унификации должны быть исключительно положительными.  

2
При отсутствии логарифмической коррекции веса переменных 19 и 23 отрицательны

и результат нельзя назвать достоверным, так как в этом случае качество жизни увеличивается при увеличении числа инвалидов и при уменьшении образованных людей.

переменных Блока 1

миграции, уровень безработицы не имеют монотонной зависимости с измеряемым качеством

системы. Если весовые коэффициенты таких переменных окажутся отрицательными, это значит, что параметры унификации выбраны неверно, и для улучшения качества системы процессы должны идти в направлениях, противоположных имеющимся.
В табл. 5 отрицательность весового показателя 4 - неравенства доходов не устраняется случае логарифмической коррекции.
Параметр является составным. Желаемое уменьшение этого параметра достигается либо уменьшением числителя (совокупного богатства самых богатых), либо увеличением знаменателя (совокупного богатства самых бедных). Скорости изменения этих величин различны. Отрицательный знак весового коэффициента показывает, что скорости этих процессов для улучшения качества системы должны быть противоположны наблюдаемым.

приведены в таблице 6.

Таблица 6. Веса переменных Блока 3

РФ после логарифмической коррекции (слева). Значения комплексных индексов варьируются от

1 до 100. В 2010 г республика Тыва имеет минимальное значение показателя – один, Москва имеет максимальное значение 100.

классов // Прикладная эконометрика. 2006. Выпуск № 4. С. 62–70.
Жгун Т.В.

Алгоритм построения интегрального индикатора качества сложной системы для ряда последовательных наблюдений // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2017. Т. 6, № 1. С. 5-25.
Zhgun T.V. Building an integral measure of the quality of life of constituent entities of the Russian Federation using the principal component analysis. Economic and Social Changes: Facts, Trends, Forecast, 2017, issue 10, no. 2, pp. 214-235. DOI: 10.15838/esc/2017.2.50.12
T V Zhgun Complex index of a system’s quality for a set of observations MMPAM’2019 IOP Conf. Series: Journal of Physics: Conf. Series 1352 (2019) 012064 IOP Publishing doi:10.1088/1742-6596/1352/1/012064
Tatyana V. Zhgun Constructing a stable complex index of a system’s quality for a series of observations National Accounting Review 2019, 1(1): 42-61 doi: 10.3934/NAR.2019.1.42
T V Zhgun Complex index of a system's quality for a set of observations Journal of Physics: Conference Series https://doi.org/10.1088/1742-6596/1352/1/012064