Методы обогащения данных

формату данных.
Задачи:
Нормализация баз данных с целью удаления избыточности: разбиение на

несколько таблиц, выделение первичных ключей…
Разбор строк на атомарные объекты: разделение поля «ФИО» на значения «Фамилия», «Имя», «Отчество», разбор адреса по КЛАДР…
Унификация представления: преобразование номеров телефонов к стандартному виду +7 (ХХХ) ХХХХХХХ…

поля на атомарные значения.

позволяет стандартизировать представление данных.

шаблоны:
находить в строке подстроки, удовлетворяющие заданному шаблону: поиск жителей, прописанных

в Москве…
извлекать из строки фрагменты, с заданным стандартом написания: выделение почтового индекса или года рождения…
изменять в строке подстроки, соответствующие шаблону: удаление нечисловых символов из паспортных данных или телефона…
проверять, соответствует ли строка заданному шаблону: проверка корректности e-mail…

позволяющий обеспечить качественный анализ.

Задачи:
Оценка достоверности информации
Выявление ошибочных и подозрительных

данных: аномалий, дубликатов, противоречий…
Исправление выявленных ошибок

или комбинаций таких значений во всей совокупности данных.

функций, которые применяются для проверки правильности номеров банковских карт, ИНН,

СНИЛС, ОКПО, ОКАТО, ОГРН…

ИНН введен с ошибкой

Контрольные числа не совпадают

сравнения значений: метода Левенштейна, Soundex, нахождения максимальной общей подпоследовательности…


Игорь


Игроь

определенным стратегиям с целью устранения повторов.

Стратегия поиска 1:
совпадение паспортных данных
Стратегия

поиска 2:
совпадение ФИО + адрес + дата рождения

Стратегия поиска 3:
совпадение ФИО + телефон

Стратегия поиска 4:
совпадение ИНН

накладывание заранее определенных правил очистки на контролируемые поля
Способы замены: индексирование

слов по их звучанию, кодирование…
Проверка по статистическим значениям: по доверительному интервалу, средним значениям…
Кластерный анализ: проверка написания значения с учетом попадания его в кластер…

их более ценными, значимыми и информативными с точки зрения решения

той или иной аналитической задачи.

Задачи:
Интеграция данных из множества источников
Выявление связей между объектами
Заполнение пропусков

анализ связей

?
Анализ друзей в социальной сети


Друзья в социальной сети

признаков объектов.



Иванов
Сидоров
Иванов
Петров
Воробьев
Ивакин

самих данных: введение кодировок, признаков состояний объектов, подразделение их на

категории…
Нечеткий поиск: восстановление пропусков с помощью нечетких запросов…
Анализ источников данных: рейтингование источников данных по достоверности…