Глоссарий

Комплекс методов и алгоритмов, направленных на оптимизацию представления и форматов данных с точки зрения решаемых задач и целей анализа. Трансформация не ставит целью изменить информационное содержание данных. Её задача – представить эту информацию в таком виде, чтобы она могла быть использована наиболее эффективно.

Вообще, трансформация данных – это очень широкое понятие, не имеющее четко очерченных границ. В различных направлениях обработки данных этот термин иногда распространяют на любые манипуляции с данными независимо от их целей и методов. Однако в контексте аналитических технологий трансформация данных имеет вполне конкретные цели и задачи, а также использует достаточно стабильный набор методов. К основным из них относятся нормализация, преобразование типов и форматов, сортировка, группировка, слияние и др.

На каждом этапе аналитического процесса имеются свои приоритетные цели трансформации, например, в системах оперативной обработки (OLTP) это обеспечение поддержки корректности форматов и типов данных, оптимизация процессов доступа и выгрузки данных. На этапе ETL-процесса трансформация производится с целью приведения данных в соответствие с моделью, которая используется в хранилище, а также обеспечения процесса консолидации данных и их загрузки в хранилище. И наконец, в аналитическом приложении производится непосредственная подготовка данных к анализу, объединение и выделение наиболее ценной информации, обеспечение корректной работы аналитических алгоритмов, методов и моделей.

Трансформация данных является одним из важнейших процессов в анализе. От того, насколько грамотно она будет проведена, зависит эффективность анализа, достоверность и точность его результатов.