Хранилища данных

Хранилище данных (ХД) - это предметно-ориентированный, интегрированный, неизменчивый, поддерживающий хронологию набор данных, организованный для целей поддержки принятия решений и единого места сбора и хранения данных организации.

В основе создания хранилища данных лежат две основные идеи.

1.      Сбор (интеграция) поступающих из оперативных баз данных, внешних источников, архивов корпорации детализированных данных в едином хранилище с их согласованием и агрегацией.

2.      Разделение наборов данных и приложений, используемых для оперативной обработки и применяемых для решения задач анализа.

Существует два типа ХД: виртуальное и физическое.

Физическое ХД является репозиторием информации из оперативных источников данных. Позволяет только читать детальные и агрегированные данные, которые полностью очищены и интегрированы.

Достоинства и недостатки физического ХД :

Достоинства:

- Непротиворечивость информации,

- Один набор процессов извлечения и бизнес-правил,

- Общая семантика,

- Централизованная управляемая среда,

- Легко создаваемые и наполняемые витрины данных,

- Единый репозиторий метаданных,

Недостатки:

- Реализация требует больших затрат,

- Высокая ресурсоемкость,

- Потребность в системах и ресурсах в масштабе всего предприятия,

Виртуальное ХД - это система, предоставляющая доступ к обычной регистрирующей системе, которая эмулирует работу с ХД. Такое ХД можно организовать двумя способами:

1) создать ряд «представлений» в базе данных; 2) использовать специальные средства доступа к базе данных (например, продукты класса desktop OLAP).

Основными преимуществами такой организации ХД можно считать простоту, невысокую стоимость реализации, единую платформу с источником информации, отсутствие сетевых соединений между источником информации и ХД. А серьезными проблемами является значительное время обработки запросов, интеграция данных с другими источниками, отсутствие истории, чистота данных, зависимость от доступности и структуры основной базы данных.

Создание ХД из независимых источников представляет собой многоэтапный процесс, включающий извлечение, преобразование и очистку, загрузку.

Извлечение данных представляет собой перенесение данных из разнородных источников в базу данных, где их можно модифицировать и добавить в хранилище.

Преобразование - устранение несоответствий в схеме данных и в соглашениях о значениях атрибутов. Например, в оперативной базе данных имя клиента хранится в трех полях: Фамилия, Имя, Отчество, а в хранилище - в одном (Имя клиента).

Очистка данных необходима для устранения аномалий и дублирования.

Преобразованные и очищенные данные при загрузке подвергаются дополнительной обработке: проверке на целостность, сортировке, агрегированию и индексированию.

Эффективное взаимодействие различных компонентов ХД реализуется с помощью метаданных - информации о структуре, размещении и трансформации данных. Различают административные метаданные (информация, требуемая для настройки и использования ХД), бизнес-метаданные (бизнес - термины и определения), а также оперативные метаданные (информация о происхождении перенесенных и преобразованных данных, статус и статистика использования данных и др.).

Таким образом, данные в ХД - это надежный источник, на основе которого строятся аналитические информационные системы.

Ссылка на материал:

1) Информационные технологии в менеджменте (управлении): учебник и практикум / под общ. ред. Ю.Д. Романовой.- М.: Издательство Юрайт, 2014.- 478с.-Серия: Бакалавр. Базовый курс.