Следите за новостями

Data Integration and ETL with Oracle Warehouse Builder

В данном пятидневном курсе изучаются основные концепции Oracle Warehouse Builder (OWB), его архитектура, принципы проектирования и терминология. Слушатели используют клиентские инструменты среды OWB для определения источников данных и целевых структур, а также для проектирования ETL (Extraction, Transformation and Loading) процессов извлечения, преобразования и загрузки данных в целевые базы. В рамках курса создаются, развертываются (deploy) и заполняются спроектированные в OWB объекты, заполняя данными хранилище. В курсе рассматриваются базовые функции OWB в рамках лицензии Oracle Database 11g Release 2. Cлушатели также получат представление о ряде дополнительных возможностей, расширяющих функциональность OWB. В частности, рассматривается интеграция данных при помощи Enterprise ETL/ODI EE. Демонстрационные примеры и практические задания поясняют основные концепции OWB. После успешного прохождения курса слушатели должны будут уметь:

  • извлекать данные из различных источников, таких как плоские файлы (flat files) и реляционные таблицы;
  • использовать различные операторы преобразования для проектирования задач ETL;
  • загружать данные путем выполнения ETL mappings или потоков процессов (process flow);
  • использовать возможности OWB для управления метаданными, отладки mappings, резервирования, управления безопасностью и настройки производительности ETLmappings .
  • использовать OWB совместно с OBI EE;
  • понимать архитектуру и конфигурацию OWB;
  • использовать OWB для построения реляционной и многомерной моделей;
  • развертывать единую логическую модель на различных целевых базах с использованием различных именованных конфигураций;
  • сопровождать медленно меняющиеся измерения (SCD);
  • извлекать данные из не-Oracle источников при помощи шаблонов кода (templates)
  • использовать ETL и средства объединения данных, предоставляемые Enterprise ETL опцией базы данных Oracle.

Круг слушателей:

  • BI разработчики;
  • разработчики хранилищ данных;
  • аналитики хранилищ данных;
  • администраторы хранилищ данных;
  • инженеры поддержки

Необходимая предварительная подготовка:

  • OTN Oracle By Example (OBE): Oracle Business Intelligence
  • Oracle University ILT: Oracle Database 11g: Data Warehousing
  • Oracle Database 11g: Основы хранилищ данных

Цели курса:

  • загрузка таблиц и просмотр результатов;
  • использование Mapping Debugger для отладки mappings;
  • методы настройки производительности mappings;
  • создание резервных копий OWB проектов при помощи MDL Export/Import , а также создание snapshots для сопровождения изменений метаданных;
  • сопровождение заданий ETL (jobs) при помощи Repository Browser;
  • интеграция с OBI EE;
  • использование OWB для определения источников данных, развертывания (deploy) и выполнения ETL mappings в целевые реляционные базы;
  • описание способов очистки данных Name and Address cleansing и Match-merging
  • создание метаданных на плоские файлы, реляционные источники данных и реляционные целевые таблицы;
  • создание простых mappings из плоских файлов и реляционных источников данных в реляционные целевые таблицы;
  • использование различных операторов редактора Mapping Editor;
  • создание потока процессов (process flow) из набора простых mappings;
  • использование инструментария OWB для развертывания (deploy) таблиц, mappings и других объектов.

Программа курса:

  • ЧАСТЬ 1 Что такое Oracle Warehouse Builder?
    • Базовые представления о проектировании и развертывании (Deployment)
    • Лицензирование Oracle Warehouse Builder
    • Установка Oracle Warehouse Builder 11.2
    • Схема OWBSYS
    • Использование OWB 11.2 с базой даннх 10g R2
    • Использование Repository Assistant для сопровождения рабочих пространств (workspaces)
    • Поддерживаемые операционные системы (OS), источники, целевые схемы, дополнительные компоненты
  • Начало работы с OWB
    • Центр проектирования (OWB Design Center)
    • Проект OWB, обзор его объектов
    • Модуль и объекты
    • Папки (folders) для организации метаданных
    • Навигатор объектов местоположения (locations) и навигатор глобальных объектов
    • Настройки OWB
  • Понимание архитектуры Warehouse Builder
    • Понимание цикла разработки в OWB.
    • Проектирование , развертывание (Deployment) и выполнение с точки зрения архитектуры OWB
    • Обзор конфигураций, центров управления ( Control Centers) и объектов местоположения ( Locations)
    • Создание целевых схем
    • Регистрация пользователей базы данных и Warehouse Builder, а также Oracle Workflow
  • Определение метаданных источника
    • Типичные шаги реализации хранилища
    • Различие между созданием метаданных на реляционные источники и плоские файлы (Flat File)
    • Создание модуля для плоского файла (Flat File)
    • Создание метеданных для плоских файлов различного формата
    • Создание модуля для источника Oracle и выбор таблиц для импорта
  • Определение ETL Mappings для данных промежуточной области ( Staging area)
    • Использование промежуточной области
    • Определение OWB Mappings
    • Интерфейс редактора mappings ( Mapping Editor)
    • Создание внешних таблиц, процесс связывания ( Bind)
    • Уровни синхронизации измененй
    • Использование Automapper
    • Реализация порядка загрузки таблиц
  • Использование операторов трансформации данных
    • Палитра компонентов (Component Palette)
    • Использование Joiner
    • Оператор Lookup: сопровождение выборки множества строк (Multiple Match Rows)
    • Оператор для подзапросов (Subquery Filter)
    • Операторы Set, Sequence и Splitter
    • Операторы Pivot и Unpivot
    • Использование Aggregator, Constant, Transformation, and Pre/Post Mapping операторов
    • Развертывание (Deploying) и выполнение в панели Projects Navigator
  • Модули очистки данных имен и адресов и консолидации Match-Mergе
    • Интеграция очистки данных и ETL
    • Очистка данных имен и адресов
    • Провайдеры программного обеспечения для очистки даных имен и адресов
    • Настройки оператора Name and Address
    • Создание mappings Name and Address
    • Консолидация данных при помощи оператора Match Merge и его использование в
    • mapping.
  • Использование Process Flows
    • Концепции Process Flow
    • Создание модуля и пакета Process Flow, а также собственно Process Flow
    • Типы операторов ( Activities) : Fork, And, Mapping, End Activity
    • Создание линков (Transitions) между операторами (Activities)
    • Обзор других операторов (Activities): Manual, SQLPLUS, Email
    • Генерация пакета Process Flow
  • Развертывание (deployment) и сопровождение заданий ETL
    • Сравнение логической и физической реализации
    • Настройка конфигурации объекта
    • Концепции развертывания (Deployment)
    • Вызов Control Center Manager
    • Опции и настройки развертывания (Deploy)
    • Repository Browser
    • Запуск OWB Browser Listener и the Repository Browser
    • Просмотр отчетов Design Center и Control Center
  • Отладка Mappings
    • Обзор отладчика Mapping Debugger
    • Запуск отладочной сессии
    • Подготовка тестовой среды и тестовых данных
    • Установка точек останова (breakpoints) и просмотра (watch points)
    • Оценка потока данных для определения логических ошибок в mappings
  • Настройка производительности ETL
    • Настройка производительности на различных уровнях
    • Прроектирование ETL: параметры, связанные с производительностью
    • Конфигурирование mappings для Operating Modes, DML Error Logging, Commit Control и Default Audit Levels
    • Использование Partition Exchange Loading (PEL) в целевых схемах
    • Дизайн схемы и производительность
    • Конфигурирование индексов, секций, ограничений
    • Использование параллелизма в запросах и командах DML
    • Указание свойств табличного пространства и сбор статистик на уровне схемы
  • Сопровождение резервного копирования, изменений в процессе разработки, а также безопасности OWB
    • Обзор утилит Metadata Loader (MDL)
    • Сопровождение изменений метаданных при помощи Snapshots
    • Использование Change Manager
    • Поддержка версионности проектируемых объектов
    • Графический пользовательский интерфейс GUI для сопровождения безопасности
    • Установки безопасности на уровне объектов
    • Настройки параметров безопасности
  • Интеграция с Oracle Business Intelligence Enterprise Edition (OBI EE)
    • Требования бизнеса: интеграция программного обеспечения
    • Интеграция OWB c OBI EE b OBI SE
    • Преобразование формата метаданных для OBI EE сервера
    • Генерация UDML (unified data modeling language) файла. Конвертирование его в файл репозитория OBI EE.
    • Создание метаданных OBI EE
    • Развертывание модуля BI
    • Oracle BI Аdministrator и BI Answers
  • ЧАСТЬ 2 Административные задачи в Warehouse Builder
    • Лицензия Enterprise ETL , расширяющая встроенные возможности ETL в Oracle 11gR2.
    • Множество именованных конфигураций и использование шаблонов конфигураций
    • Основные шаги по устаовке OWB в среде aRAC
    • Создание расписания заданий из OWB
  • Сопровождение метаданных
    • Применение диаграмм анализа происхождения(Lineage) и наследования (Impact)
    • Использование Change Propagation Dialog для просмотра изменений в зависимых объектах
    • Определяемые пользователей свойства объектов (User-Defined Properties)
    • Использование встраиваемых (Pluggable) Mappings
    • Сложные типы операторов (Activity Types) в Process Flows
    • встроенная поддержка реляционных объектов гетерогенных баз данных - создание SQL функций трансформации данных для платформ Oracle,SQL server и DB2
  • Доступ к не-Oracle источникам данных
    • Гибкая структура шаблонов кода в OWB 11g Release 2, ее достоинства
    • Расположение исходных шаблонов кода и создание новых шаблонов
    • Определение новой интеграционной платформы в OWB
  • Разработка Mappings в пределах лицензии Oracle Data Integration Enterprise Edition
    • Сравнение традиционного и основанного на шаблонах кода Mappings (СТ)
    • Исполняемые единицы в CT Mapping
    • Сравнение Execution View и Logical View
    • Присвоение шаблона кода исполняемой единице
    • Конвертирование классического Mapping в a CT Mapping для примения Data Pump
    • Развертывание CT Mappings Deploy при помощи агентов (Control Center Agents)
  • Создание хранилища данных в режиме реального времени при помощи OWB
    • Что такое хранилище данных в режиме реального времени и каким образом частота
    • обновления хранилища поддедрживается OWB
    • Построение Trickle Feed Mapping
    • Использование механизма Advanced Queues в Trickle Feed Mappings
    • Использование шаблонов CDC в Mappings для реализации захвата изменений
    • Запуск CDC Capture Process
  • Определение реляционной модели
    • Создание измерений при помощи Wizards и редакторов - определений аттрибутов, уровней и иерархий, связывание их с таблицей измерений
    • Использование специализированного Wizard для создания измерения Time
    • Определение куба, его аттрибутов и показателей
    • Разработка Mappings для ROLAP
  • Подробнее о реляционной реализации многомерной модели (ROLAP)
    • Сравнение начальной и инкрементальной загшрузки данных в хранилище
    • Обновление данных и метаданные
    • Захват измененных данных для обновления хранилища
    • Установка атрибутов для суррогатных ключей при загрузке
    • Как OWB сопровождает ограничения ссылочной целостности
    • Поддержка Cube-Organized материализованных представлений
    • Создание медленно меняющегося измерения (SCD) 2-го типа
  • Многомерная реализация многомерной модели (MOLAP)- измерения и кубы
    • Что такое интерактивная аналитическая обработка данных (OLAP)?
    • Многомерные типы данных
    • Аналитическое рабочее пространство (Analytic Workspace)
    • Многомерное моделироание при помощи OWB
    • Вычисляемые показатели в OWB