Data Integration and ETL with Oracle Warehouse Builder

В данном пятидневном курсе изучаются основные концепции Oracle Warehouse Builder (OWB), его архитектура, принципы проектирования и терминология. Слушатели используют клиентские инструменты среды OWB для определения источников данных и целевых структур, а также для проектирования ETL (Extraction, Transformation and Loading) процессов извлечения, преобразования и загрузки данных в целевые базы. В рамках курса создаются, развертываются (deploy) и заполняются спроектированные в OWB объекты, заполняя данными хранилище. В курсе рассматриваются базовые функции OWB в рамках лицензии Oracle Database 11g Release 2. Cлушатели также получат представление о ряде дополнительных возможностей, расширяющих функциональность OWB. В частности, рассматривается интеграция данных при помощи Enterprise ETL/ODI EE. Демонстрационные примеры и практические задания поясняют основные концепции OWB. После успешного прохождения курса слушатели должны будут уметь:

• извлекать данные из различных источников, таких как плоские файлы (flat files) и реляционные таблицы;
• использовать различные операторы преобразования для проектирования задач ETL;
• загружать данные путем выполнения ETL mappings или потоков процессов (process flow);
• использовать возможности OWB для управления метаданными, отладки mappings, резервирования, управления безопасностью и настройки производительности ETLmappings .
• использовать OWB совместно с OBI EE;
• понимать архитектуру и конфигурацию OWB;
• использовать OWB для построения реляционной и многомерной моделей;
• развертывать единую логическую модель на различных целевых базах с использованием различных именованных конфигураций;
• сопровождать медленно меняющиеся измерения (SCD);
• извлекать данные из не-Oracle источников при помощи шаблонов кода (templates)
• использовать ETL и средства объединения данных, предоставляемые Enterprise ETL опцией базы данных Oracle.

Круг слушателей:

• BI разработчики;
• разработчики хранилищ данных;
• аналитики хранилищ данных;
• администраторы хранилищ данных;
• инженеры поддержки

Необходимая предварительная подготовка:

• OTN Oracle By Example (OBE): Oracle Business Intelligence
• Oracle University ILT: Oracle Database 11g: Data Warehousing
• Oracle Database 11g: Основы хранилищ данных

Цели курса:

• загрузка таблиц и просмотр результатов;
• использование Mapping Debugger для отладки mappings;
• методы настройки производительности mappings;
• создание резервных копий OWB проектов при помощи MDL Export/Import , а также создание snapshots для сопровождения изменений метаданных;
• сопровождение заданий ETL (jobs) при помощи Repository Browser;
• интеграция с OBI EE;
• использование OWB для определения источников данных, развертывания (deploy) и выполнения ETL mappings в целевые реляционные базы;
• описание способов очистки данных Name and Address cleansing и Match-merging
• создание метаданных на плоские файлы, реляционные источники данных и реляционные целевые таблицы;
• создание простых mappings из плоских файлов и реляционных источников данных в реляционные целевые таблицы;
• использование различных операторов редактора Mapping Editor;
• создание потока процессов (process flow) из набора простых mappings;
• использование инструментария OWB для развертывания (deploy) таблиц, mappings и других объектов.

Программа курса:

• ЧАСТЬ 1 Что такое Oracle Warehouse Builder?
  • Базовые представления о проектировании и развертывании (Deployment)
  • Лицензирование Oracle Warehouse Builder
  • Установка Oracle Warehouse Builder 11.2
  • Схема OWBSYS
  • Использование OWB 11.2 с базой даннх 10g R2
  • Использование Repository Assistant для сопровождения рабочих пространств (workspaces)
  • Поддерживаемые операционные системы (OS), источники, целевые схемы, дополнительные компоненты
• Начало работы с OWB
  • Центр проектирования (OWB Design Center)
  • Проект OWB, обзор его объектов
  • Модуль и объекты
  • Папки (folders) для организации метаданных
  • Навигатор объектов местоположения (locations) и навигатор глобальных объектов
  • Настройки OWB
• Понимание архитектуры Warehouse Builder
  • Понимание цикла разработки в OWB.
  • Проектирование , развертывание (Deployment) и выполнение с точки зрения архитектуры OWB
  • Обзор конфигураций, центров управления ( Control Centers) и объектов местоположения ( Locations)
  • Создание целевых схем
  • Регистрация пользователей базы данных и Warehouse Builder, а также Oracle Workflow
• Определение метаданных источника
  • Типичные шаги реализации хранилища
  • Различие между созданием метаданных на реляционные источники и плоские файлы (Flat File)
  • Создание модуля для плоского файла (Flat File)
  • Создание метеданных для плоских файлов различного формата
  • Создание модуля для источника Oracle и выбор таблиц для импорта
• Определение ETL Mappings для данных промежуточной области ( Staging area)
  • Использование промежуточной области
  • Определение OWB Mappings
  • Интерфейс редактора mappings ( Mapping Editor)
  • Создание внешних таблиц, процесс связывания ( Bind)
  • Уровни синхронизации измененй
  • Использование Automapper
  • Реализация порядка загрузки таблиц
• Использование операторов трансформации данных
  • Палитра компонентов (Component Palette)
  • Использование Joiner
  • Оператор Lookup: сопровождение выборки множества строк (Multiple Match Rows)
  • Оператор для подзапросов (Subquery Filter)
  • Операторы Set, Sequence и Splitter
  • Операторы Pivot и Unpivot
  • Использование Aggregator, Constant, Transformation, and Pre/Post Mapping операторов
  • Развертывание (Deploying) и выполнение в панели Projects Navigator
• Модули очистки данных имен и адресов и консолидации Match-Mergе
  • Интеграция очистки данных и ETL
  • Очистка данных имен и адресов
  • Провайдеры программного обеспечения для очистки даных имен и адресов
  • Настройки оператора Name and Address
  • Создание mappings Name and Address
  • Консолидация данных при помощи оператора Match Merge и его использование в
  • mapping.
• Использование Process Flows
  • Концепции Process Flow
  • Создание модуля и пакета Process Flow, а также собственно Process Flow
  • Типы операторов ( Activities) : Fork, And, Mapping, End Activity
  • Создание линков (Transitions) между операторами (Activities)
  • Обзор других операторов (Activities): Manual, SQLPLUS, Email
  • Генерация пакета Process Flow
• Развертывание (deployment) и сопровождение заданий ETL
  • Сравнение логической и физической реализации
  • Настройка конфигурации объекта
  • Концепции развертывания (Deployment)
  • Вызов Control Center Manager
  • Опции и настройки развертывания (Deploy)
  • Repository Browser
  • Запуск OWB Browser Listener и the Repository Browser
  • Просмотр отчетов Design Center и Control Center
• Отладка Mappings
  • Обзор отладчика Mapping Debugger
  • Запуск отладочной сессии
  • Подготовка тестовой среды и тестовых данных
  • Установка точек останова (breakpoints) и просмотра (watch points)
  • Оценка потока данных для определения логических ошибок в mappings
• Настройка производительности ETL
  • Настройка производительности на различных уровнях
  • Прроектирование ETL: параметры, связанные с производительностью
  • Конфигурирование mappings для Operating Modes, DML Error Logging, Commit Control и Default Audit Levels
  • Использование Partition Exchange Loading (PEL) в целевых схемах
  • Дизайн схемы и производительность
  • Конфигурирование индексов, секций, ограничений
  • Использование параллелизма в запросах и командах DML
  • Указание свойств табличного пространства и сбор статистик на уровне схемы
• Сопровождение резервного копирования, изменений в процессе разработки, а также безопасности OWB
  • Обзор утилит Metadata Loader (MDL)
  • Сопровождение изменений метаданных при помощи Snapshots
  • Использование Change Manager
  • Поддержка версионности проектируемых объектов
  • Графический пользовательский интерфейс GUI для сопровождения безопасности
  • Установки безопасности на уровне объектов
  • Настройки параметров безопасности
• Интеграция с Oracle Business Intelligence Enterprise Edition (OBI EE)
  • Требования бизнеса: интеграция программного обеспечения
  • Интеграция OWB c OBI EE b OBI SE
  • Преобразование формата метаданных для OBI EE сервера
  • Генерация UDML (unified data modeling language) файла. Конвертирование его в файл репозитория OBI EE.
  • Создание метаданных OBI EE
  • Развертывание модуля BI
  • Oracle BI Аdministrator и BI Answers
• ЧАСТЬ 2 Административные задачи в Warehouse Builder
  • Лицензия Enterprise ETL , расширяющая встроенные возможности ETL в Oracle 11gR2.
  • Множество именованных конфигураций и использование шаблонов конфигураций
  • Основные шаги по устаовке OWB в среде aRAC
  • Создание расписания заданий из OWB
• Сопровождение метаданных
  • Применение диаграмм анализа происхождения(Lineage) и наследования (Impact)
  • Использование Change Propagation Dialog для просмотра изменений в зависимых объектах
  • Определяемые пользователей свойства объектов (User-Defined Properties)
  • Использование встраиваемых (Pluggable) Mappings
  • Сложные типы операторов (Activity Types) в Process Flows
  • встроенная поддержка реляционных объектов гетерогенных баз данных - создание SQL функций трансформации данных для платформ Oracle,SQL server и DB2
• Доступ к не-Oracle источникам данных
  • Гибкая структура шаблонов кода в OWB 11g Release 2, ее достоинства
  • Расположение исходных шаблонов кода и создание новых шаблонов
  • Определение новой интеграционной платформы в OWB
• Разработка Mappings в пределах лицензии Oracle Data Integration Enterprise Edition
  • Сравнение традиционного и основанного на шаблонах кода Mappings (СТ)
  • Исполняемые единицы в CT Mapping
  • Сравнение Execution View и Logical View
  • Присвоение шаблона кода исполняемой единице
  • Конвертирование классического Mapping в a CT Mapping для примения Data Pump
  • Развертывание CT Mappings Deploy при помощи агентов (Control Center Agents)
• Создание хранилища данных в режиме реального времени при помощи OWB
  • Что такое хранилище данных в режиме реального времени и каким образом частота
  • обновления хранилища поддедрживается OWB
  • Построение Trickle Feed Mapping
  • Использование механизма Advanced Queues в Trickle Feed Mappings
  • Использование шаблонов CDC в Mappings для реализации захвата изменений
  • Запуск CDC Capture Process
• Определение реляционной модели
  • Создание измерений при помощи Wizards и редакторов - определений аттрибутов, уровней и иерархий, связывание их с таблицей измерений
  • Использование специализированного Wizard для создания измерения Time
  • Определение куба, его аттрибутов и показателей
  • Разработка Mappings для ROLAP
• Подробнее о реляционной реализации многомерной модели (ROLAP)
  • Сравнение начальной и инкрементальной загшрузки данных в хранилище
  • Обновление данных и метаданные
  • Захват измененных данных для обновления хранилища
  • Установка атрибутов для суррогатных ключей при загрузке
  • Как OWB сопровождает ограничения ссылочной целостности
  • Поддержка Cube-Organized материализованных представлений
  • Создание медленно меняющегося измерения (SCD) 2-го типа
• Многомерная реализация многомерной модели (MOLAP)- измерения и кубы
  • Что такое интерактивная аналитическая обработка данных (OLAP)?
  • Многомерные типы данных
  • Аналитическое рабочее пространство (Analytic Workspace)
  • Многомерное моделироание при помощи OWB
  • Вычисляемые показатели в OWB