Post on 09-Jan-2017
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Ценность Enterprise Metadata Management
Oracle Confidential – Internal/Restricted/Highly Restricted 24
ETL
BI
Dashboards App
ETL
ETL
Каким образом
рассчитывали
объем продаж?
Что будет если я
изменю эту
таблицу?
Какие отчеты
используют
данные
мэйнфреймов?
Системный
администратор
Руководитель
BI Разработчик
Откуда пришли
эти данные?
Пользователь
приложений
Какие отчеты
используют
информацию о
клиенте?
CDC
Hadoop
Data Lake
Data Steward
Могу ли я доверять
этой информации
о клиенте?
ETL
разработчик
Решает большое количество серьезных задач для различных бизнес-пользователей и технических специалистов
Я хочу спроектировать
эксперимент, для измерения
успешности регистрационной
страницы. Какими данными я
располагаю?
Data Scientist
GG
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle Enterprise Metadata Management (OEMM)
Oracle Confidential – Internal/Restricted/Highly Restricted 25
• Metadata Management – горизонтальный и
семантический data lineage для всех источников данных
• Business Glossary – простые инструменты для
каталогизации, связи и совместной работы над бизнес-терминамиинаами
ü Business Data Catalog
ü Report to Source Lineage
ü Impact Analysis
ü Audit, Versioning & Diff Reports
ü Social/Collaboration Features
ü Annotations and Tagging
ü Comprehensive Harvesting
ü 3rd Party BI Metadata
ü 3rd Party ETL Metadata
ü 3rd Party DB Metadata
ü 3rd Party Modeling Tools
ü Big Data Metadata
ü Metadata Standards
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Metadata Harvesting from all Popular Platforms
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential 27
Big Data BI - Отчетногсть События
Полезная информация
Пр
ои
схож
де
ни
е д
ан
ны
х
Ан
ал
из
вл
ия
ни
я
ETL Качество данных
Интеграция данных
Потоки данных Интеграция Исследование сследование
Файлы Облака
Источники данных
Big Data Реляционные Приложения g Data
Бизнесс
глоссарий
Репозиторий
метаданных
Семантические
карты
Бизнесс
Oracle Metadata Management Логическая архитектура
Управление
метаданными
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 28
Vertical Lineage § Связывает бизнес-термины с
метаданными IT и операционными
активами
§ СодержитBusiness Glossary, Taxonomy,
Ontology, Conceptual Models
Horizontal Column Level § Связывает данные BI Dashboards или отчетов со
столбцами источников
§ Схемы, BI слои, ETL трансформации, вычисления,
etc.
Oracle Confidential, under Non-Disclosure
Ve
rtic
al
Lin
ea
ge
Horizontal Lineage
“NE_SALES”
“SALES”
“NAME” “ACCT_NAME”
“NORTH”
“AGG_TOTAL”
BI Fields to Source Columns
“FNAME|LNAME”
“Customer”
Biz Terms to IT
Два типа метаданных
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Графический браузер диаграмм моделей данных
• Просмотрщик метаданных
• Общая картина
• Zoom-in / zoom-out по по всей комплексной модели метаданных
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Архитектура потоков данных от начала и до конца
Визуализация взаимодействая систем
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Демонстрация
Oracle Confidential – Internal/Restricted/Highly Restricted 31
Microsoft SQL
Oracle DWH
MySQL
MS SSIS
Oracle Data Integrator
Oracle Analytics (BI)
jdbc
Hive Oracle 1. Загрузка списка фильмов (sqoop)
3. Расчет рейтинга (hive)
2. Анализ логов (hive)
4. Загрузка результатов (OLH)
0. Загрузка списка клиентов (sqoop)
5. Расчет продаж (Oracle Big Data SQL)
(BI)