Oracle® Data ProfilingおよびOracle Data Quality for …...Oracle® Data Profiling...

Oracle® Data Profiling and Oracle Data Quality for Data Integrator サンプル・チュートリアル

10g Release 3（10.1.3）

2007 年 11 月

Oracle® Data Profiling and Oracle Data Quality for Data Integrator サンプル・チュートリアル 10g Release 3（10.1.3）

Copyright © 2007, Oracle. All rights reserved.

このプログラム（ソフトウェアおよびドキュメントを含む）には、オラクルおよびその関連会社に所有権のある情

報が含まれています。このプログラムの使用または開示は、オラクルおよびその関連会社との契約に記された制約

条件に従うものとします。著作権、特許権およびその他の知的財産権と工業所有権に関する法律により保護されて

います。独立して作成された他のソフトウェアとの互換性を得るために必要な場合、もしくは法律によって規定さ

れる場合を除き、このプログラムのリバース・エンジニアリング、逆アセンブル、逆コンパイル等は禁止されてい

ます。

本文書に記載された内容は、予告なく変更されることがあります。本文書内に問題が見つかった場合は、書面にて

報告してください。オラクルおよびその関連会社は、本文書に一切間違いがないことを保証するものではありませ

ん。これらのプログラムのライセンス契約において明確に許諾されている場合を除いて、いかなる形式、手段（電

子的または機械的）、目的のためにも、これらのプログラムを複製または転用することはできません。

このプログラムがアメリカ政府またはプログラムのライセンスを受け、使用するアメリカ政府の代理人に提供され

る場合は、以下の注意事項を適用します。

U.S. GOVERNMENT RIGHTS Programs, software, databases, and related documentation and technical data delivered to U.S.

Government customers are "commercial computer software" or "commercial technical data" pursuant to the applicable Federal

Acquisition Regulation and agency-specific supplemental regulations.As such, use, duplication, disclosure, modification, and adaptation of the Programs, including documentation and technical data, shall be subject to the licensing restrictions set forth in

the applicable Oracle license agreement, and, to the extent applicable, the additional rights set forth in FAR 52.227-19,

Commercial Computer Software--Restricted Rights (June 1987).Oracle USA, Inc., 500 Oracle Parkway, Redwood City, CA 94065.

このプログラムは、核、航空産業、大量輸送、医療あるいはその他の危険が伴うアプリケーションへの用途を目的

としておりません。このプログラムをかかる目的で使用する際、上述のアプリケーションを安全に使用するために、

適切な安全装置、バックアップ、冗長性（redundancy）、その他の対策を講じることはライセンシーの責任となりま

す。万一かかるプログラムの使用に起因して損害が発生いたしましても、オラクルおよびその関連会社は一切責任

を負いかねます。

Oracle、JD Edwards、PeopleSoft、および Siebel は、米国 Oracle Corporation およびその子会社、関連会社の登録商標

です。その他の名称はそれぞれの会社の商標です。

このプログラムは、第三者の Web サイトへリンクし、第三者のコンテンツ、製品、サービスへアクセスすることが

あります。オラクルおよびその関連会社は第三者の Web サイトで提供されるコンテンツについては、一切の責任を

負いかねます。当該コンテンツの利用は、お客様の責任になります。第三者の製品またはサービスを購入する場合

は、第三者と直接の取引となります。オラクルおよびその関連会社は、（a）第三者の製品およびサービスの品質、

（b）購入製品またはサービスに関連する第三者との契約のいかなる条項の履行（製品またはサービスの提供、保証

義務を含む）に関しても責任を負いかねます。また、第三者との取引により損失や損害が発生いたしましても、オ

ラクルおよびその関連会社は一切の責任を負いかねます。

iii

目次

Oracle Data Quality 製品について ........................................................................................................... 1 Oracle Data Quality 製品 .................................................................................................................... 1 チュートリアルの内容 ....................................................................................................................... 1 推奨ドキュメント ............................................................................................................................... 1

チュートリアルの準備 ............................................................................................................................. 3 Oracle Data Quality および Oracle Data Profiling のインストール ..................................................... 3 メタベースおよび接続の設定 ............................................................................................................. 3 データ・ファイルの設定 .................................................................................................................... 6 郵便ディレクトリのインストール ...................................................................................................... 6

メタベースの事前ロード.......................................................................................................................... 7 Oracle Data Profiling のチュートリアル ................................................................................................. 11

データの調査 ..................................................................................................................................... 11 エンティティ内のリレーションシップの確認 ...................................................................................13

既存キーの確認および代替キーの検索 ........................................................................................13 依存関係の確認 ............................................................................................................................14 エンティティ間のリレーションシップの確認（結合） ...............................................................14

データのコンプライアンスの確認 .....................................................................................................18 ビジネス・ルールの適用 ...................................................................................................................20

Oracle Data Quality for Data Integrator のチュートリアル .....................................................................23 Name and Address クレンジング・プロジェクトの設計 ..................................................................23 Oracle Data Integrator での Quality Project の実行 ...........................................................................33 Oracle Data Quality for Data Integrator のさらなる活用 ...................................................................33

1

Oracle Data Quality製品について

Oracle Data Quality 製品

Oracle Data Quality 製品の Oracle Data Profiling および Oracle Data Quality for Data Integrator は、

Oracle Data Integrator のインライン Data Quality 機能を拡張し、より高度なデータ・ガバナンス機能を

提供します。

Oracle Data Profiling は、データ調査および品質監視ツールです。ビジネス・ユーザーは、このツール

を使用して、データの品質をメトリクスで評価し、データに基づいてルールを発見および推測して、

データ品質の変遷を経時的に監視できます。

Oracle Data Quality for Data Integrator は、包括的で受賞歴のあるデータ品質プラットフォームで、最

も複雑なデータ品質ニーズにも対応しています。強力なルール・ベースのエンジンおよび堅牢かつス

ケーラブルなアーキテクチャでは、データ品質と Name and Address クレンジングを企業データの統合

戦略の中核に位置付けています。

チュートリアルの内容

このチュートリアルでは、データ・プロファイリングとデータ品質に関する最初のプロジェクトを実行

する方法について説明します。

最初に、チュートリアルの準備として、プロジェクトを実行するための Oracle Data Quality 製品を新規

にインストールします。

Oracle Data Profiling のチュートリアルでは、ファイルの調査プロセスを通じてデータの異常や非一貫性

を検出し、データのビジネス・ルールを新規作成します。

最後に、Oracle Data Quality for Data Integrator のチュートリアルでは、不適切または不完全な Name レコー

ドや Address レコードを含むファイルのクレンジングを行うデータ品質プロセスの作成方法について説明

します。

推奨ドキュメント

まず、『Oracle Data Quality for Data Integrator - Getting Started Guide』を読み、ユーザー・インタフェー

スの概要、データ・プロファイリングとデータ品質の実行手順およびキー・コンセプトを理解すること

を推奨します。

3

チュートリアルの準備

Oracle Data Quality および Oracle Data Profiling のインストー

ル

Oracle Data Quality 製品および Oracle Data Integrator をインストールするには、『Oracle Data Integrator

Installation Guide』を参照してください。

メタベースおよび接続の設定

1. Oracle Data Quality、Oracle Data Profiling、および Oracle Data Integrator がインストールされ、

正常に機能していることを確認します。

2. 「スタート」→「すべてのプログラム」→「Oracle」→「Oracle Data Profiling and Quality」

→「Metabase Manager」の順に選択して、Metabase Manager にメタベース管理者（madmin）

としてログインします。

3. メニューから「Tools」→「Add Metabase」を選択します。

4. Oracledq という名前のメタベースをデフォルト・パターンで Public Cache Size10MB に設定し

て追加し、「OK」をクリックします。

5. メニューから「Tools」→「Add User」を選択します。

6. 以下に示すように、demo という名前のユーザーのパスワードを demo に設定して追加し、

「OK」をクリックします。

Oracle® Data Profiling および Oracle Data Quality for Data Integrator サンプル・チュートリアル

4

7. 以下に示すように、「Tools」→「Add Metabase User」を選択して oracledq メタベースに

demo ユーザーを追加し、「OK」をクリックします。

チュートリアルの準備

5

8. 「Tools」→「Add Loader Connection」を選択します。以下に示すように、デリミタ付きファ

イルのローダー接続を作成します。

Type：Delimited

Default Filter：*

Data Directory：<ODI_Home>¥demo¥oracledq¥Data

Schema Directory：<ODI_Home>¥demo¥oracledq¥Schemas


6

9. Metabase Manager を閉じます。

データ・ファイルの設定

1. サーバー上で、<ODI_Home>¥demo¥oracledq ディレクトリが存在することを確認します。

存在しない場合は作成します。

2. oracledq_sample_data.zip という名前のファイルを<ODI_Home>¥demo¥oracledq¥ディレク

トリにコピーして解凍します。

郵便ディレクトリのインストール

1. oracledq_sample_directory.zip ファイルを一時ディレクトリに解凍します。

2. 一時ディレクトリのコンテンツを Oracle Data Quality サーバー・ディレクトリの

tables¥postal_tables¥サブディレクトリにコピーします。既存ファイルを上書きしま

す。

7

メタベースの事前ロード

メタベースには、データ構造の説明と、Oracle Data Profiling の操作を実行し、Oracle Data Quality プロ

ジェクトを設計するサンプル・データの両方が含まれます。品質プロセスの最初の手順は、メタベース

の事前ロードです。

このサンプルでは、<ODI_Home>¥demo¥oracledq ディレクトリにあるフラット・ファイルを、前の章で

定義したデリミタ付きの COBOL データ・ローダーを使用して、データベースにロードします。これらの

ファイルにはそれぞれ特定の形式があり、ファイルに対応するエンティティを作成する際に定義します。

はじめに、customer_master.csv ソース・ファイルに対応するエンティティを次のパラメータとともに作

成します。

ソース・ファイルファイル情報データ選択ロード行

customer_master.csv Delimiter：カンマ

Quote：None

Names on first line Records are

CR/LF terminated：Y

Character Encoding：ascii

Keep all data All

1. Oracle Data Quality クライアントに、次の情報でログインします。

Repository：primary

Metabase：oracledq

Username：demo

Password：demo

2. メニューから「Analysis」→「Create Entity」を選択します。

3. デリミタ付きローダー接続を選択して、「Next」をクリックします。

4. 「customer_master.csv」ファイルを選択して、「Next」をクリックします。

5. 以下に示すように、ファイル情報を設定します。


8

6. 「All Rows」を選択し、「Next」をクリックして、次のウィンドウで「Finish」をクリックし

ます。

7. Schedule Job ポップアップ・ウィンドウで、「Run Now」を選択します。

8. ツールバー( )のバックグラウンド・タスク・アイコンをクリックして実行中のタスクを

表示し、ジョブが完了するまで待ちます。

9. 同様の操作を繰り返して、次の情報でエンティティを作成します。

ソース・ファイルファイル情報データ選択ロード行

product_master.csv Delimiter：カンマ

Quote：二重引用符

Names on first line

Records are CR/LF terminated：Y


Keep all data All

acct_reps.txt Delimiter：タブ

Quote：二重引用符

DDL：acct_reps.ddl



Keep all data All

注：Schedule Job ウィンドウを起動する前に、必ずこのアイコンを使用して、ジョブの完了を確認して

ください。

メタベースの事前ロード

9

uk_orders_2004.txt Delimiter：タブ

Quote：NONE

Names on first line



Keep all data All

ソースのすべてのエンティティが作成され、ソース・データがロードされます。続いてこのデータのプ

ロファイリングを開始します。


10

11

Oracle Data Profilingのチュートリアル

データの調査

プロファイリングの最初の手順として、これまでに作成した 4 つのエンティティでプロジェクトを作成

します。次に、エンティティの 1 つを確認します。

1. Discovery Project を demo という名前で作成します。

a. Project Types で「Profiling」を選択し、右クリックしてポップアップ・メニューの

「Create Project」を選択します。

b. Name と Description を入力し、以下に示すようにすべてのエンティティを選択して、

「OK」をクリックします。

2. エンティティ・レベルのメタデータを確認します。

a. Discovery Project の demo から、Entities フォルダの下の「Customer Master」を開き

ます。

b. Metadata フォルダを確認して、次のような構造的メタデータを確認します。

Row min len - ダブルクリックすると最短行の分布が表示され、分布値をダ

ブルクリックすると最小行のリストが表示されます。

Row max len - 上記のようにドリルダウンして、最長行を確認します。


12

Source Type - データソースのタイプです。

Data Source - データソース名です。

Load Sampling - サンプリング方法（すべての行）です。

Entity Type

Rows Loaded - ダブルクリックするとエンティティのすべての行が表示され

ます。

3. 属性レベルのメタデータを確認します。

a. Customer Master の下の「Attributes」フォルダを開き、属性「Account Number」を

開きます。

b. Unique Values を確認し、すべての値が一意ではないことを確認します。複数の顧客

が同じ口座番号で存在します。

c. 「Unique Values」ノードをダブルクリックして、重複値を表示します。

d. 値をドリルダウン（右側のパネルの表の行をダブルクリック）して、同じ口座番号

の行を表示します。

4. 発見された品質問題を説明する Note を追加します。

a. 「Account Number」属性を右クリックし、「Notes」→「Add…」を選択します。

b. 以下に示すように Note の詳細を入力し、「OK」をクリックします。

Oracle Data Profiling のチュートリアル

13

5. Phone フィールドの別の Patterns を確認します。

a. Customer Master の下の「Attributes」フォルダを開き、属性「Phone」を開きます。

b. 「Patterns」をダブルクリックします。

c. 低頻度のパターン値をドリルダウンします。

d. 行レベルまでドリルダウンして、任意のパターンの行を表示します。

エンティティ内のリレーションシップの確認

Oracle Data Profiling を使用すると、個々のエンティティや、エンティティのグループ間のリレーション

シップをプロファイルできます。この手順では、Customer Master ソース・データに使用可能なキーを

調査して、UK Orders ファイル内の顧客の口座番号と参照間の依存関係を確認します。

既存キーの確認および代替キーの検索

Customer Master データソースの Account Number には、暗黙的なキーが定義されています。キーの妥当

性を確認し、もう 1 列を使用可能なキーとして評価します。

1. Customer Master の Metadata フォルダの「Keys」をダブルクリックします。

2. Account Number がデータのキー・フィールドに表示されますが、低頻度のためリストには

表示されません。

3. Create Key 機能を使用して、Account Number キーを作成します。

a. メニューで「Analysis」→「Create Key or dependency…」を選択します。

b. リストの「Customer Master」エンティティを選択し、「Next」をクリックします。

c. ジョブに"Check Account No Key"と名前を付け、リストの「Account Number」属性を

選択して、「Finish」をクリックします。


14

d. Schedule Job ウィンドウで、「Run Now」をクリックします。

4. 重複値および重複値のある行までドリルダウンします。

a. Customer Master の Metadata フォルダの「Keys」をダブルクリックします。

b. 表の「Account Number」キーをダブルクリックし、重複値までドリルダウンします。

c. 重複値をダブルクリックし、重複値のある行までドリルダウンします。

5. 「Clrecid」を代替キーとして識別します。

a. Customer Master の Metadata フォルダの「Keys」をダブルクリックします。

b. 表の「Clrecid」キーをダブルクリックし、重複値までドリルダウンします。

c. 重複値のみをダブルクリックし、重複値のある 3 つの行までドリルダウンします。

依存関係の確認

Uk Orders 2004 表には、依存関係が確認されています。Order ID に関連する Account ID は、1 つのみで

ある必要があります。この依存関係に発生する可能性のある競合を確認します。

1. Uk Orders 2004 の Metadata フォルダの「Dependencies (Discovered)」ノードをダブルクリックし

ます。

2. Order Id と Account Id の間の依存関係を確認します。

3. 依存関係を示す行をダブルクリックし、ドリルダウンして 2 つの競合（同じ Order を共有す

る複数の Account）を表示します。

4. 競合するインスタンスを示す行をダブルクリックし、競合のある行までドリルダウンします。

エンティティ間のリレーションシップの確認（結合）

1. Customer Master と Uk Orders 2004 間の結合を作成します。

a. メニューから「Analysis」→「Create Join」を選択します。


15

b. 「Customer Master」エンティティと「Uk Orders 2004」エンティティを選択し、

Customer Master にフィルタを適用します（Country = “UK”）。「Next」をクリッ

クします。

c. 各エンティティの下の「Account Number」と「Account Id」を選択して結合し、

「Add Join」ボタンをクリックします。


16

d. 以下に示すように結合を作成し、「Finish」をクリックします。


17

e. Schedule Job ウィンドウで、「Run Now」をクリックします。

f. demo プロジェクトの下の「Permanent Joins」ノードを開きます。

g. 左側のパネルで新しい結合を選択し、プロパティを表示します。

一致する値と不一致の値の数を確認します。

h. リストのプロパティの 1 つを右クリックし、「Venn Diagram」を選択します。

i. ダイアグラムのセクションをダブルクリックして、次の操作を行います。

Order のない顧客までドリルダウンします。


18

Account のない Order までドリルダウンします。

Order のある顧客までドリルダウンします。

2. 前述の手順を繰り返して、Uk Orders 2004 と Product Master 間の結合を作成します。

a. 「Product Id」と「Item Number」を結合します。

b. Venn Diagram を表示します。

Product のない Order までドリルダウンします。

Order されていない Product までドリルダウンします。

Order された Product までドリルダウンします。

3. Customer Master と Acct Reps 間の結合を作成します。

a. 「Acct Rep」と「Rep Id」を結合します。

4. demo プロジェクトの下の「Permanent Join」ノードを右クリックし、「Entity Relationship

Diagram」を選択します。次のダイアグラムが表示されます。

データのコンプライアンスの確認

プロファイリング段階で、ソース・ファイルに格納されたデータが、一連のルール（パターン、値、

データ・タイプなどに基づくルール）に適合しているかどうか確認します。このコンプライアンス・

チェックにより、各レコードの品質を評価できます。

1. Uk Orders 2004 の属性に、次のコンプライアンス・チェックを追加します。

属性適用する DSD

Order Id Pattern Check - パターン d5 を許可

Null check - Null 値は不許可

許可される値は、30560 から 32000 まで

Payment Method 有効な値は、CREDIT CARD、EFT、ACCOUNT、COD

a. Demo プロジェクトで、「Entities」→「Uk Orders 2004」→「Attributes」→

「Order ID」属性の順に選択し、右クリックして、「Edit DSD」を選択します。

b. 「Pattern Check」タブを選択し、テストを有効にして、Match に d5パターンを入力

します。トレランスを 0% of rows に設定します。


19

c. 「Null Check」タブを選択し、テストを有効にして、NULL 行が許可されていないこ

と（0%）を確認します。

d. 「Range Check」タブを選択し、テストを有効にして、値の範囲を入力します。トレ

ランスを 0% of rows に設定します。

e. Demo プロジェクトで、「Entities」→「Uk Orders 2004」→「Attributes」→

「Payment Method」属性の順に選択し、右クリックして、「Edit DSD」を選択しま

す。

f. 「Value Check」タブを選択し、テストを有効にして、以下に示すようにチェックす

る値を入力します。


20

2. 各属性を再分析します。

a. Demo プロジェクトで、「Entities」→「Uk Orders 2004」→「Attributes」→

「Order ID」属性の順に選択し、右クリックして、「Re-Analyze Attribute DSD」を

選択します。

b. Schedule Job ポップアップ・ウィンドウで、「Run Now」をクリックします。

c. Payment Method 属性に対して、この手順を繰り返します。

3. Compliance %を確認するには、「Order ID」ノードと「Payment Method」ノードを開き、

「Compliance %」情報をクリックします。別の DSD テスト結果にもドリルダウンできます。

ビジネス・ルールの適用

次のビジネス・ルールの確認を行うビジネス・ルールを追加します。"If something was shipped then an

order should exist"

1. Demo プロジェクトで、「Entities」→「Uk Orders 2004」→「Metadata」→「Business

Rules」の順に選択します。右クリックして、「Add Business Rules」を選択します。

2. ビジネス・ルールのパラメータを、以下に示すように入力します。ルールのコードは次のと

おりです。

IF [Order Id]>0 THEN [Quantity Shipped]>0


21

3. ルールを保存すると、ルールを確認するよう指示されます。「OK」をクリックして実行を確

認し、「Run Now」をクリックしてすぐにジョブを実行します。

4. 「Business Rules」ノードをダブルクリックしてビジネス・ルールのリストを表示し、

「Order Shipped」ビジネス・ルールを選択してエラーのある行までドリルダウンします。次

のように表示されます。

3 empty shipments, where Quantity Shipped=0 and Orders Ids > 0

One shipment with no order, where Quantity Shipped>0 and Order Id = 0

23

Oracle Data Quality for Data Integratorの

チュートリアル

Name and Address クレンジング・プロジェクトの設計

1. データ・クレンジング・タスクは、Quality Project の形式で作成されます。

Quality Project を次の方法で作成します。

a. Project Types で「Quality」を選択し、右クリックしてポップアップ・メニューの

「Create Project」を選択します。

b. Name と Description を入力し、「Name and Address Project」を選択します。

c. 「Customer Master」エンティティを選択し、「Next」をクリックします。

d. 国として「United States (us)」と「United Kingdom (gb)」を選択し、「OK」をクリッ

クします。


24

e. Schedule Job ウィンドウで、「Run Now」をクリックします。

f. Quality ノードの下の「customer master」プロジェクトをダブルクリックします。プ

ロジェクトのダイアグラムが開きます。プロジェクトが生成されます。すべての手

順が生成されるまで待ちます。

Oracle Data Quality for Data Integrator のチュートリアル

25

このダイアグラムでは、矢印はデータ・クレンジング・プロジェクトのプロセスを示します。本のアイ

コンは、データ・クレンジング・プロジェクトの中間エンティティを示します。

このチュートリアルでは、データ品質プロジェクトのプロセスを確認し、順を追って変更および実行を

行います。

2. Transformer プロセスでは、入力データのフィルタおよび基本的な変換を行います。このプ

ロジェクトでは、UK データと US データをフィルタして電話番号からダッシュとスペースを

削除するトランスフォーマを使用します。

a. Transformer の矢印をダブルクリックして、以下に示すように Transformer プロセス

を設定します。

b. UK データと US データをフィルタするには、Input Settings で次の行フィルタを定義し

ます。

c. Phone フィールドからすべてのダッシュとスペースを削除するには、「Output

Conditionals」オプションを選択し、空のテーブルで右クリックして、ポップアッ

プ・メニューで「Add」→「Attribute Scan」を選択します。

Description of scan：Phone：remove dashes and spaces

Which Attribute would you like to scan：Phone

Choose alignment of the attribute：Left Pack（値のすべてのスペースを削除しま

す）

Specify what the scan should look for：Literal Value

Literal Value：-（ダッシュ記号）

値のすべてのインスタンスを 2 つの二重引用符（""）に変更します。

ウィザードを以下に示します。


26

d. 次に、同じトランスフォーマで、国別の郵便パーサーで使用される関連入力フィー

ルドを定義します。これらのフィールドは、後に国別トランスフォーマでオーバー

ライドされます。Parser Inputs の下で、Parser Inputs を以下のとおりに定義します。

e. 「Postcard…」ボタンをクリックすると、標準化に使用される Name and Address

フィールドのプレビューが表示されます。

注：このチュートリアルでは、企業名のみを考慮し、企業の従業員については考慮しません。


27

f. 「Finish」をクリックして、トランスフォーマのパラメータを保存します。

g. ダイアグラムの Transformer の矢印を右クリックし、「Execute…」→「Just This

Process」を選択します。

h. プロセスが完了したら、Transformer の矢印を右クリックし、「View…」→「Stats

File」を選択します。

統計ファイル・レポートが以下のように表示されます。

RECORD INPUT

Count Statistic Qualifier File

786 Records read Customer_Master(1)

C:/oracle/oracledq/metabase_data/metabase/oracledq/./E1/e1.dat

554 Records selected Customer_Master(1)


0 Records bypassed Customer_Master(1)


554 Records processed Customer_Master(1)


RECORD OUTPUT

Count Statistic Qualifier File

554 Records processed OUTPUT


554 Records selected OUTPUT


0 Records bypassed OUTPUT


554 Records written OUTPUT


FIELD SCANNING STATISTICS

Count EntryID Format Funct Scan Field

289 1 L CH PHONE

以下の統計情報が確認できます。

RECORD INPUT セクションでは、元の入力レコードを 786 レコードが参照しました。

また、その結果は、RECORD OUTPUT セクションの 554 レコードとなります。

RECORD INPUT セクションでは、フィルタ後、554 レコードが選択されました。

FIELD SCANNING STATISTICS では、286 PHONE フィールドがスキャンおよび変換

されました。

3. Global Data Router は、入力レコードを国に応じて別々のエンティティに分割します。名前

とアドレスの処理は国に依存するため、Global Data Router はデータ品質プロジェクトの初め

に表示されます。

a. Quality Project Diagram に戻ります。

b. 「Data Router」プロセスをダブルクリックします。

c. Options の下の Data Router Inputs で、「Postcode」と「Country」を選択します。


28

d. 「Advanced」ボタンをクリックし、Country Code Attribute で、リストから国を選

択します。

e. 「Back」をクリックし、次に「Finish」をクリックします。

f. ダイアグラムの Data Router の矢印を右クリックし、「Execute…」→「Just This

Process」を選択します。

g. プロセスが完了したら、Data Router の矢印を右クリックし、「View」→「Stats

File」を選択します。

この統計情報には、USA の 300 レコードと UK（GB）の 254 レコードが表示されて

います。トランスフォーマのフィルタにより、NOMATCH 修飾子をもつレコードは

検出されませんでした。

4. データ・フローが国ごとに分割されたため、Country-Specific Transformer を使用して、国別

の変換を行えます。この国別トランスフォーマでは、Parsers Inputs フィールドを設定します。

名前とアドレスを標準化する場合に、入力レコードのこれらのフィールドを確認する必要が

あります。ここでは、Bus Name（Business Name）、Address1、City、State、Postcode（郵便番

号）を Parsers Inputs フィールドとして設定します。

a. 「us Transformer」をダブルクリックして編集します。

b. Parser Inputs の下で、Parser Inputs が次のように定義されていることを確認します。

ここには最初のトランスフォーマで指定した値が継承されています。

注：国別トランスフォーマを使用して、最初のトランスフォーマ手順で使用した属性スキャンなどの別

の種類の変換を行うことができます。


29

c. 「Postcard…」ボタンをクリックすると、標準化に使用される Name and Address

フィールドのプレビューが表示されます。US のアドレスのみが表示されていること

に注意してください。

d. 「Finish」をクリックして、トランスフォーマのパラメータを保存します。

e. 「us Transformer」を実行し、統計ファイルを確認します。300 の入力レコードがす

べて出力レコードになっています。

f. 「gb Transformer」を右クリックし、「Delete Process…」→「This process and

dependants」を選択します。gb globrtr pXX エンティティが削除されたら、すべて

のプロセスが完了するのを待ちます。

5. 名前とアドレスの認識に使用するフィールドが定義できました。これらのフィールドは、名

前とアドレスを識別し、解析する Customer Data Parser により分析されます。Customer Data

Parser は、アドレスの分析に国別のルールを使用します。元データに加え、記録または標準

化されたデータが出力されます。前述のトランスフォーマ手順で返される最初の行が業種を

示し、1 レコードにつき 1 つの企業名が表示されるように、データ・パーサーをカスタマイ

ズします。

a. 「us Customer Data Parser」プロセスをダブルクリックして編集します。

b. 「Options」を選択し、Line 1 で「Business Name」を選択します。その他すべての行

を Not Predefined に設定します。

c. 「Finish」をクリックして変更を適用します。

d. 「us Customer Data Parser」プロセスを実行します。

e. us Customer Data Parser の下に表示される「us cusparse pXX」エンティティを右ク

リックし、ポップアップ・メニューで「Analyze」を選択します。

f. ウィンドウが表示されたら、「OK」をクリックして出力エンティティ分析を開始し

ます。

g. Explorer で、「Quality」→「customer master」→「Entities」→「us cusparse pXX」

→「Attributes」→「PR_REV_GROUP」→「Unique Values」ノードの順にダブルク

リックします。

この値の分布は、別のデータ・パーサーのレビュー・グループ・コードが発生したこと

を示します。たとえば、PR_REV_GROUP=18 の表示されている 6 つのレコードは、都

市名は存在するものの、タイプミスのため認識されていません。ドリルダウンして無効

な値を確認します。詳細またはレビュー・コード、レビュー・グループ・コードについ

ては、オンライン・マニュアルを参照してください。

h. また、us Customer Data Parser プロセスの統計ファイルで（右クリックして「View

…」→「Stats File」を選択）、解析の詳細レポートを確認できます。

6. Sort for Postal Matcher は、データを地理別にソートして、Postal Matcher 手順のパフォーマ

ンスを向上します。

a. 「us Sort for Postal Matcher」プロセスを実行します。

7. Postal Matcher は、データを郵便ディレクトリ情報と照合して、データを強化します。

a. 「us Postal Matcher」プロセスを実行します。

b. us Customer Data Parser の下に表示される「us pmatch pXX」エンティティを右ク


注：このチュートリアルでは、US データについてのみ説明します。UK データを含むその後の手順は

削除します。


30

c. ウィンドウが表示されたら、「OK」をクリックして出力エンティティ分析を開始し

ます。

d. Explorer で、「Quality」→「customer master」→「Entities」→「us pmatch pXX」

→「Attributes」→「US_GOUT_MATCH_LEVEL」→「Unique Values」ノードの順

にダブルクリックします。これらの値は、レコードがどの程度郵便ディレクトリ・

データに一致しているかを示します。各値の行までドリルダウンして確認します。

0：完全一致

1：該当する都市はありません

2：通りの名前エラー

3：番地エラー

4：通りの構成要素エラー

5：ディレクトリに複数の候補が一致します

e. 「us Postal Matcher」プロセスをダブルクリックして編集します。

f. 「Output Settings」を選択し、以下に示すように Row Filter を追加します。

g. 「Finish」をクリックして設定を保存し、「us Postal Matcher」プロセスを再度実行

します。このプロセスの統計情報の新しい Record Output セクション（右クリックし

て「View …」→「Stats File」を選択）には、15 Records written は表示されません。

8. Window Key Generator は、リレーションシップ・リンクで使用される複合キーを生成します。

このキーは、入力データの要素から構成されます。同様の Window Key をもつレコードは、

一致レコードと見なされる可能性が高くなります。このキー生成は、必要に応じてカスタ

マイズできます。

a. us Window Key Generator プロセスを実行します。

b. us Window Key Generator の下に表示される「us winkey pXX」エンティティを右ク


c. ウィンドウが表示されたら、「OK」をクリックしてエンティティ分析を開始します。

d. Explorer で、「Quality」→「customer master」→「Entities」→「us winkey pXX」

→「Attributes」→「WINDOW_KEY_01」→「Unique Values」ノードの順にダブル

クリックします。

e. 一意の値までドリルダウンし、次に一致する WINDOW_KEY_01 の値のある行まで

ドリルダウンします。これらの行は一致している可能性があります（同様の郵便番

号、企業名、通りの名前、個人名など）。

9. Sort for Linking プロセスは、データをソートして、Relationship Linker プロセスを最適化しま

す。

重要な注意点：ほとんどのレコードは、“1：該当する都市はありません“になります。これは、サン

プルの郵便ディレクトリにニューヨーク・シティの情報以外は含まれていないためです。その他の都市

は認識されず、Postal Matcher でレコードを強化することができません。結果を理解しやすくするた

め、残りのチュートリアルのプロセスの出力をフィルタし、ニューヨーク以外のレコードを無視しま

す。


31

a. 「us Sort for Linking」プロセスを実行します。

10. Relationship Linker プロセスは、リレーションシップに一致するレコードまたは重複レコード

を識別します。出力は、レコードの類似性に基づいて、成功、失敗、疑わしいに分類されま

す。レコードにはスコアが割り当てられます。

a. 「us Relationship Linker」プロセスを実行します。

b. us Relationship Linker の下に表示される「us rellink pXX」エンティティを右クリッ

クし、ポップアップ・メニューで「Analyze」を選択します。

c. ウィンドウが表示されたら、「OK」をクリックしてエンティティ分析を開始します。

d. Explorer で、「Quality」→「customer master」→「Entities」→「us rellink pXX」→

「Attributes」→「LEV1_MATCHED」→「Unique Values」ノードの順にダブルク

リックします。

e. これらの一意の値は、リンカーが検出した一意の企業を意味します。一意の値の１

つをクリックすると、同じ企業を示すすべての行が表示されます。

11. Commonizer は、Relationship Linker でリンクされたレコード間でデータをコピーします。ま

た、Commonizer は最良の使用可能レコードを選択します。

a. us Commonizer プロセスを実行します。

12. Data Reconstructor は、 Commonizer の各出力用にデータを再構築します。 us Data

Reconstructor の設定方法は、次のとおりです。

a. 「us Data Reconstructor」をダブルクリックして編集します。

b. Schema Editor の下で、次の属性を Output Attributes リストに追加します。パネル左

側の us common pXX の下の Attributes から、パネル右側の出力属性リストの最後に

ドラッグします。

LEV2_SURVIVOR_FLAG

c. 「Finish」をクリックして、us Data Reconstructor を閉じます。

d. 「us Data Reconstructor」を右クリックし、ポップアップ・メニューの「Apply

Schema Changes」を選択します。

e. 「OK」をクリックして変更を適用します。

f. us Data Reconstructor プロセスを実行します。

g. 出力エンティティ「us datarec pXX」をダブルクリックし、行を確認します。

h. Data Rows ビューのヘッダー行を右クリックし、「Choose Columns」を選択します。

Hidden fields リスト内で次の列をダブルクリックし、Displayed fields に追加します。

Lev2 Survivor Flag

i. 「OK」をクリックして、検証します。新しい列が表に表示されます。

j. 出力レコードを確認します。

Us Gout Match Level = 0 のフラグの付いたレコードは、郵便データにより強

化されていますが、Us Gout Match Level = 2 の付いたレコードは、正しく認

識および強化されていません。

Lev2 Survivor Flag = 1 のフラグの付いたレコードは、重複除外プロセスの使

用可能レコードです（最も包括的な企業情報を含んでいます）。

Newaddr1 および Newaddr2 などのフィールドには、包括的でクレンジング

されたアドレスを含む新しいアドレス行が含まれています。

13. プロジェクトをバッチ・スクリプトとしてエクスポートします。このプロセスにより、プロ

ジェクトを Oracle Data Integrator で使用できるようになります。

a. Explorer または Project Workflow から、「demo」プロジェクトを右クリックして、

「Export...」→「ODQ Batch Project」→「No data」の順に選択します。


32

b. Browse for Folder ウィンドウで、<ODI_Home>¥demo¥oracledq¥projects フォ

ルダを選択して、プロジェクトをエクスポートします。

c. 「OK」をクリックします。ファイルがコピーされていることを示すメッセージが表

示されます。これにより、指定した場所に oracledq（メタベース名）フォルダが

作成されます。このフォルダには、projectN サブフォルダ（N は Oracle Data

Quality のプロジェクト識別子）が含まれます。このプロジェクト・サブフォルダに

は、特に次のフォルダが含まれます。

data：このフォルダには、入力および出力データ、一時データ・ファイルが

含まれます。エクスポートするデータを指定しなかった場合は、このフォ

ルダは空です。

ddl：このフォルダには、エンティティのメタデータ・ファイル（.DDX お

よび.XML）が含まれます。これらのファイルはデータ・ファイルを記述し

ます。また、これらのファイルには eNN_の接頭辞が付加され、NN には

Entity ID が入ります。カスタマイズされたリバース・エンジニアリングが

Oracle Data Integrator で使用され、これらのエンティティのファイル形式を

データストアの形式で取得します。

scripts：このフォルダには、config.txt 構成ファイルと runprojectN.cmd

バッチ・スクリプトが含まれます。

d. 新たにエクスポートしたバッチ・プログラムが正しい入力および出力データを示す

ように、各種構成ファイルを変更する必要があります。まずは、データ品質エンジ

ンに、プロジェクトがエクスポートされた場所を示します。特に、エクスポート・

ファイルを設計時のサーバーから実行時のサーバーに移動した場合は、この変更が

必要です。

scripts ディレクトリ内で、config.txt ファイルを開き、DATABASE パラメー

タを“<ODI_Home>¥demo¥oracledq¥projects¥oracledq”に変更します。

また、 scripts ディレクトリ内で、 runProjectN.cmd ファイルを開き、

TS_PROJECT パラメータを<ODI_Home>¥demo¥oracledq¥projects¥oracledq¥

projectN に変更し、

ファイルの最終行をコメントアウトします（行の先頭の::を削除します）

e. 次に、データ品質エンジンにソース・ファイルとターゲット・ファイルの場所およ

び形式を示します。ソース・ファイルは最初のトランスフォーマ・プロセス設定

ファイルで参照され、ターゲット・ファイルは最後のプロセス設定で参照されます。

settings ディレクトリ内で、eN_transfmr_pXX.stx（N には customer_master.csv

ファイルに対応するエンティティの内部 ID が入ります）という名前のファ

イルを開き、XML 構造化ファイルの次のオプションを変更します。

/CATEGORY/INPUT/PARAMETER/INPUT_SETTINGS/ARGUMENTS/EN

TRY/DATA_FILE_NAME =

<ODI_Home>¥demo¥oracledq¥Data¥customer_master.csv


TRY/FILE_DELIMITER = ,


TRY/START_RECORD = 2

また、settings ディレクトリ内で、名前が eN_で始まり（N にはディレクト

リの最大値が入ります）"_xfrmr.stx"で終わるファイルを開き、XML 構造化

ファイルの次のオプションを変更します。

/CATEGORY/OUTPUT/PARAMETER/OUTPUT_SETTINGS/ARGUMENT

S/DATA_FILE_NAME =

<ODI_Home>¥demo¥oracledq¥Data¥cleansed_customer_m

aster.csv


33

f. これで、次のスクリプトを実行してクレンジング・ジョブを起動できます。

<ODI_Home>¥demo¥oracledq¥projects¥oracledq¥projects¥oracledq

¥projectN¥scripts¥runProjectN.cmd

Oracle Data Integrator での Quality Project の実行

1. Oracle Data Integrator を開き、リポジトリに接続します。Oracle Data Integrator から起動してい

る場合は、デモ環境を使用します。

2. 「Project」ビューを選択し、新規プロジェクト・ボタンをクリックして、新しいプロジェク

トを次の名前で作成します。

demo_quality

3. 新しいプロジェクト内で「First Folder」を開き、次に Packages ノード内で右クリックして

「Insert Package」を選択します。

4. Package Name フィールドに Quality Call と入力し、「Diagram」タブを選択します。

5. ツールバーの Utilities ツール・グループで、「OdiDataQuality」ツールを選択します。

6. ダイアグラムをクリックして、このツールを使用した手順を追加します。

7. このツールに次のパラメータを設定します。

a. BATCH_FILE：プロジェクト・エクスポート・ディレクトリの/script サブディレクト

リ内にある runprojectN.cmd ファイルの名前です。以下に例をあげます。

<ODI_Home>¥demo¥oracledq¥projects¥oracledq¥projectN¥scripts¥

runprojectN.cmd

8. 「Apply」ボタンをクリックしてパッケージを保存し、「Execute」ボタンをクリックして実

行します。品質プロジェクト全体が実行されます。

Oracle Data Quality for Data Integrator のさらなる活用

プロジェクトが実行されたため、入力および出力ファイルを通常の Oracle Data Integrator インタフェー

スで使用して、次の操作が実行可能です。

データストアを使用した各種ソースからの入力ファイルのロード

クレンジングされた出力データのソースへの再統合

Oracle® Data ProfilingおよびOracle Data Quality for …...Oracle® Data Profiling...

Documents

Transcript of Oracle® Data ProfilingおよびOracle Data Quality for …...Oracle® Data Profiling...