Lên kế hoạch và quản lý dự án

Tham khảo chương 3* Paulraj Ponniah, Data warehousing

fundamentals, John Wiley & Sons Inc., 2001

Mục tiêu của chương• Trình bày nội dung bản chất của lập kế hoạch cho

một kho dữ liệu

• Phân biệt được một dự án DW với một dự án hệ

thống OLTP

• Tích hợp với tiếp cận chu trình sống của một dự án

DW

• Lưu ý một số dấu hiệu dự báo và yếu tố thành công

Lý do lên kế hoạch dự án DW:• Nhiều lỗi và nhiều yếu tố gây ra lỗi (xem hỏi – đáp ở trên)• Lên kế hoạch không đúng đắn và quản lý dự án không toàn

diện hướng tới kết quả lỗi: hơn mọi nhân tố khácTác dụng của việc lên kế hoạch• Lưu ý với dự án HTTT: các tài liệu công bố từ 50% - 80%

dự án không thành công (Khái niệm dự án, dự án thành công)

Một số vấn đề cốt lõi:• Đặt ra các mục tiêu đúng, định đúng giá trị của DW được xây

dựng• Định giá được rủi ro: quan trọng hơn sự thiếu hụt về định giá

của dự án• Lựa chọn cách tiếp cận: chú ý tài liệu mô tả cách tiếp cận• Xây dựng hoặc mua DW:

Vấn đề chính của mọi tổ chức. Không ai xây dựng DW chỉ thông qua bàn luận sơ sài theo lập trình nội bộ.

Nhiều nội dung cần phải tính toán như bao nhiêu DataMark tự xây dựng? bao nhiêu DMark trong số đó kết hợp với giải pháp đã có ? Các kiểu trộn và ghép nào sẽ được làm ?

• Mua cũng là phương án hiệu quả.

• Một số lựa chọn: Nhà cung cấp đơn hoặc nhiều nhà cung cấp “lựa chọn tốt nhất”.

• Mỗi phương án có lợi thế tương ứng (xem phần dưới: nhà cung cấp đơn như IBM, NCR có nhiều kinh nghiệm)

• Giải pháp cung cấp đơn có một vài lợi điểm Tích hợp công cụ mức cao Xem xét và nắm bắt không đổi Cộng tác liền nét các thành phần Quản lý thông tin tập trung Giá tổng hợp không đáng kể

• Lợi điểm chính của giải pháp lựa chọn đặc thù tốt nhất mà kết hợp nhiều nhà cung cấp Xây dựng được môi trường phù hợp khớp tới tổ chức Không cần dàn xếp giữa CSDL và công cụ hỗ trợ Chọn được sản phẩm phù hợp nhất với chức năng

MỘT SỐ CHỦ ĐỀ CHÍNH• Dẫn dắt quá trình xây dựng KDL là do Nhu cầu về kinh

doanh mà không phải là công nghệ• Nhân tố thành công: cần đảm bảo nhu cầu từ quản lý và

điều hành: “Dự án KDL không có hỗ trợ đầy đủ từ quản lý cao nhất và không có sự đầu tư mạnh và nhiệt tình thì bị sẽ kết án trong một ngày”.

• Tính lợi ích và luận giải. Lợi ích thực sự của Dự án KDL chỉ xuất hiện sau khi người

dùng đã áp dụng toàn diện; Lưu ý, việc tính toán luận giải ích lợi từ Dự án KDL không dễ

dàng nên nhiều công ty đã không giới thiệu được quá trình KDL với một phân tích luận giải về giá thành đầy đủ;

Một số ích lợi: Ích lợi từ tích hợp dữ liệu Tăng cường chất lượng dữ liệu Dễ dàng truy nhập thông tin

Một số thông tin chung tất yếu - yếu tố nguyên thủy của báo cáo tổng quan

• Sứ mạng và chức năng của mỗi nhóm người dùng• Hệ thống máy tính dùng cho nhóm• Chỉ số hiệu năng chính đánh giá nhóm người dùng• Các yếu tố tác động tới thành công của nhóm người dùng• Khách hàng và phương pháp phân loại• Kiểu dữ liệu nắm vết cho khách hàng (cá thể và nhóm)• Sản phẩm được sản xuất và bán• Phân lớp các sản phẩm và dịch vụ• Địa danh mà kinh doanh hướng tới• Các mức độ của ích lợi được đo lường cho khách hàng, cho sản

phẩm và cho khu vực• Các mức độ chi tiết giá và thuế• Truy vấn hiện có và báo cáo thông tin chiến lượcLưu ý• Nhân tố tác động tới thành công của mỗi nhóm người sử dụng• Các cấp độ đo lợi ích• Không thể thiếu sự hỗ trợ từ quản lý chính yếu của công ty: xây dựng

kho dữ liệu như một phần trong chiến lược phát triển của đơn vị

• Một số tiếp cận chuẩn bị cho sự luận giảiChẳng hạn, phần cứng 31%, phần mềm gồm cả hệ QT CSDL 24%, nhân viên và tích hợp hệ thống 35% và quản lý 10%. Một số tiếp cận tính toán: Tính toán giá thành công nghệ hiện thời để tạo ra

ứng dụng và báo cáo hỗ trợ tạo quyết định: so sánh lợi ích chưa KDL/làm KDL

Tính toán giá trị của KDL được đề xuất (ước tính): lợi ích, cổ tức, tăng thu nhập, tăng thị phần. Đối sánh theo tiền: lập luận giá trị thu được <> giá đầu tư KDL

• Một số tiếp cận chuẩn bị cho sự luận giảiLàm thử nghiệm đủ lớn, mô phỏng mọi thành phần được tác động bởi/ và tác động tới KDL đề xuất- Một số tiếp cận tính toán như ví dụ: (1) Bắt đầu với các mục chi phí (mua/thuê phần cứng,

phần mềm nhà cung cấp, phần mềm nội bộ, khởi tạo và nâng cấp, hỗ trợ đang tiến hành và chi phí duy trì

(2) Quy đổi thành tiền mọi lợi ích hữu hình và vô hình: giảm giá, tăng thu nhập và hiệu quả trong cộng đồng kinh doanh

(3) Đi theo thực hiện phân tích dòng chảy tiền tệ

• Phương án hình thức khởi tạo định hướng, phong thái và mục tiêu khởi tạo DW

• Mẫu kế hoạch tổng thể

Kế hoạch tổng thể

• Một số nét chung về kế hoạch tổng thể•Giới thiệu• Khái quát về sứ mạng• Phạm vi•Mục đích và mục tiêu•Vấn đề trọng tâm và lựa chọn•Giá trị và kỳ vọng•Luận giải đúng đắn•Trách nhiệm của nhà đầu tư•Chiến lược thi hành•Lịch dự kiến•Bản quyền dự án

• Sự khác biệt của Dự án DW với OLTP xây dựng CSDL thông thường OLTP có ba miền chức năng chính:

tập dữ liệu trực tuyến, thực hiện giao dịch kinh doanh, xử lý thứ tự các áp dụng OLTP

DW tương ứng có ba bộ phận kế tiếp nhau (như mô tả ở trên): thu thập dữ liệu, các thành phần lưu trữ dữ liệu, các thành phần cung cấp thông tin.

Sự khác biệt chi tiết ở bảng bên

Một số tiêu chí Dự án DW khác với Dự án CSDL thông thường Thu nhận dữ liệu (nguồn dữ liệu) Lưu trữ dữ liệu Kết xuất thông tin

Thu thập dữ liệu Lưu trữ dữ liệu Cung cấp thông tin

Số lượng lớn nguồn DLNguồn DL hỗn tạpHạ tầng tính toán khác

nhauNguồn DL bên ngoàiTải ban đầu đồ sộCân nhắc nhân bản DLTích hợp DL khó khănBiến đổi DL phức hợpLàm sạch DL

Lưu giữ DL dung lượng lớn

Độ tăng trưởng nhanhNhu cầu xử lý song songLưu DL khi dàn dựngKiểu chỉ số phứcLưu giữ kiểu DL mới Lưu giữ DL cũTương thích các bộ

công cụRDBMS & MDDBMS

Một vài kiểu người dùngTruy vấn được kéo dài

tới hạnKiểu truy vấn phứcKích hoạt dựa trên WebPhân tích đa chiềuGiao diện với ứng dụng

DSSChất liệu cho DMCông cụ đa nhà cung

cấp

• Một số lưu ý điển hình Dự án KDL phạm vi lớn hơn theo hướng phức tạp

hơn, đòi hỏi nhiều công nghệ khác nhau Cho phép mở rộng về thời gian với nhiều kiểu hoạt

động hơn Nguồn nhân lực bên trong không dư có nhiều bài toán khác thường Về siêu dữ liệu: cần có tầm nhìn xa

• Một số lưu ý điển hình (*): lịch biểu thời gian Thời gian đủ rộng để xây dựng và hoàn thiện hạ

tầng Thời gian để thiết kế kiến trúc Thu hút người sử dụng ở mọi bước của Dự án Huấn luyện người sử dụng Phát triển song song

• Đánh giá về tính sẵn sàng: Cần sự trợ giúp của các chuyên gia ngoài Cần báo cáo đánh giá tính sẵn sàng trước khi hoàn thiện kế

hoạch dự án Mục đích của báo cáo:

Giảm rủi ro từ bất thường lớn xẩy ra,Cung cấp tiếp cận nội tại trong giải phápĐánh giá lại hội đồng của công ty Nhìn và xác định lại phạm vi và kích thướcĐịnh danh các nhân tố thành côngXác định kại kỳ vọng người sử dụngTinh chỉnh như cầu huấn luyện

• Tiếp cận theo chu trình sống: Ưu điểm của tiếp cận theo chu trình sống

Hoàn thành mọi mục đích chính trong quá trình phát triểnTuân thủ tiếp cận hệ thống khi xây dựng HT MTPhân rã tính phức tạp, gán công việc tới các thành viênTập dự báo về bài toán và phân phối

Lý giải:Tiếp cận chu trình sống phân rã độ phức tạp của dự án

Các thành phần chức năng của DW và phát triển hệ thống theo tiếp cận theo chu trình sống (system development life cycle (SDLC): Xuyên qua các thành phần dữ liệu và thông tin. Mối liên hệ và lộ trình như hình vẽ trên.

Các giai đoạn phát triển DW: Các bước (pha) phát triển DW.

Lập kế hoạch tổng thể. Xác định yêu cầu. Thiết kế.Xây dựngTriển khai Mở rộng và duy trì

Mỗi quan hệ tới ba thành phần chức năng: thu thập, lưu giữ và cung cấp thông tin

Các giai đoạn phát triển DW: Pha thiết kế và pha xây dựng 3 thành phần của DW có thể song

song. Các pha cần bao gói bài toán xác định kiến trúc với 3 thành phần.

Đội phát triển dự án: Vai trò của đội phát triển. Hai nguyên nhân chính làm dự án thất bại.

Quá phức tạp Nhu cầu mơ hồ

Cách thức làm việc của đội phát triển.

Tổ chức của Đội phát triển dự án: Liệt kê được mọi thách thức và các kỹ năng chuyên

biệt cần có của dự án Lên được danh mục các vai trò cần có để phát triển

hệ thống Gán vai trò của đội với từng cá nhân trong đội Thành viên:Kỹ năng, kinh nghiệm và tri thức là quan

trọng đối với thành viên + Toàn đội: phong cách, tinh thần làm việc theo nhóm, sự say mê phát triển DW và quyết tâm cao (cam kết) của từng thành viên

Đội phát triển dự án: Vai trò và trách nhiệm (1) Phân vai trò và công việc theo nhiều cách.

Phân chia bề rộng sau đó bao gồm công việc riêng vào phân lớp này

phù hợp nhất với môi trường của đội. Có thể đưa ra hai cách thức tiếp cận bề rộng rồi kết hợp.

Mỗi khi xác định phân lớp bề rộng gán mỗi việc riêng trong mỗi phân lớp đó

Đội phát triển dự án: Vai trò và trách nhiệm (2): Sáu loại phân lớp vai trò trong đội phát triển:

Phân loại: Cung cấp nhân viên cho sự phát triển ban đầu, nhân sự để thử nghiệm, nhân sự để bảo trì liên tục, nhân sự cho kho dữ liệu quản lý Phân loại bề rộng : CNTT và End-Users, sau đó phân loại con (subclassifications) trong mỗi của cặp phân loại rộng, tiếp tục phân loại con Phân loại: vai trò nhân viên mặt tiền, vai trò nhân viên mặt hậuPhân loại: Người huấn luyện, đội hình thường trực, đội đặc biệt Phân loại: Quản lý, phát triển, hỗ trợPhân loại: Quản trị, thu thập dữ liệu, lưu trữ dữ liệu, cung cấp thông tin

Tiêu đề vai trò

Nhà tài trợ điều hành Chuyên gia cung cấp DL

Giám đốc dự án Nhà phân tích kinh doanh

Quản lý dự án Quản trị hệ thống

Quản lý đại diện người sử dụng Chuyên gia di trú dữ liệu

Quản trị kho dữ liệu Chuyên gia chuẩn bị (tiền XL) dữ liệu

Quản lý sự thay đổi tổ chức Trưởng nhóm Data Mark

Quản trị CSDL Chuyên gia hạ tầng

Quản lý siêu dữ liệu Người dùng chính yếu (power user)

Phân tích yêu cầu kinh doanh Trưởng nhóm đào tạo

Kiến trúc kho DL Biên tập kỹ thuật

Phát triển thu thập dữ liệu Chuyên gia công cụ

Phát triển truy cập dữ liệu Chuyên gia quan hệ nhà cung cấp

Phân tích chất lượng DL Quản lý web (web master)

Kiểm thử kho DL Dựng mẫu dữ liệu

Người phát triển bảo trì Kiến trúc sư an ninh

Danh sách các vai trò và chức năng, nhiệm vụ

Nhà tài trợ điều hànhChỉ đạo, hỗ trợ, làm trọng tài.

Quản trị KDLChức năng DBA

Người quản lý dự ánGiao nhiệm vụ, giám sát, kiểm tra.

Chuyên gia chuyển đổi DLTrích xuất, trích hợp, chuyển dạng DL

Người quản lý quan hệ người dùngPhối hợp với các nhóm người dùng

Người phân tích đảm bảo chất lượngKiểm soát chất lượng DL của KDL

Kiến trúc sư chínhThiết kế kiến trúc

Người đồng điều phối kiểm thửKiểm thử chương trình, hệ thống, công

cụ

Chuyên gia hạ tầngThiết kế / xây dựng cơ sở hạ tầng

Chuyên gia ứng dụng người dùng cuốiXác nhận ngữ nghĩa và quan hệ của DL

Người phân tích kinh doanhXác định yêu cầu

Lập trình viên phát triểnLập trình nội bộ và scripts

Người mô hình hóa DL (Data Modeler)Mô hình hóa quan hệ và chiều

Trưởng nhóm đào tạoĐồng điều phối đào tạo người dùng và

đội phát triển

Đội phát triển dự án: Danh sách các mức độ kỹ năng và kinh nghiệm

Nhà tài trợ điều hành

Cấp điều hành cao cấp, kiến thức kinh doanh chuyên sâu, có nhiệt tình và năng lực làm ôn hóa và phân xử khi cần thiết.

Người quản lý dự án

Kỹ năng con người, kinh nghiệm quản lý dự án, định hướng kinh doanh và người sử dụng, năng lực thực tế và hiệu quả.

Người quản lý quan hệ người dùng

Kỹ năng con người, được tôn trọng trong cộng đồng người dùng, có kỹ năng tổ chức, làm việc nhóm, kiến thức hệ thống từ quan điểm người dùng.

Kiến trúc sư chính Kỹ năng phân tích, năng lực nhìn khung cảnh lớn, chuyên môn trong giao tiếp, kiến thức về khái niệm kho dữ liệu.

Chuyên gia hạ tầng

Chuyên gia về phần cứng, hệ điều hành, hạ tầngmáy tính, kinh nghiệm như chuyên viên HĐH.

Người phân tích kinh doanh

Kỹ năng phân tích, khả năng tương tác với người dùng, kinh nghiệm công nghiệp đầy đủ như nhà phân tích

Người mô hình hóa DL (Data Modeler)

Chuyên gia mô hình hóa quan hệ và chiều với các công cụ trường hợp, kinh nghiệm như nhà phân tích dữ liệu.

Đội phát triển dự án: Danh sách các mức độ kỹ năng và kinh nghiệm

Người quản trị KDL Chuyên gia thiết kế và thi hanh cơ sở dữ liệu vật lý, có kinh nghiệm như DBA, MDDBMS quan hệ bổ sung.

Chuyên gia chuyển đổi dữ liệu

Kiến thức về cấu trúc dữ liệu, kiến thức chuyên sâu về các hệ thống nguồn, có kinh nghiệm như nhà phân tích.

Người phân tích đảm bảo chất lượng

Kiến thức về kỹ thuật chất lượng dữ liệu, kiến thức về dữ liệu hệ thống nguồn, kinh nghiệm như nhà phân tích.

Người điều phối kiểm thử

Quen thuộc với các phương pháp và tiêu chuẩn kiểm thử, sử dụng công cụ kiểm thử, có kiến thức của một số công cụ cung cấp thông tin kho dữ liệu, kinh nghiệm người lập trình / nhà phân tích.

Chuyên gia chương trình ứng dụng người dùng cuối

Có kiến thức sâu về ứng dụng nguồn

Lập trình viên phát triển

Có kỹ năng lập trình và phân tích, có kinh nghiệm lập trình bằng ngôn ngữ và DBMS được lựa chọn.

Trưởng nhóm đào tạo

Có kỹ năng đào tạo, có kinh nghiệm trong đào tạo CNTT / người dùng, có kỹ năng phối hợp và tổ chức.

Sự tham gia của người sử dụng: Tương tác người sử dụng là trực tiếp và bản chất.

nếu có một khác biệt cơ bản giữa OLTP và DW: từ dùng hệ thống của người sử dụng họ cần là một phần của đội phát triển.

Dự án DW gọi tới kỹ thuật phát triển ứng dụng kết hợp.

Đội phát triển dự án: Sự tham gia của người dùng

Lập kế hoạch dự án

Cung cấp mục đích, mục tiêu, kỳ vọng, thông tin kinh doanh trong quá trình khảo sát sơ bộ; hỗ trợ hoạt động quản lý mức đỉnh, khởi tạo dự án là nhà tài trợ điều hành.

Xác định yêu cầu

Tham gia tích cực các cuộc họp để xác định yêu cầu, định danh mọi hệ thống nguồn, xác định độ đo để đo lường thành công kinh doanh, và các chiều kinh doanh để phân tích, xác định thông tin cần thiết từ kho dữ liệu.

Thiết kế Khảo sát lại mô hình DL chiều; thiết kế trích xuất và chuyển đổi dữ liệu, cung cấp sử dụng dự kiến cho kích thức CSDL; xem xét lại thiết kế kiến trúc và siêu dữ liệu; tham gia lựa chọn công cụ, xem xét lại thiết kế cung cấp thông tin.

Xây dựng Tham gia tích cực kiểm thử chấp nhận người dùng; kiểm thử công cụ cung cấp thông tin; công nhận chức năng thu nhận dữ liệu và chuyển đổi; xác nhận chất lượng dữ liệu, kiểm thử sử dụng siêu dữ liệu; kiểm chuẩn chức năng truy vấn, kiểm thử chức năng OLAP; tham gia vào tài liệu ứng dụng.

Triển khai Kiểm tra dấu vết kiểm toán và xác nhận tải ban đầu dữ liệu; làm phù hợp với phân phôi khác với kỳ vọng; sắp xếp và tham gia vào đào tạo người dùng, cung cấp chấp nhận cuối cùng.

Bảo trì Cung cấp đầu vào cho các cải tiến, kiểm thử và chấp nhận cải tiến.

Quan tâm quản lý dự án: Dự án DW thành công khi quản lý dự án hiệu quả nhất có thể

được. Nguyên lý quản lý dự án, dấu hiệu khuyến cáo, nhân tố thành

công, tính phù hợp với thực tiễn

Một số nguyên lý hướng dẫn: Liên quan tới quyết định và hành động quản lý dự án:

Trách nhiệm của nhà đầu tư, người quản lý và người sử dụng. Sự tiến hóa mới. Chất lượng dữ liệu. Xây dựng cho tăng trưởng Chính sách dự ánMô hình dữ liệu chiều Người quản lý dự án. Vai trò của đội phát triển Yêu cầu người dùngKỳ vọng thực tế Dữ liệu ngoài

Phù hợp với tiếp cận thực tiễn: bản chất chung, pha trộn hợp lý từng trải thực tiễn và lý thuyết

cốt lõi . động lực từ yêu cầu kinh doanh

Kịch bản lỗi có thể có: Nền móng dữ liệu không tốt Thiếu hụt dữ liệu chất lượng tồi, không đúng cách sụp đổ trước khi hoàn thiện dữ liệu xa xỉ Tính cô lập của dữ liệu truy nhập và hiệu năng kém KDL chuyên đề đứng độc

lập Mục đích xa rời Tính tù hãm của dữ liệu:

không gắn với người sử dụng người dùng không thể/khó nhận

Một số dấu hiệu cảnh báo và hành động- Theo sát vòng đời, quan sát- Một điểm báo và hành động tương ứng

Tín hiệu cảnh báo Nguyên nhân Hành động

Bước xác định yêu cầu vượt qua hạn định mục tiêu

Mất năng lực phân tích

Ngừng thu nhận thông tin không mong muốn. Hủy bỏ mọi vấn đề đã họp với người sử dụng. Đặt lại mục tiêu cuối của công ty.

Tự công ty tốn quá nhiều công sức viết chương trình.

Lựa chọn công cụ của bên thứ ba lỗi thời

Nếu có thời gian và ngân sách, xem xét các công cụ khác nhau. Nếu không thì cần tăng cnhân viên lập trình.

Người sử dụng không hợp tác cung cấp dữ liệu chi tiết

Có biểu hiện lo ngại về quyền sở hữu dữ liệu.

Vấn đề này rất tinh tế Làm việc với nhà tài trợ điều hành để giải quyết vấn đề.

Người sử dụng không thoải mái với các công cụ truy vấn

Người sử dụng không được đào tạo đầy đủ.

Đầu tiên, đảm bảo rằng các công cụ truy vấn được lựa chọn là thích hợp. Sau đó, tiến hành việc đào tạo bổ sung.

Vấn đề tiếp nhận dữ liệu vượt quá vùng dàn dựng.

Chuyển đổi và lập bản đồ dữ liệu không hoàn chỉnh

Xem lại toàn bộ việc chuyển đổi dữ liệu và tiện ích tích hợp. Đảm bảo rằng không thiếu dữ liệu. Cùng đại diện người sử dụng tham gia quá trình xác minh.

Một số nhân tố thành công

Nhà tài trợ, điều hành: Đảm bảo hỗ trợ liên tục, dài hạn, cam kết

thiết lập được xác định lên phía trước, rõ, thực sự, và đồng ý giá trị kinh doanh từ kho dữ liệu. Quản lý được kỳ vọng của người sử dụng thực tế

Nhận được nhiệt tình tham gia người dùng trong suốt dự án.

Việc khai phá dữ liệu, chuyển đổi và tải (ETL) chức năng là hầu hết thời gian, nhiều lao động hoạt động. Không ước tính thời gian và công sức cho hoạt động này dưới hạn.

Đầu tiên ghi nhận kiến trúc, sau đó công nghệ, sau đó công cụ. Chọn một kiến trúc là đúng cho môi trường.

Các truy vấn và các công cụ thông tin cho người dùng là cực kỳ quan trọng. Chọn những công cụ hữu ích và dễ sử dụng nhất, tránh chọn theo tính “quyến rũ” (“hiện đại nhất”) của công cụ. Tránh chảy máu công nghệ.

Kế hoạch cần là tăng trưởng và cách mạng. Quan tâm xem xét hiệu suất.

Người quản lý dự án cần theo định hướng người sử dụng.

Tập trung thiết kế theo truy vấn, mà không theo giao dịch.

Xác định các nguồn dữ liệu thích hợp. Chỉ tải dữ liệu cần thiết.

Thể hiện một dự án DW thành công: Ngữ cảnh kinh doanh Thách thức (khuynh hướng) Công nghệ và tiếp cận Nhân tố thành công

Lợi ích thu được.