Khắc phục thảm họa - Disaster Recovery là gì ?

Sự cố (break-down, faillure) và thảm họa (disaster) đều chỉ các hỏng hóc, mất mát

với các mức độ khác nhau. Nhìn chung, sự cố thường liên quan tới trục trặc một

vài thành phần của hệ thống mà thời gian khắc phục cũng như tác hại của chúng

không lớn. Thảm họa làm chúng ta liên tưởng tới những hỏng hóc của toàn bộ hệ

thống, làm ngưng trệ họat động lâu dài và gây ra thiệt hại to lớn.

Đảm bảo cho các họat động kinh tế, xã hội được liên tục, không ngưng trệ

(Business Continuity) là một mục tiêu quan trọng của nhiều kế họach, thiết kế, dự

án hiện nay. Vấn đề này đã là nội dung của nhiều nghiên cứu và là một dịch vụ cao

cấp, đặc biệt quan trọng, là sống còn đối với nhiều ngành kinh tế khác nhau như tài

chính ngân hàng, hàng không, an ninh, bảo hiểm, chứng khoán, bộ ban ngành

Khắc phục hay khôi phục sau thảm họa là một kế họach cùng với những chuẩn bị

về 1.cơ sở vật chất, 2.về con người, 3.về qui trình để mỗi khi xảy ra những sự cố

lớn thì không những các dữ liệu quan trọng không bị mất mà các họat động bình

thường vẫn được tiếp tục duy trì như không có sự cố xảy ra.

Khắc phục sự cố đòi hỏi tổ chức phải có những chuẩn bị rất chu đáo từ trước. Từ

nhu cầu đảm bảo sự họat động liên tục của các tổ chức, doanh nghiệp DRS đã sớm

đón đầu hình thành và cung cấp một gói dịch vụ rất chuyên nghiệp, có giá trị gia

tăng rất cao, đó là tư vấn cho các doanh nghiệp thực hiện được kế họach phục hồi

thảm họa (Disaster Recovery Plan), cho thuê Trung tâm dữ liệu đạt tiêu chuẩn

quốc tế Uptime Tier III và TIA – 942, chứng nhận hệ thống quản lý chất lượng

theo tiêu chuẩn ISO 9001:2008 và chứng nhận quản lý An toàn Thông tin

ISO27001 làm Trung tâm dữ liệu phục hồi thảm họa (Data Center Disaster

Recovery – DR) cho nhiều doanh nghiệp khối tài chính – Ngân hàng, chứng khoán,

bảo hiểm,…

Phục hồi thảm họa – một vấn đề cần quan tâm ngay hôm nay

Phục hồi thảm họa (Disaster Recovery – DR) có vai trò ngày càng quan trọng trong

đời sống kinh tế xã hội.

Hiện nay, cho dù trình độ văn minh của loài người đã phát triển ở mức cao, nhân

loại vẫn phải đối mặt với nhiều thảm họa. Rõ nét nhất là các thảm họa do thiên

nhiên gây ra như động đất, núi lửa, bão có thể làm thiệt hại trên một diện tích rộng

lớn, cướp đi hàng trăm ngàn sinh mạng và thiệt hại nhiều tỷ dollar. Sau đó là các

thảm họa do khủng bố, chiến tranh với sự kiện tiêu biểu ngày 11/9. Vì vậy, sẵn

sàng với những gì tồi tệ nhất là phươngthức giúp chúng ta có thể giảm thiểu thiệt

hại và nhanh chóng trở về cuộc sống bình thường sau mỗi thảm họa.

Phục hồi thảm họa – một kế họach hành động đòi hỏi cả quy trình và trang bị công

nghệ cao.

Phục hồi thảm họa là những hành động chúng ta phải thực hiện khi các sự cố bất

khả kháng xảy ra. Do tính chất nghiêm trọng của các thảm họa, có thể nói con

người chúng ta sẽ lâm vào tình trạng mất phương hướng, mất tổ chức, hỗn lọan cao

độ, mất toàn bộ dữ liệu quan trọng, có thể đẫn đến phá sản hoàn toàn một doanh

nghiệp… nếu chúng ta không có những chuẩn bị và luyện tập từ trước. Sau đây,

chúng ta có thể liệt kê những gì cơ bản nhất cần phải quan tâm đến khi nói tới khắc

phục thảm họa:

Xác định các tài sản (vô hình và hữu hình) và các giá trị của nó đối với chúng ta

Xác định các nguy cơ có thể gây đến hỏng hóc, phá hủy tài sản, thiết bị CNTT,

thiết bị mạng viễn thông,…

Với mỗi nguy cơ, xây dựng một kế họach hành động cụ thể khi nguy cơ trở thành

hiện thực

Đầu tư xây dựng cơ sở vật chất, huấn luyện đào tạo con người để thực thi kế họach

hành động khi thảm họa xảy ra

- Luôn duy trì khả năng sẵn sàng của hệ thống trang thiết bị và nhân lực đối với

thảm họa. Thường xuyên đánh giá lại giá trị tài sản của chúng ta do chúng luôn

thay đổi trong qua trình họat động

Trong các hạng mục phục vụ phục hồi sau thảm họa, phần đầu tư cơ sở vật chất có

đặc điểm là đòi hỏi nhiều trang thiết bị và công nghệ hiện đại như sao lưu dữ liệu

đồng bộ với khoảng cách các vị trí lưu dữ liệu từ hai hoặc nhiều hơn các Trung tâm

dữ liệu các xa nhau trên 30km, triển khai hệ thống máy chủ và dịch vụ chạy song

song với khả năng tự nhận biết và khởi động hệ thống dự phòng khi cần thiết

(clustering), phối hợp và đồng bộ kế họach ứng phó sự cố với các nhà cung cấp

dịch vụ viễn thông, dịch vụ kết nối…

Trên nền tảng trang thiết bị, công nghệ hiện đại, quy trình di chuyển (migration)

đội ngũ nhân viên sang những vị trí làm việc mới nhằm phục hồi các họat động

bình thường của dịch vụ, làm cho việc cung ứng dịch vụ “trong suốt” với người sử

dụng đòi hỏi rất nhiều nỗ lực trong tư vấn thiết kế qui trình, đào tạo nhân lực có

khả năng ứng phó với sự cố/thảm họa.

Nhìn chung, trong kế họach phục hồi thảm họa của chúng ta phải có thành phần

liên quan tới CNTT do tính rộng rãi của ứng dụng CNTT trong tất cả các lĩnh vực

của đời sống kinh tế xã hội. Đối với CNTT, có thể thấy rõ những tài sản sau cần

được xem xét bảo vệ đối với sự cố/thảm họa:

Dữ liệu. Đây là một thành phần quan trọng nhất, đặc biệt là đối với các tổ chức tài

chính, ngân hàng, chứng khoán, bảo hiểm, ngành thuế, ngành hải quan, các doanh

nghiệp lớn,…

Ứng dụng. Ứng dụng cần phải được phục hồi trong thời gian ngắn nhất vì ứng

dụng chính là cổng duy nhất để con người sử dụng CNTT

Các dịch vụ đi cùng CNTT. Đó là Trung tâm khách hàng (call center), bộ phận

quản lý sản xuất, các máy tính chuyên dụng điều khiển máy móc trong dây truyền

sản xuất …

Chúng tôi cho rằng xây dựng một khả năng khôi phục họat động sau một thảm họa

là một kế họach tổng hợp, phức hợp, liên quan tới nhiều con người, bộ phận, doanh

nghiệp … Đây là một thước đo trình độ phát triển của một tổ chức, doanh nghiệp.

Business Continuity Plan

là một chính sách hoạch định rất quan trọng trong doanh nghiệp, nó quan trọng là

vậy nhưng mà tôi nắm bắt chưa được nhiều, chưa thực sự hiểu rõ nó. Trên thực tế

Business Continuity Plan là một Project và đồng thời là một Continous Process

không có điểm kết thúc. Bởi vì những thay đổi môi trường, chiến lược, mục tiêu

kinh doanh, các chính sách đều làm ảnh hưởng đến Business Continuity Plan này

hết.

Là một Project nên luôn được bắt đầu với Project Initiation; mô tả các mục tiêu

chiến lược (goal), các thành phần tham dự, kế hoạch dự kiến và quan trọng nhất là

phải được sự hỗ trợ trực tiếp từ các cấp Manager. Một Business Continuity Plan tốt

thì yêu cầu phải có tất cả các bộ phận trong doanh nghiệp tham gia, đó là điều kiện

bắt buộc. Cái này gọi là Identify all business unit.

Chuyện tiếp theo là Functionality; mỗi bộ phận đều có các yêu cầu riêng và ảnh

hưởng trực tiếp đến hoạt động doanh nghiệp, thế nhưng mức độ quan trọng như thế

nào, và ảnh hưởng thế nào thì mỗi người lại có cách nhìn nhận khác nhau, phần

Functionality này bao gồm cả bước thập thông tin, định lượng và định tính

(quantitative và qualitative):

Xác định nhóm cần tiến hành

Sử dụng các ký thuật Interview để có các thông tin

Tính toán các giá trị:

o Quantitative: liên quan đến các con số và chi phí bỏ ra, các công thức

được sử dụng: SLE (Single Lost Expectancy); ARO (Annualized Rate

of Occurrence); ARE (Annualized Rate of Expectancy)…phương

pháp này cung cấp một phương thức Cost Analysis một cách rất rõ

ràng

o Qualitative: thường sử dụng các bảng câu hỏi, hoặc các kỹ thuật tương

tự vậy và được gọi tên là Delphi Tech; cách này cung cấp một góc

nhìn toàn cảnh hơn nhưng lại không cho biết Cost là bao nhiêu để dễ

bề tính toán; Qualitative thường cung cấp về các vấn đề: lợi thế kinh

doanh, phân khúc thị trường ….

Xác định các Critical Function:

o Critical Function: là các chức năng, process, ứng dụng và môi trường

ảnh hưởng trực tiếp đến doanh nghiệp. Ví dụ như là hệ thống đặt hàng

online, hoặc Payroll…

o Xác định các mức thời gian, MTD (Maximum Tolerable Downtime) –

thời hạn tối đa mà doanh nghiệp có thể chịu đựng khi có tính năng nào

đó không hoạt động.

Xác định chiến lược backup.

o Chiến lược backup không chỉ bao gồm data mà có thể bao gồm cả

nguồn nhân lực, vật lực (gọi chung là Resource).

o Xác định phương thức duy trì hoạt động bằng cách sử dụng: Hot-site,

Warm-site, Reciprocal Site, Mobile Site hoặc Cold-site.

o Các kỹ thuật và công nghệ sử dụng để duy trì chẳng hạn như

Clustering, HSRP, Fault-Tolerant..

o Các phương tiện, chi phí cho việc thực hiện chiến lược backup

(phương tiện di chuyển, phụ phí làm ngoài giờ, chi phí hỗ trợ ….)

Xác định Recovery

o Xác định thời gian cần thiết cho việc khôi phục lại – thường thì ở chi

nhánh chính (Original Site), các thông tin cần được quan tâm: SLA

(Service Layer Agreement): quy định chất lượng dịch vụ, trong SLA

có thể bao gồm MTBF (Mean Time Between Failure): thời gian đảm

bảo không hư hỏng, MTTR (Mean Time To Repair): thời gian để sửa

chữa.

o RTO (Recovery Time Objective): lượng thời gian cần thiết để sửa

chữa mà không cần phải tiến hành Recovery.

o RPO (Recovery Point Objective): lượng thời gian cần thiết để quay về

một điểm (Point) – thường xem là Snapshot – và chấp nhận một một

lượng thông tin.

Tiếp theo là câu chuyện xây dựng các kế hoạch như thế nào, với Business

Continuity Plan thì việc Resume Business Function là quan trọng nhưng việc đảm

bảo an toàn nhất là con người lại càng quan trọng hơn; đó là nhiệm vụ đầu tiên của

Business Continuity Plan. Phần này đề cập đến việc Implement như thế nào, trước

khi bắt đầu hãy sơ lược với một số các Plan:

Business Resume Plan

Continuity of Operations Plan

IT contingency Plan

Crisis Communication Plan

Cyber Incident Respond Plan

Disaster Recovery Plan

Occupant Emergency Plan

Việc triển khai Implement này tập trung vào các vấn đề chính, không quá cụ thể

từng nhiệm vụ, chẳng hạn như Business Resume Plan được tập trung mạnh vào các

Critical Functionality, các phương án dự phòng trong trường hợp khẩn cấp, đồng

thời kích hoạt luôn phương án thứ Contigency of Operations Plan cho phù hợp với

tình trạng.

Ở đây, Operations là các hoạt động hàng ngày, nhiệm vụ chính là duy trì các hoạt

động theo dạng ngày theo ngày, nên khi Business Resume Plan kích hoạt thì cũng

là lúc Operations kích hoạt theo.

Bất kỳ Function nào cũng cần có môi trường hoạt động, do đó việc triển khai các

kênh thông tin, các vấn đề về IT đều được kích hoạt. Các kế hoạch trên rất cần

thiết vì nó thể hiện sự phân cấp rất rõ ràng, theo dạng từ trên xuống, và theo từng

cấp độ.

Bởi vì việc triển khai có thể sẽ có nhiều sự khác biệt nên không ghi được chi tiết

cho từng kế hoạch (chính xác là mỗi kế hoạch phải có Approve của Manager), và

một nguyên tắc nữa là các cấp Manager không được tự tiện thêm, bổ sung triển

khai của mình vào mà chưa có sự đồng ý của cấp trên hoặc thông qua trong cuộc

Meeting.

Sau công việc Implement là công việc kiểm tra, xác định lại mức độ cũng như

đánh giá lại xem kế hoạch như thế nào thông qua các dạng Test. Công việc này có

một số dạng Test như sau:

Walk-through Test hay còn gọi là Table-top, mọi người họp và đưa ra những

vấn đề xuyên suốt, chọn lựa dựa trên các Manager của các bộ phận.

Check-list: so sánh những th

---------------------------------------------------------------------------

Kế hoạch liên tục kinh doanh (Business Continuity Plan) là một bản kế hoạch hậu

cần thực tiễn được xây dựng, triển khai nhằm giúp các doanh nghiệp có thể phục

hồi hoạt động sau khi bị gián đoạn một phần hoặc toàn bộ hoạt động sau khi một

tai họa bất ngờ ập đến.

Vì sao cần phải có một bản kế hoạch liên tục kinh doanh BCP ?

Vì trong môi trường kinh doanh hiện nay, các doanh nghiệp phải thường trực đối

mặt với rất nhiều rủi ro xảy đến do thiên tai, sự cố mà thiên nhiên hay con người

gây ra, từ những sự cố mất điện, hỏng máy nhỏ nhặt đến các tai biến lớn hơn như

hỏa hoạn và tới những thảm họa động đất hoặc khủng bố kinh hoàng kiểu vụ

11/09, tất cả biến cố mọi cấp độ như vậy đều khiến cho doanh nghiệp phải chịu

nhiều thiệt hại về kinh tế, hình ảnh, uy tín cũng như nguy cơ mắc vào các tranh

chấp kiện tụng pháp luật, từ đó ảnh hưởng đến sự sống còn của doanh nghiệp.

Theo một nghiên cứu của Contingency Planning Research, khi được hỏi "Công ty

của quý vị sẽ có nguy cơ sụp đổ nếu phải ngừng làm việc trong bao lâu ?", 70%

công ty đã trả lời là "trong 72h" và có 4% nói rằng công ty họ sẽ biến mất nếu

không thể phục hồi các hoạt động ngay trong giờ đầu tiên. Cũng trong khảo sát đó,

15% doanh nghiệp cho biết mỗi giờ không hoạt động họ sẽ thiệt hại khoảng 50.000

– 100.000 USD và 4% nói rằng con số này có thể lên đến trên 5.000.000 USD.

Bài học từ vụ khủng bố ngày 11/09 cho thấy, đối với những thảm họa mà tác động

của nó vô cùng kinh hoàng trong khi xác suất xảy ra là vô cùng nhỏ bé, việc hoạch

định sẵn một kế hoạch ứng phó vẫn là hữu ích. Trong thực tế, nhiều doanh nghiệp

vẫn có thể tồn tại sau thảm họa trên dù phải chịu tác động cực lớn từ nó.

Với những lí do như vậy, việc xây dựng một kế hoạch liên tục kinh doanh

(Business continuity plan) là nhu cầu then chốt trong hoạt động của các doanh

nghiệp. Nếu được xây dựng hiệu quả, bản kế hoạch này sẽ giúp các công ty có thể :

- Hạn chế được tối đa các hậu quả mà tai họa mang đến cho công ty cũng như cho

khách hàng.

- Khả năng trở lại hoạt động trong thời gian sớm nhất có thể

- Trấn an và đáp ứng được yêu cầu về thông tin của khách hàng cũng như các đối

tác.

Trong quá trình xây dựng một bản kế hoạch BCP, một trong những bước quan

trọng nhất đó chính là giai đoạn "phân tích và đánh giá rủi ro". Trong giai đoạn

này, từ việc đánh giá, xem xét tất cả tài sản quan trọng và các quy trình then chốt

của doanh nghiệp mình, nhà quản trị phải xác định được những nguy cơ, tai họa có

thể xảy đến với doanh nghiệp cũng như mức độ hậu quả mà nó mang đến. Sau đó,

họ có thể hoạch định trước một số kịch bản thảm họa chính sẽ xảy ra và có kế

hoạch ứng phó. Phải lưu ý một điều rằng, khi đề ra các giải pháp ứng phó như vậy

phải tính đến vấn đề chi phí để thực hiện chúng, như vậy mới xác định được rõ quy

mô của kế hoạch phù hợp với nhu cầu cũng như nguồn lực của công ty. Kế hoạch

sau khi được xây dựng hoàn chỉnh thì phải được phổ biến, tuyên truyền cho toàn

thể nhân viên để nâng cao nhận thức cảnh giác, và quan trọng là cần thường xuyên

thực hiện việc bảo trì, tiến hành diễn tập, test kiểm tra khả năng hoạt động của

những giải pháp dự phòng đó. Cuối cùng là đánh giá, kiểm soát định kì nhằm phát

hiện thêm những rủi ro mới để chỉnh sửa, cập nhật bản kế hoạch BCP của doanh

nghiệp mình.

Hình : Vòng tròn xây dựng và triển khai kế hoạch BCP

Một số nội dung quan trọng trong một bản kế hoạch BCP (nó bao gồm những bản

kế hoạch chi tiết)

+ Kế hoạch ngăn ngừa tai họa : nội dung bao gồm những việc làm, giải pháp cần

thiết để giúp doanh nghiệp hạn chế tối đa khả năng xảy ra cũng như tác động mà

tai nạn hay thảm họa mang đến.

Ví dụ : Ban hành các nội quy cấm mang chất cháy nổ vào nhà xưởng, thường

xuyên kiểm tra các công cụ chữa cháy, hợp đồng thuê sẵn các site dự phòng cho

doanh nghiệp, các kế hoạch và giải pháp lưu trữ back-up dữ liệu một cách an toàn

(RAID, Mirror, Redundance…)

+ Kế hoạch ứng phó khi diễn ra thảm họa : bao gồm các công việc cần làm ngay

khi thảm họa diễn ra.

Ví dụ

- Triệu tập Hội đồng ứng phó thảm họa (hội đồng này cần được xây dựng bao gồm

những nhân vật quan trọng của công ty như Tổng giám đốc, Giám đốc kĩ thuật,

giám đốc tin học, Trưởng phòng nhân sự, trưởng ban truyền thông …)

- Đánh giá mức độ của thảm họa, từ đó quyết định triển khai hay không các kế

hoạch ứng phó

- Kế hoạch thông báo kịp thời với khách hàng, các đối tác, chính quyền, báo chí…

Trong giai đoạn này, những công việc cần được làm khẩn cấp, nếu được thực hiện

tốt, hậu quả của tai họa có thể được giảm bớt.

Kế hoạch hoạt động tạm thời : là bản kế hoạch mô tả việc phục hồi hoạt động của

các quy trình thiết yếu doanh nghiệp trong thời gian sớm nhất, mặc dù nhiều thiệt

hại vẫn còn chưa được khắc phục. Để xây dựng kế hoạch này, cần thực hiện một

bản mô tả những điều kiện tối thiểu mà các bộ phận thiết yếu có thể làm việc được.

Trong bản mô tả này có một số thông tin sau :

- Số nhân viên, thiết bị tối thiểu của bộ phận để có thể hoạt động. Ví dụ : Phòng

nhân sự bình thường hoạt động với 5 nhân viên, nhưng trong điều kiện tối thiểu thì

có thể làm việc với 3 nhân viên.

- Thời gian ngưng hoạt động tối đa của bộ phận : nếu quá thời gian này mà bộ phận

đó không được phục hồi thì sẽ phải chịu một thiệt hại nặng khó chấp nhận. Ví dụ:

Quy trình sản xuất chỉ được ngưng tối đa 3 ngày.

- Thời gian hoạt động tạm thời tối đa (sau thời gian này bộ phận đó cần phải được

trở lại hoạt động bình thường)

Kế hoạch trở lại hoạt động bình thường : bản kế hoạch này mô tả việc phục hồi

toàn bộ hoạt động của doanh nghiệp trở lại như thời điểm trước khi xảy ra thảm

họa. Trong quá trình này, mọi thiệt hại do thảm họa mang đến đều được khắc phục,

sửa chữa, phục hồi hoặc thay mới tùy vào mức độ thiệt hại.

BCP Manager :

Là người chịu trách nhiệm chính trong việc quản lý các kế hoạch BCP trong doanh

nghiệp. Những nhiệm vụ cụ thể của chức danh này gồm :

- Quản lý đội ngũ và quá trình xây dựng kế hoạch BCP phù hợp cho công ty

- Đảm bảo các kế hoạch BCP hoạt động hiệu quả, tổ chức bảo trì, diễn tập

- Tổ chức và tham gia hoạt động thẩm định định kì, kiểm tra & cập nhật kế hoạch.

Một số ví dụ về rủi ro hay gặp và các phương án khắc phục đề ra :

- Một phần hay toàn bộ thiết bị, cơ sở, bị phá hủy do cháy, nổ, khủng bố, động đất

=> Sắp xếp sẵn các site dự phòng, lưu trữ các tài liệu quan trọng bên ngoài, thường

xuyên cảnh giác nhân viên trong nội bộ về các nguy cơ, mua bảo hiểm …

- Sự gián đoạn đột ngột của một nhà cung cấp nguyên liệu hay dịch vụ thiết yếu

=> Xây dựng chính sách đa dạng hóa các nhà cung cấp, thường xuyên theo dõi

kiểm tra năng lực của nhà cung cấp, các phương án thay thế…

- Một nhân vật chủ chốt của công ty biến mất hay đột ngột mất khả năng chỉ đạo

=> Xây dựng các chính sách phân bổ quyền hạn dự phòng, hồ sơ hóa các công việc

chủ chốt,…

- Giao thông trong đô thị bị tắc nghẽn, kẹt xe…

=> Chính sách làm việc, quản lý từ xa…

- Nhân viên bị dịch bệnh, ngộ độc thực phẩm trong căn tin…

=> thường xuyên kiểm tra vệ sinh căn tin, xây dựng bộ phận y tế, kế hoạch tuyển

dụng nhân viên tạm thời…