THEO DÕI VÀ ĐÁNH GIÁ HOẠT ĐỘNG CHĂM SÓC SỨC KHOẺ

MỤC TIÊU

Sau khi học xong bài này, học viên có khả năng:

Trình bày được khái niệm và tầm quan trọng của theo dõi và đánh giá

Phân loại được các hình thức đánh giá

Xây dựng được các chỉ số đánh giá

Phân tích được các bước của theo dõi/đánh giá hoạt động/chương trình y tế

NỘI DUNG

1. Khái niệm theo dõi và đánh giá

Sơ đồ 1: Chu trình quản lý

1.1. Khái niệm theo dõi và đánh giá:

Theo dõi là một hoạt động thường xuyên của chu trình quản lý nhằm liên tục cung cấp các thông tin phản hồi về tiến độ và khiếm khuyết trong quá trình thực hiện một chương trình/hoạt động y tế. Theo dõi tập trung vào việc phản ánh quá trình của các hoạt động/ chương trình y tế và đưa ra những khuyến nghị về các biện pháp khắc phục nhằm đạt được mục tiêu đề ra.

Đánh giá là một hoạt động định kỳ của chu trình quản lý nhằm thu thập và phân tích các thông tin, tính toán các chỉ số để đối chiếu xem các chương trình/hoạt động có đạt được mục tiêu, kết quả có tương xứng với với nguồn lực bỏ ra hay không, đồng thời phân tích quá trình thực hiện kế hoạch để tìm ra những nguyên nhân của thành công hoặc thất bại, rút ra những bài học kinh nghiệm cho công tác lập kế hoạch tiếp theo, tăng cường các hoạt động quản lý sau này góp phần nâng cao hiệu quả của các chương trình/hoạt động y tế.

Chính vì vậy, trong thực tế, đánh giá thường đi kèm với hoạt động theo dõi. Tuy nhiên trong nhiều chương trình, nhằm đảm bảo tính khách quan trong việc đánh giá hiệu quả và tác động các hoạt động của dự án, các nhà tài trợ thường thuê các chuyên gia là những

Lập kế hoạch

Thực hiệnĐánh giá

Theo dõi &Giám sát

người không trực tiếp tham gia thực hiện các hoạt động làm việc này mỗi khi kết thúc dự án hay bắt đầu xây dựng kế hoạch cho một chu kỳ dự án mới.

1.2. Tầm quan trọng của theo dõi và đánh giá

Theo dõi và đánh giá nhằm mục đích:

Xem đã làm được gì

Kết quả đạt được như thế nào so với mục tiêu đề ra

Tăng cường kiểm tra việc thực hiện kế hoạch

Tăng cường công tác quản lý

Thúc đẩy thực hiện kế hoạch tốt hơn, nhanh chóng khắc phục những thiếu sót đã phát hiện được

Phân tích kết quả sử dụng nguồn lực

Thu thập thông tin cho lập kế hoạch chu kỳ mới được tốt hơn và phù hợp hơn

Trao đổi kinh nghiệm và tránh được sai lầm trong công tác quản lý cho những địa phương có điều kiện tương đồng.

1.3. Phân loại đánh giá hoạt động/ chương trình y tế

1.3.1. Phân loại theo thời gian thực hiện

a) Đánh giá ban đầu : Là việc thu thập các số liệu cần thiết để xây dựng mục tiêu của kế hoạch/ chương trình y tế. Những chỉ số đó là cơ sở cho tổ chức triển khai kế hoạch và sau này sẽ được dùng để so sánh, đối chiếu với kết quả đạt được cuối chu kỳ hoạt động hoặc khi kết thúc chương trình.

b) Đánh giá tiến độ thực hiện (còn được coi là theo dõi) : Là đánh giá được tiến hành trong quá trình thực hiện hoạt động/ chương trình y tế (sau một quý, 6 tháng, 9 tháng...) nhằm xem xét việc triển khai kế hoạch có đúng mục tiêu không để giúp việc giám sát, điều hành kế hoạch đúng hướng, đúng tiến độ. Đây cũng được coi là hoạt động theo dõi.

c) Đánh giá kết thúc : Là đánh giá kết quả cuối cùng của hoạt động/ chương trình y tế hoặc kế hoạch (kế hoạch năm hoặc kế hoạch dài hạn), thường được dùng để so sánh với mục tiêu ban đầu đã được đề ra.

1.3.2. Phân loại theo mô hình đánh giá

a) Đánh giá đối chiếu với mục tiêu: để đối chiếu kết quả thu được khi kết thúc chương trình với mục tiêu đề ra trong bản kế hoạch.

Kế hoạch

Mục tiêu

Đánh giá sau can thiệp

So sánh

b) Đánh giá so sánh trước và sau khi thực hiện: Để phân tích so sánh các thông tin/chỉ số trước khi thực hiện và sau khi thực hiện chương trình can thiệp.

c) Đánh giá so sánh trước sau và đối chiếu với các địa phương khác: Để phân tích so sánh trước-sau được tiến hành ở hai hoặc nhiều cơ sở cùng thực hiện chương trình như nhau, hoặc giữa cơ sở có thực hiện và cơ sở không thực hiện chương trình trong cùng một thời gian.

2. Chỉ số đánh giá

2.1. Khái niệm

Chỉ số là đại lượng dùng để đo lường và mô tả một sự vật hay một hiện tượng. Chỉ số cũng dùng để so sánh kết quả mong đợi với kết quả thực tế trong từng giai đoạn. Chỉ số tốt là chỉ số dễ tính toán, cho phép so sánh một sự vật hay hiện tượng giữa các đơn vị với nhau.

Có hai loại chỉ số:

Chỉ số triển khai thường được dùng trong theo dõi. Chúng được dùng để đo lường đầu vào, quá trình và đầu ra. Chỉ số này thường được biểu thị bằng một con số.

Chỉ số thực hiện được dùng để đo lường kết quả và tác động. Chỉ số này thường được biểu thị bằng tỷ số hoặc tỷ lệ phần trăm (%). Khi một chỉ số được trình bày dưới dạng một tỷ số hoặc tỷ lệ phần trăm, nó sẽ bao gồm một tử số và một mẫu số. Tử số đo lường

Kế hoạch

Mục tiêuĐánh giá sau can thiệp

So sánh

Đánh giá trước can thiệp

So sánh

So sánh

Thực hiện kế hoạch

Đánh giá sauĐánh giá trước

Địa phương A

Địa phương B

So sánh

Đánh giá trước

Không thực hiện

Đánh giá sau

Có can thiệp

Không can thiệp

một đặc tính cuả chương trình/ hoạt động, mẫu số là tổng số đối tượng có thể bị tác động bởi đặc tính đó.

2.2. Xác định tử số và mẫu số của các chỉ số thực hiện

Ví dụ: Trong chương trình KHHGĐ, chỉ số thực hiện được biết đến nhiều nhất và phổ biến nhất là “Tỷ lệ cặp vợ chồng sử dụng các biện pháp tránh thai (CPR)”. Tử số của chỉ số này là số cặp vợ chồng mà vợ trong độ tuổi 15-49 áp dụng các biện pháp tránh thai, mẫu số là tổng số các cặp vợ chồng ở độ tuổi đó trong một quần thể dân cư.

Do định nghĩa về tử số và mẫu số của các chỉ số đánh giá thường không thống nhất nên cần đưa ra định nghĩa rõ ràng về tử số và mẫu số của các chỉ số lựa chọn. Điều này đặc biệt quan trọng nếu sử dụng chỉ số để so sánh với các chỉ số cùng loại của địa phương khác. Ví dụ:

Kết quả CPR sẽ thay đổi tuỳ thuộc vào mẫu số được chọn như cặp vợ chồng hay phụ nữ có chồng trong độ tuổi sinh đẻ hay tất cả phụ nữ trong độ tuổi sinh đẻ. Do vậy, khi so sánh CPR tại xã A với xã B, phải hết sức chú ý để đảm bảo rằng tử số và mẫu số của chỉ số này tại cả hai địa phương là như nhau.

Về thuật ngữ cũng có nhiều cách diễn giải vì thế cần chú ý đến định nghĩa của các thuật ngữ, chẳng hạn như: khách hàng mới, người sử dụng dịch vụ liên tục, người sử dụng dịch vụ không liên tục, các điểm cung cấp dịch vụ, nơi cung cấp dịch vụ, bệnh nhân chuyển đi, bệnh nhân khám lại......

2.3. Ví dụ về các chỉ số

Sau đây là ví dụ về những chỉ số thường được sử dụng để đánh giá chương trình KHHGĐ để giúp chúng ta có ý tưởng khi lựa chọn chỉ số để đánh giá.

Các chỉ số thường được dùng trong chương trình KHHGĐ

Chỉ số đầu vào (các nguồn lực, các hoạt động)

Tổng kinh phí nhận được từ nhà tài trợ và khách hàng.

Hàng hoá nhận được (vật tư, trang thiết bị, phương tiện tránh thai).

Nhân viên của chương trình được đào tạo và giúp đỡ về kỹ thuật.

Kinh phí đã sử dụng.

Trang thiết bị và phương tiện tránh thai đã cấp (thống kê đã nhận từ số đã cấp).

Các khoản mục trong kế hoạch làm việc như thuê nhân viên...

Chỉ số đầu ra (các dịch vụ, đào tạo, thông tin giáo dục truyền thông)

Số khách hàng mới sử dụng các biện pháp tránh thai

Số lượng người cung cấp dịch vụ được đào tạo theo loại: bác sĩ, y tá, người phân phát...

Số lượng phòng khám hoặc điểm phân phát các biện pháp tránh thai

Số lượng từng loại tài liệu giáo dục truyền thông

Số lượng buổi họp với cộng đồng và số người được tuyên truyền về KHHGĐ trong các cuộc họp.

Số lượng người được chuyển đến phòng khám để sử dụng các phương pháp lâm sàng, phân chia theo từng phương pháp.

Số lượng người quay trở lại phòng khám để khám lại.

Số lượng từng loại phương pháp tránh thai được phân phát

Chỉ số về chất lượng chăm sóc

Mức độ tuân theo những quy trình về lựa chọn phương pháp tránh thai của người cung cấp.

Mức độ tuân theo các quy trình lâm sàng đối với từng phương pháp của người cung cấp.

Cung cấp các biện pháp phối hợp.

Tỷ lệ khách hàng được các khách hàng khác giới thiệu (chỉ số sự hài lòng của khách hàng).

Tỷ lệ thường xuyên sử dụng biện pháp KHHGĐ (thay đổi phương pháp, giãn khoảng cách sinh, người chuyển đi khu vực khác không tiếp tục hoặc ngừng sử dụng).

Tỷ lệ khách hàng hài lòng với các dịch vụ

Chỉ số hiệu quả

Tỷ lệ phần trăm các cặp vợ chồng trong độ tuổi sinh đẻ trong khu vực được phục vụ.

Chỉ số về kiến thức thái độ và thực hành đối với KHHGĐ

Chỉ số tác động

Tổng số người/cặp vợ chồng áp dụng các biện pháp KHHGĐ

Tỷ lệ sinh thô trong khu vực (nếu có)

Tỷ lệ nạo hút thai trong khu vực

Tổng tỷ suất sinh và tỷ suất sinh đặc hiệu theo tuổi trong khu vực

Tỷ lệ tử vong trẻ dưới 1 tuổi

Tỷ lệ tử vong mẹ

Tỷ lệ sinh có nguy cơ cao (phụ nữ trên 35 tuổi, nhiều lần có thai...)

Chú ý: Mặc dù các chỉ số rất có giá trị trong việc đánh giá hiệu quả của các chương trình/hoạt động y tế, nhưng bên cạnh những chỉ số ta vẫn cần phải bổ sung thêm các thông tin có liên quan khác thì việc đánh giá mới phản ánh đúng thực chất được hiệu quả của chương trình.

Ví dụ: CPR là một chỉ số đánh giá về sử dụng các biện pháp tránh thai. Tuy nhiên, các thông tin liên quan khác như tỷ lệ thất bại khi áp dụng các biện pháp tránh thai, tỷ lệ sử dụng gián đoạn hoặc thời gian sử dụng trung bình các biện pháp tránh thai v.v... sẽ mô tả rõ hơn bức tranh thực tế về hiệu quả sử dụng các biện pháp tránh thai, nếu không có những thông tin bổ sung này thì CPR có thể cho ta một nhận định sai lầm về tác động của chương trình lên tỷ suất sinh.

2.4. Phương pháp chọn các chỉ số một cách hệ thống

Các chỉ số cần phải phù hợp và cung cấp đầy đủ thông tin về hoạt động/chương trình để ra quyết định đúng và thực hiện những hoạt động thích hợp.

Thông thường người ta thường dùng các chỉ số triển khai (chỉ số đầu vào, quá trình và đầu ra) để theo dõi xem các hoạt động của chương trình được thực hiện thế nào và dùng chỉ số thực hiện (kết quả và tác động) để đánh giá hoạt động của các chương trình.

Bước 1: Dựa trên mục tiêu của chương trình, xác định câu hỏi cho việc đánh giá:

Ví dụ: Đánh giá kết quả hoạt động chương trình KHHGĐ

Mục tiêu chương trình là: Giảm tỉ lệ sinh trong một quần thể dân cư

Câu hỏi đánh giá: Tỉ lệ sinh trong một quần thể dân cư đó có thực sự giảm hay không?

Bước 2: Lựa chọn cho các chỉ số để đánh giá , Ví dụ:

Loại chỉ số

Dựa vào phòng khám

Dựa vào cộng đồng

Điểm bán lẻ Thông ting giáo dục truyền thông

Đầu vào

Số nhân viên được đào tạo

Số nhân viên làm việc với cộng đồng

Số điểm bán phương tiện tránh thai

Số lượng tài liệu thông tin giáo dục truyền thông (IEC)

Quá trình

Số lượng khách hàng được một nhân viên phục vụ trong một ngày

Số lượng phương tiện tránh thai được phân phối trực tiếp cho quần thể đích

Số điểm cung cấp thông tin về cách sử dụng biện pháp tránh thai

Số người được đào tạo về sử dụng tài liệu IEC

Đầu ra

% người sử dụng thoả mãn với các dịch vụ

% dân có tiếp xúc với nhân viên trở thành khách hàng

% quần thể đích thường xuyên nhận phương tiện tránh thai

% quần thể đích tiếp xúc với tài liệu IEC

Kết quả

% khách hàng mới trở thành người tiếp tục sử dụng theo các tiêu chuẩn đề ra

% quần thể đích áp dụng các biện pháp tránh thai nhận được từ nhân viên

% dân số đích sử dụng các dịch vụ tại các điểm bán PTiện TThai

% dân số đích nhớ các thông điệp IEC

Tác động

% khách hàng áp dụng biện pháp tránh thai vĩnh viễn

% quần thể đích sử dụng biện pháp thường xuyên

% quần thể đích hài lòng với các điểm bán lẻ

% quần thể đích hành động như được phổ biến trong các thông điệp IEC

Bước 3: Chọn thông tin/dữ liệu cho các chỉ số và các phương pháp và nguồn thu thập thông tin

Khi đã chọn được chỉ số, hãy xác định biện pháp thu thập được những thông tin cho từng chỉ số đã lựa chọn. Để có được các chỉ số hữu ích, ta cần có những số liệu cần thiết, tin cậy và chính xác.

Ví dụ: Chọn lựa, thu thập thông tin/dữ liệu cần thiết trong các hoạt động KHHGĐ tại cộng đồng.

Chỉ số Dữ liệu yêu cầu Nguồn dữ liệu

Chỉ số đầu vào

Số nhân viên làm việc với cộng đồng

- Số nhân viên trực tiếp cung cấp dịch vụ

- Quần thể đích

- Hồ sơ nhân viên chương trình

- Sổ đăng ký, bản đồ hoặc ước lượng số lượng quần thể đích

Chỉ số quá trình

Số nhân viên tiếp xúc với quần thể đích trong tháng

- Số nhân viên hoạt động trong khu vực đích

- Số lượt khám cho quần thể đích

- Sổ đăng ký

- Sổ khám bệnh

Chỉ số đầu ra

Số khách hàng mới/ một nhân viên

- Tổng số khách hàng mới trong khu vực

- Tổng số nhân viên

- Sổ khách hàng nhận các phương tiện tránh thai hàng tháng

- Sổ ghi chép hoạt động của các nhân viên

Kết quả% số người thường xuyên sử dụng biện pháp tránh thai trong quần thể đích

- Số người được nhân viên cung cấp các phương tiện tránh thai 3 lần trong năm- Số người trong quần thể đích tiếp xúc với nhân viên trong thời gian đó

- Điều tra mẫu- Sổ khách hàng nhận các phương tiện tránh thai

Chỉ số tác động% phụ nữ đạt được tổng tỷ suất sinh mong muốn

- Số khách hàng mới trong khu vực- Số người thường xuyên sử dụng biện pháp tránh thai - Số người thường xuyên dùng các biện pháp tránh thai tiếp tục sử dụng sau hai năm

- Báo cáo hoạt động của chương trình - Điều tra mẫu

Để quá trình trên được hệ thống hoá, ta có thể dùng bảng sau để xác định chỉ số đánh giá:

Mục tiêu Câu hỏi đánh giá Các chỉ số đánh giá Phương pháp và nguồn thu thập

Chú ý:

Khi chọn các chỉ số đánh giá, phải bám sát mục tiêu đề ra

Cần hạn chế chọn lựa các chỉ số tới mức tối đa Chỉ nên chọn các chỉ số quan trọng vì khi thêm một chỉ số là nguồn lực chi phí cho đánh giá sẽ tăng theo.

2.5. Phương pháp thu thập thông tin, dữ liệu

Nguồn thông tin trước hết phải khai thác triệt để từ những tài liệu sẵn có (từ báo cáo định kỳ, báo cáo tổng kết, các công trình nghiên cứu khoa học, hồ sơ sổ sách..v..v..). Chỉ khi những thông tin này chưa đủ mới thu thập tiếp bằng nghiên cứu/điều tra, bao gồm:

Quan sát trực tiếp đối tượng trong khi họ tiến hành công việc hoặc sử dụng các bảng kiểm (checklist).

Phỏng vấn trực tiếp hoặc gián tiếp đối tượng qua sử dụng bộ câu hỏi phỏng vấn trực tiếp, hoặc bộ câu hỏi dùng để gửi cho đối tượng tự điền. Cũng có thể bằng hình thức thảo luận nhóm những người hiểu biết nhất (kỹ thuật Delphi), thảo luận nhóm trọng tâm, kỹ thuật tiếp cận nhanh cộng đồng (PRA) hoặc các phương pháp nhân học khác. Các phương pháp thu thập số liệu có thể là định lượng (như trường hợp phỏng vấn hộ gia đình bằng câu hỏi về chất lượng các dịch vụ chăm sóc sức khoẻ), song cũng có thể là nghiên cứu định tính (như kỹ thuật Delphi, PRA, thảo luận nhóm trọng tâm...)

(Chi tiết trong bài Thu thập và sử dụng thông tin để phân tích tình hình hiện tại).

Một số tiêu chí cần chú ý khi lựa chọn phương pháp thu thập các số liệu đánh giá:

Xác định phương pháp thu thập số liệu nào trả lời tốt nhất những câu hỏi đánh giá.

Gắn chặt việc lựa chọn phương pháp với các nguồn lực sẵn có. Điều này có nghĩa là chỉnh sửa thiết kế và phương pháp đánh giá, hoặc xác định các lựa chọn khác để phù hợp với khuôn khổ nguồn lực. Cũng có thể là tìm kiếm các nguồn lực bổ sung để cung cấp cho thiết kế đánh giá nào được xác định là hữu ích và hiệu quả nhất.

Chọn các phương pháp tạo điều kiện cho sự tham gia vào việc đánh giá của các bên có liên quan chủ chốt của chương trình/dịch vụ.

Tăng cường độ tin cậy và sự hữu ích của các kết quả đánh giá bằng cách kết hợp một cách phù hợp các phương pháp.

3. Các bước đánh giá hoạt động/chương trình y tế

Trình tự đánh giá gồm 3 giai đoạn:

Chuẩn bị đánh giá

Tiến hành đánh giá

Viết báo cáo và sử dụng kết quả đánh giá

Tuy nhiên, trong mỗi giai đoạn này, quá trình đánh giá lại được chia ra nhiều bước nhỏ:

3.1. Chuẩn bị đánh giá

3.1.1. Xác định mục tiêu, phạm vi và người thực hiện đánh giá

.- Xác định mục tiêu:

Một chương trình y tế thường bao gồm nhiều hoạt động khác nhau. Trong nhiều trường hợp, do kinh phí hạn hẹp hoặc do yêu cầu của thực tế nên không thể đánh giá chi tiết tất cả các hoạt động được. Do đó, trước khi đánh giá, cần phải xác định rõ sẽ đánh giá những hoạt động nào của chương trình. Đánh giá nhằm mục đích gì và kết quả đánh giá sẽ được dùng để làm gì?

Mục tiêu đánh giá không phải là lấy kết quả để báo cáo lên cấp trên và cũng không phải là tìm xem đơn vị đó đạt được thành tích đến mức độ nào để khen thưởng hay xử phạt. Mục tiêu của đánh giá là tìm nguyên nhân của thành công hay thất bại để giúp cho công tác quản lý các hoạt động y tế được tốt hơn, hiệu quả hơn.

- Xác định phạm vi đánh giá

Cần dựa vào mục tiêu, nguồn lực và thông tin sẵn có để xác định phạm vi và thời gian đánh giá cho phù hợp. Người quản lý giỏi là người biết chọn phạm vi đánh giá thích hợp nhất, đôi khi chỉ là những đánh giá nhỏ nhưng vẫn đủ thông tin cần thiết để cải tiến hoạt động.

Để xác định phạm vi đánh giá, những kiến thức về dịch tễ học cơ bản là rất cần thiết, nhất là trong quyết định cách chọn mẫu, cỡ mẫu và phương pháp đánh giá.

3.1.2 Xác định người thực hiện đánh giá

Sau khi đã xác định được mục tiêu và phạm vi đánh giá, cần xác định rõ ai sẽ thực hiện đánh giá. Để đánh giá được khách quan hơn, người đánh giá thường là những người không trực tiếp tham gia thực hiện hoạt động/chương trình đó, đồng thời họ phải có các kỹ năng đánh giá tốt. Tuy nhiên, ở cấp tỉnh, huyện, cũng có thể tổ chức tự đánh giá để rút kinh nghiệm trong thực hiện kế hoạch, hoặc tổ chức đánh giá chéo giữa các đơn vị trong tỉnh. Đánh giá chéo có ưu điểm là những người đánh giá cũng là những người trực tiếp thực hiện các hoạt động nhưng tại địa điểm khác. Họ là những người trong cuộc nên hiểu rõ quá trình thực hiện chương trình/kế hoạch và những ưu, nhược điểm của cách thu thập thông tin đánh giá.

3.1.3 Chọn các chỉ số đánh giá: (chi tiết xem phần 2)

3.1.4. Những việc làm cần thiết khác khi lập kế hoạch đánh giá

Trong quá trình chuẩn bị cho đánh giá, việc lập kế hoạch tài chính, nhân lực, phương tiện cho đánh giá là rất quan trọng.

Phân bổ nguồn tài chính cho đánh giá: tuỳ theo từng khối lượng công việc, thời gian tiêu tốn, khoảng cách đi lại và các khoản phải chi phí mà phân bổ cho thích hợp.

Về nhân lực, cần đào tạo đội ngũ cán bộ có kỹ năng đánh giá nói chung. Tuy nhiên, mỗi cuộc đánh giá vẫn cần đào tạo, tập huấn với nội dung cụ thể. Những người có kinh nghiệm đánh giá được chọn làm giám sát viên.

Các phương tiện sử dụng cho đánh giá cũng cần được chuẩn bị kỹ càng. Các dụng cụ đo lường phải được hiệu chỉnh. Các bộ câu hỏi, biểu mẫu, bảng kiểm được soạn thảo cùng với tài liệu hướng dẫn nghiên cứu viên, giám sát viên trước khi điều tra thử.

3.2. Tiến hành đánh giá hoạt động/ chương trình y tế:

Thu thập số liệu tại thực địa

Trước khi chính thức thu thập số liệu cho đánh giá, các công cụ thu thập số liệu như bảng kiểm, các biểu mẫu thu thập số liệu, các bảng câu hỏi v.v... cần được kiểm tra lại, nếu cần có thể làm thử nghiệm trước (pre-test) ở diện hẹp để đảm bảo các công cụ thu thập số liệu sẽ thực hiện được trong toàn bộ cỡ mẫu. Nếu số liệu trong điều tra thử đảm bảo yêu cầu kỹ thuật, sau đó có thể được gộp vào với số liệu điều tra chính thức. Bên cạnh đó, các nghiên cứu viên, giám sát viên cũng cần được tập huấn về sử dung các công cụ đó để thu thập số liệu được chính xác và đạt được mục tiêu đánh giá.

Thông thường, trong các cuộc điều tra lớn, các điều tra viên được chia ra thành từng nhóm, cứ 5 người có 1 người làm giám sát viên. Giám sát viên có trách nhiệm giúp đỡ các điều tra viên tiến hành điều tra, đánh giá đúng kỹ thuật, chính xác, không sai sót cũng như đảm bảo mọi người cùng sử dụng một phương pháp để thu thập số liệu.

3.3. Phân tích số liệu, viết báo cáo và sử dụng kết quả đánh giá

Sau khi thu thập được các thông tin/dữ liệu cần thiết, chúng ta phải có trách nhiệm tổng hợp và phiên giải các thông tin dưới các hình thức có thể sử dụng được phục vụ cho mục tiêu đánh giá hoạt động/chương trình y tế đó. Quá trình đó diễn ra như sau:

Tổng hợp và phân tích dữ liệu để chuyển các thông tin sang dạng có thể sử dụng được.

Viết báo cáo rõ ràng, dễ hiểu để thông báo kết quả đánh giá đến những người quan tâm.

Sử dụng kết quả báo cáo để đưa ra những quyết định phù hợp

3.3.1. Tổng hợp và phân tích dữ liệu:

Bản thân các thông tin/dữ liệu thu được trong các phiếu ghi, sổ đăng ký, biểu mẫu hay từ các cuộc điều tra thường rất khó sử dụng. Dữ liệu trong các phiếu ghi của khách hàng hay các phiếu điều tra sẽ cho các thông tin về cá nhân một người nhưng những nhà quản lý chương trình lại cần một bản tổng hợp những dữ liệu này để có thể đưa ra được những quyết định liên quan đến toàn bộ cộng đồng chứ không phải chỉ từng cá nhân.

Những yêu cầu trong quá trình tổng hợp và phân tích dữ liệu:

Xem xét lại dữ liệu thu được để kiểm tra về độ chính xác và tính nhất quán (quá trình làm sạch số liệu). Hệ phần mềm Epi - info là một chương trình phần mềm rất hữu dụng, chương trình này có thể phân tích được các bộ số liệu phức tạp theo nhiều tầng. Nhờ máy vi tính có thể đặt ra các điều kiện, các tiêu chuẩn để phát hiện những sai sót trong quá

trình thu thập và nhập số liệu (chương trình check). Các số liệu đưa vào không chính xác sẽ bi phát hiện và loại bỏ.

Trước khi phân tích số liệu, cần xem xét các số liệu đã được mã hoá hết chưa? Những câu trả lời của các câu hỏi mở cũng phải được mã hoá. Để dễ dàng phân tích nên mã hoá bằng các số từ 1-9 cho các tình huống trả lời. Nếu nhiều tình huống hơn 9, có thể mã bằng các chữ cái từ A-Z. Không nên ghi dài dòng các câu trả lời vào máy vi tính, nếu bắt buộc phải ghi, bao giờ cũng mã hoá để phân tích các câu trả lời được dễ dàng.

Tận dụng và khai thác hết những thông tin đã được thu thập (đảm bảo nguyên tắc: “giảm thiểu các thông tin/dữ liệu sẽ được thu thập; khai thác tối đa các thông tin/dữ liệu đã thu thập được”)

Đảm bảo giữ bí mật nguồn thông tin nếu được yêu cầu

Dữ liệu thu thập được sẽ được xử lý và phân tích theo hướng nhằm vào các mục tiêu đánh giá đã được đặt ra. Tùy vào mục tiêu, phạm vi và phương pháp đánh giá, việc phân tích có thể chỉ đơn giản ở mức tích luỹ các dữ liệu trên một bảng, xử lý bằng những công cụ thống kê đơn giản hoặc với những cuộc điều tra có quy mô lớn phải dùng các chương trình phần mềm của máy tính để phân tích và xử lý các số liệu như Epi-Info, SPSS, STATA..v...v....

Tuỳ từng phương pháp thu thập thông tin là định tính hay định lượng và quá trình phân tích và xử lý số liệu sẽ mang các đặc tính riêng:

Phân tích định lượng:

Phân tích định lượng là phiên giải các kết quả tìm được dưới dạng các con số trong mối tương quan với bối cảnh của chương trình. Trong trường hợp tối ưu, những người thực thi chương trình có hiểu biết tốt nhất về các hoạt động của cơ sở cần phải làm việc cùng với những người đánh giá để cân nhắc xem các con số có ý nghĩa hay không; chúng có phản ánh đầy đủ mục tiêu của chương trình/dịch vụ không; cái gì có thể giải thích cho các con số mà chúng ta không mong đợi; những kết luận và khuyến nghị nào có thể rút ra từ những con số đó.

Sau khi số liệu thu được từ điều tra đánh giá, cần tổng hợp vào các bảng và biểu đồ. Lập bảng trống là khâu đầu tiên, rất quan trọng, vì từ đây số liệu sẽ được phân tích, vẽ thành biểu đồ, đồ thị.

Thế nào là một bảng trống? Bảng trống là bảng dự kiến bố trí số liệu mô tả hoặc phân tích. Có những bảng trống đơn (một hàng hoặc một cột) hay chỉ có hai cột hai hàng (bảng 2 x 2), nhưng cũng có bảng phức tạp, nhiều cột nhiều hàng. Các cột dọc và các hàng ngang mô tả mối quan hệ hai dãy số liệu của hai biến số liên quan với nhau.

Ví dụ: (1) Bảng trống đơn: Tỷ lệ mắc bệnh tiêu chảy theo tuổi

Nhóm tuổi Cộng

0 - 12 tháng 1 - 4 5 - 14 15 - 60 > 60 tuổi

(2) Bảng trống Matrix hai chiều: Tình hình bệnh tật theo tuổi

Nhóm tuổi Cộng

0 - 4 5 - 14 15 - 60 >60

Viêm phổi

Thấp khớp

........

........

Cộng

(3) Bảng trống nhiều chiều

Giới Nam Nữ Tổng

Nhóm tuổi 1-14 16-60 >60 Cộng 1-14 16-60 >60 Cộng cộng

Viêm phổi

Thấp khớp

........

........

Cộng

Việc lập các bảng trống giúp người phân tích số liệu biết những thông tin cần thiết và lập khung dữ liệu thích hợp khi phân tích bằng máy vi tính.

Phân tích định tính

Trong đa số các trường hợp cần phải phân tích các số liệu định tính một cách hệ thống. Phân tích các số liệu định tính từ phỏng vấn sâu, ghi chép qua quan sát tại thực địa hoặc thông tin của điều tra bằng các câu hỏi mở có thể xác định được sự tương tự và xu hướng của vấn đề. Các số liệu định tính có thể được phân loại theo sự xuất hiện của các chủ đề, mà những chủ đề này phù hợp để trả lời những câu hỏi đánh giá và để phát triển những giả thuyết mới hoặc kiểm tra những giả thuyết đã được lựa chọn. Cần lưu ý phải tránh một sai lầm rất hay mắc phải khi phân tích các số liệu định tính đó là quá tập trung vào “lượng hoá” số liệu định tính và phiên giải các số liệu này như là các số liệu định lượng. Ví dụ, khi phân tích và phiên giải các số liệu của thảo luận nhóm, một số người đánh giá đã lập bảng các thông tin trao đổi và báo cáo chúng dưới dạng các tỷ số, tỷ lệ phần trăm chứ không phải nhằm vào mục đính khám phá những thông tin sâu về tư tưởng, quan điểm và thái độ,... những thông tin này có thể giúp trả lời các câu hỏi đánh giá “tại sao” và “như thế nào”?

3.3.2. Viết báo cáo kết quả báo cáo

Kết quả định lượng: Để trình bày dữ liệu loại này chúng ta có thể dùng các bảng số liệu, đồ thị, biểu đồ.

Kết quả định tính: Để trình bày các dữ liệu này người ta thường dùng cách trình bày dưới dạng mô tả theo chủ đề có trích dẫn các câu nói, các nhận định...

Người ta có thể dùng hai loại dữ liệu này để minh hoạ cho nhau, làm sáng tỏ các vấn đề và cũng có thể để phản biện cho nhau...nhiều khi còn để kiểm tra tính chính xác của các dữ liệu.

Báo cáo phải được trình bày rõ ràng và dễ hiểu, tập trung vào mục tiêu đánh giá và giải đáp được các câu hỏi nghiên cứu.

Trình bày thông tin

Khi chuẩn bị các báo cáo, hãy cố gắng sử dụng đồ thị và biểu đồ để trình bày những thông tin quan trọng. Các đồ thị và biểu đồ giúp cho thông tin trở nên dễ hiểu hơn, đặc biệt là khi nhìn vào những thay đổi đã diễn ra theo thời gian hay khi tiến hành so sánh giữa các nhóm đích khác nhau.

Sau khi đã có các bảng số liệu, một lần nữa trình bày lại cho hợp lý, chọn một số liệu chuyển thành biểu đồ, hình vẽ. Dưới mỗi bảng, mỗi biểu là lời nhận xét, lời bàn để nêu lên những nét chính trong kết quả mô tả, giải thích cho kết quả và nguyên nhân của các hiện tượng phát hiện được trong các bảng số liệu. Độ chắc chắn, độ tin cậy của số liệu đến đâu cũng được nêu ra để người đọc nhận thức được những điều rút ra từ đánh giá tin cậy đến đâu, những điểm nào mới là xu hướng, chưa khẳng định và cần làm tiếp.

Sau khi thu thập và phân tích dữ liệu xong, người đánh giá (nhóm đánh giá) phải đưa ra các kết luận và một số đề xuất, cần nhớ rằng các kết luận và đề xuất còn mang tính quá trình chứ không chỉ là khi kết thúc. Các kết luận và đề xuất đều phải dựa trên chứng cứ và trong giới hạn của vấn đề đánh giá, của mục tiêu đã đặt ra ban đầu và có thể cả những vấn đề mới phát hiện...

Mục tiêu của cuộc đánh giá cần được thể hiện qua các số liệu thu được. Không nên đưa những số liệu không liên quan tới mục tiêu đã đặt ra vào một báo cáo đánh giá.

Kết luận của báo cáo đánh giá phải bao gồm những dẫn chứng trả lời cho từng mục tiêu. Thông thường, có bao nhiêu mục tiêu thì có bấy nhiêu kết luận tương ứng.

3.3.3. Sử dụng kết quả đánh giá

Khi nhận được một bản báo cáo đánh giá một, nhà quản lý phải kiểm tra xem có phải tất cả các quyết định hoặc hành động đều đã và đang được thực hiện dựa trên những thông tin được cung cấp hay không. Khi xem lại các báo cáo, hãy đặt ra các câu hỏi như sau:

Xem xét một cách hệ thống các kết quả, kết luận và khuyến nghị cơ bản của đánh giá. Các thông tin trong báo cáo có dựa trên những chỉ số đánh giá không? Đã phát hiện được phải tất cả các điểm thiếu sót chưa? Báo cáo đã có kết luận chưa?

Báo cáo có đề ra những khuyến nghị/đề xuất dựa trên những thông tin/dữ liệu đã thu được không?

Thông tin trong các bản báo cáo có chính xác và đáng tin cậy không?

Xác định điểm nào được chấp nhận và ủng hộ, điểm nào không.

Trong trường hợp đánh giá tiến độ, xác định liệu có cần thiết phải có những điều chỉnh nào không.

Xây dựng kế hoạch thực hiện, bao gồm việc xác định những hoạt động cụ thể và phân công trách nhiệm rõ ràng và thời gian thực hiện các hoạt động đó (xây dựng kế hoạch hành động).

Theo dõi tình hình thực hiện

Đối với các hoạt động CSSKBĐ, công việc thường được tiến hành liên tục, tiến triển theo thời gian, các nhà quản lý cần thường xuyên xem xét lại việc thực hiện và các chỉ số các hoạt động, cải tiến các công cụ thu thập dữ liệu để đảm bảo thông tin thu được là cập nhật, đáng tin cậy và chính xác.

Kết quả đánh giá sẽ được sử dụng ngay cho việc cải tiến công tác của cơ sở y tế đó một cách có hiệu quả, đảm bảo nâng cao chất lượng các dịch vụ chăm sóc sức khoẻ và trao đổi kinh nghiệm với những cơ sở y tế khác. Kết quả đánh giá có thể được sử dụng để:

Xác định vấn đề sức khoẻ và vấn đề tồn tại trong quản lý các hoạt động CSSK, chỉ đạo tuyến và khám chữa bệnh..v...v...

Giúp tìm các giải pháp khả thi, ít tốn kém và có khả năng duy trì sau khi kết thúc chu kỳ kế hoạch.

Kết quả đánh giá được dùng rất nhiều trong việc lập kế hoạch, điều chỉnh kế hoạch cho những năm tiếp theo.

Đối với quá trình thực hiện kế hoạch, kết quả đánh giá điều chỉnh các nguồn lực tìm các giải pháp kỹ thuật thích hợp để đảm bảo tiến độ và đúng chất lượng.

Đánh giá chương trình/hoạt động y tế là một quá trình phân tích sâu sắc để phát hiện ra mức độ hoàn thành kế hoạch và những nguyên nhân dẫn đến thành công, cũng như phát hiện ra những sai lệch so với kế hoạch và nguyên nhân thất bại. Từ đó để đưa ra các bài học, nhằm nâng cao hiệu quả của các chương trình và hoạt động y tế được tốt hơn.

Tài liệu tham khảo1. Trương Việt Dũng. Đánh giá một chương trình, một hoạt động y tế. Bài giảng

quản lý y tế. Trường cán bộ quản lý y tế - BYT. Y học, 1997, 104-116.

2. Tăng cường kỹ năng quản lý y tế tỉnh-huyện. T1,2. Đề án đào tạo 03/SIDA-Indevelop. Y học, 1994.

3. Y tế công cộng và CSSKBĐ. ĐHY Thái Bình - HVQY, Hà Nội, Y học, 1997.

4. UNFPA. Đánh giá chuyên đề chất lượng các dịch vụ kế hoạch hoá gia đình ở Việt Nam. Quỹ dân số Liên hợp quốc, 6/1993.

5. W.W.Dyal: Progam management ; CDC Atlanta,1990

6. WHO/GPA : National AIDS Progam management, Geogia University 1993

7. L.N Trọng: Tăng cường kỹ năng quản lý y tế tỉnh -huyện, Nhà XBYH;1994.

8. R.McMahon et al: Cho cán bộ đương nhiệm; Nhà XBYH:1992.

9. James A. Wolff et. Al, The Family Planning Manager’s Handbook, Kumarian Press, 1991