Quản lý chất lượng, an toàn và hiệu suất

Vì sao điều này quan trọng đối với giá trị công

Mọi tổ chức công và khu vực xã hội có quy mô nào đó nay đều vận hành bằng các con số: thời gian chờ, số hồ sơ đã đóng, phút phản hồi, tỷ lệ đạt, điểm hài lòng, xếp hạng thanh tra. Các chỉ tiêu xây từ những con số này không phải một áp đặt từ bên ngoài đối với quản lý công; đó là cách tính chính danh và sự ủng hộ được chứng minh trước các nhà tài trợ, cơ quan lập pháp, hội đồng và công dân, những người không thể nhìn vào bên trong các hoạt động hằng ngày (xem Chủ đề 1.2 — Tam giác chiến lược: tính chính danh, giá trị và năng lực). Một nhà lãnh đạo không thể chỉ ra một con số đã dịch chuyển theo hướng đúng khó bảo vệ một ngân sách, một ủy nhiệm hay một cuộc cải cách.

Khó khăn là một con số được xây để đại diện cho chất lượng không phải chính chất lượng, và hai thứ lặng lẽ tách ra ngay khoảnh khắc con số bắt đầu quan trọng hơn thực tế đằng sau nó. Một lực lượng cảnh sát có thể giảm tội phạm được ghi nhận bằng cách thay đổi cách các sĩ quan phân loại sự việc thay vì giảm tác hại. Một bệnh viện có thể đạt chỉ tiêu thời gian chờ bằng cách phân loại lại những bệnh nhân nào mà đồng hồ áp dụng thay vì điều trị người ta nhanh hơn. Không thay đổi nào hiện ra trong con số được công bố, đó chính xác là vấn đề mà chủ đề này tồn tại để giải quyết.

Chủ đề này là cách xử lý nhà của vấn đề đó trong khu vực công: các chỉ số hiệu suất và những động cơ trái ngược mà chúng tạo ra, các chế độ đảm bảo chất lượng xây để giữ chuẩn nhất quán bất kể chỉ tiêu đơn lẻ nào nói gì, và các cơ quan thanh tra và xếp hạng độc lập kiểm tra thực tế đằng sau các con số từ bên ngoài chuỗi chỉ huy đã tạo ra chúng. Chủ đề 2.1 bao quát các chỉ số nên đến từ đâu ngay từ đầu — các khung kết quả và mô hình logic nối một thước đo trở lại một tuyên bố nhân quả thực sự về giá trị (xem Chủ đề 2.1 — Bảng điểm giá trị công và các khung kết quả). Chủ đề này bao quát điều xảy ra một khi các chỉ số đó được biến thành các chỉ tiêu sống mà nhân viên được quản lý theo, và cách một tổ chức giữ hệ thống đo lường của chính mình trung thực.

Cái giá tăng theo mức độ công khai con số được dùng. Một chỉ số nội bộ riêng tư trôi khỏi thực tế làm lãng phí thời gian của một nhà quản lý. Một chỉ tiêu hiệu suất công khai, một xếp hạng thanh tra tiêu đề hay một thống kê an toàn trôi khỏi thực tế có thể tốn mạng sống, phân bổ sai nguồn lực nhiều năm, và — khi khoảng cách giữa con số được báo cáo và trải nghiệm sống cuối cùng trở nên nhìn thấy — phá hủy chính tính chính danh mà con số được công bố để xây dựng (xem Chủ đề 3.4 — Trách nhiệm giải trình, minh bạch và tính chính danh).

Khái niệm cốt lõi

Một chỉ số hiệu suất là một biến đo được, được chọn để đại diện cho một khía cạnh hiệu suất của tổ chức mà tự nó không thể quan sát trực tiếp và liên tục (xem chỉ số hiệu suất). Các chỉ số là đại diện theo cấu tạo: không ai có thể đo "chất lượng chăm sóc" hay "an toàn cộng đồng" trực tiếp, nên một tổ chức đo một thứ hẹp hơn và đếm được hơn — một thời gian chờ, một tỷ lệ tội phạm được ghi nhận — và coi sự dịch chuyển của nó là bằng chứng cho sự dịch chuyển của điều rộng hơn mà nó đại diện. Khoảng cách giữa đại diện và thực tế không bao giờ khép; chủ đề này nói về việc quản lý nó thay vì quên rằng nó tồn tại.

Định luật Goodhart phát biểu, trong cách phát biểu khu vực công phổ biến nhất của nó, rằng khi một thước đo trở thành một chỉ tiêu, nó thôi là một thước đo tốt. Định luật được đặt tên theo nhà kinh tế người Anh Charles Goodhart, người đã nêu ý tưởng nền tảng năm 1975 trong bối cảnh chính sách tiền tệ: một khi một ngân hàng trung ương bắt đầu nhắm vào một thước đo cụ thể của cung tiền, các mối quan hệ thống kê làm cho thước đo đó hữu ích bắt đầu vỡ, vì mọi người thay đổi hành vi để đáp ứng chính chỉ tiêu. Nhà nhân học Marilyn Strathern phát biểu lại ý tưởng cho khán giả khu vực công trong một nghiên cứu được trích dẫn rộng năm 1997 về văn hóa kiểm toán đại học Anh, cho nó cách diễn đạt gọn nay được trích dẫn nhiều nhất: "khi một thước đo trở thành một chỉ tiêu, nó thôi là một thước đo tốt." Chủ đề 3.1 giới thiệu ngắn gọn động lực này trong bối cảnh sự dựa vào các chỉ tiêu tường minh của Quản lý công mới; chủ đề này là cách xử lý đầy đủ của nó (xem Chủ đề 3.1 — Hệ thống và mô hình hành chính công). Định luật Goodhart không phải lập luận chống đo lường — đó là lập luận rằng đo lường và khen thưởng không thể bị hợp nhất một cách cẩu thả mà không thay đổi điều đang được đo.

Động cơ trái ngược là cơ chế qua đó định luật Goodhart gây hại: một cấu trúc động cơ tạo ra kết quả trái với ý định của người thiết kế, vì những người phản ứng với nó đang tối ưu hóa cho câu chữ của phần thưởng thay vì mục đích đằng sau nó (xem động cơ trái ngược). Một chỉ tiêu gắn với tài trợ, danh tiếng hay sự nghiệp tạo ra một động cơ trái ngược bất cứ khi nào tồn tại một cách cải thiện con số được báo cáo mà không cải thiện kết quả nền tảng — và trong một dịch vụ được cung cấp qua hàng nghìn phán đoán cá nhân, một cách như vậy gần như luôn tồn tại một khi mọi người bắt đầu tìm.

Một phân loại về các phản ứng rối loạn chức năng với chỉ tiêu. Nhà kinh tế Peter Smith, trong một nghiên cứu có ảnh hưởng năm 1995 về dữ liệu hiệu suất khu vực công, đã lập danh mục các cách chỉ tiêu được công bố bóp méo hành vi, một số trong đó vẫn là vốn từ vựng chuẩn để chẩn đoán một hệ thống chỉ số đang vật lộn. Tầm nhìn đường hầm là tập trung nỗ lực vào điều được đo với cái giá của điều không được đo, ngay cả khi các khía cạnh không được đo quan trọng ngang hoặc hơn. Cố định vào thước đo là coi thành công trên chỉ số là thành công trên mục tiêu nền tảng, để đại diện lặng lẽ thay thế thứ mà nó vốn đại diện trong sự chú ý của mọi người — khuôn mẫu đằng sau dạy để thi trong các hệ thống giáo dục, nơi giảng dạy thu hẹp về bất cứ điều gì một bài đánh giá chuẩn hóa bao quát thay vì việc học rộng hơn mà bài đánh giá nhằm báo hiệu. Trình bày sai là sự thao túng có chủ ý dữ liệu được báo cáo — phân loại lại một hồ sơ, điều chỉnh một đồng hồ, chọn một mẫu số có lợi hơn — để các con số cải thiện mà thực tế không thay đổi chút nào. Hóa thạch là sự phân rã chậm của một chỉ tiêu thành vô nghĩa khi nó bị để không sửa lâu sau khi môi trường vận hành mà nó được thiết kế cho đã thay đổi. Một nghiên cứu liên quan chặt chẽ năm 2006 về chỉ tiêu trong hệ thống chăm sóc sức khỏe công của Anh do Gwyn Bevan và Christopher Hood thực hiện cho thấy các động lực này có thể chạy xa đến đâu khi một chỉ tiêu được ghép với hậu quả nghiêm trọng cho việc bỏ lỡ nó, đặt ra cụm từ "chỉ tiêu và khủng bố" cho một chế độ tạo ra đúng hành vi lách mà nó được thiết kế để loại bỏ.

Đảm bảo chất lượng là kỷ luật có hệ thống, do tổ chức sở hữu để bảo đảm một sản phẩm hay dịch vụ nhất quán đáp ứng một chuẩn xác định, qua việc ngăn ngừa lỗi được xây vào quy trình thay vì chỉ kiểm tra đầu ra đã hoàn thành (xem đảm bảo chất lượng). Nơi một chỉ tiêu hiệu suất đo một kết quả sau sự việc, đảm bảo chất lượng được thiết kế để làm cho một kết quả tồi ít có khả năng xảy ra ngay từ đầu, thường qua các thủ tục chuẩn hóa, danh mục kiểm tra, xem xét đồng cấp và phân tích nguyên nhân gốc của các thất bại. Quản lý chất lượng toàn diện là triết lý quản lý rộng hơn xây trên kỷ luật này, coi cải tiến liên tục về chất lượng là trách nhiệm của mọi người thay vì một chức năng chuyên gia gắn thêm vào cuối một quy trình (xem quản lý chất lượng toàn diện), và họ ISO 9000 gồm các tiêu chuẩn quốc tế do Tổ chức Tiêu chuẩn hóa Quốc tế (ISO) công bố, lần đầu ban hành năm 1987, cho các tổ chức một khung có thể chứng nhận để chứng minh rằng một hệ thống quản lý như vậy tồn tại. Một cơ quan có thể được chứng nhận theo một tiêu chuẩn quản lý chất lượng, và vượt qua mọi kiểm tra đảm bảo chất lượng nội bộ, mà vẫn lách các chỉ tiêu hiệu suất báo cáo bên ngoài của mình; hai hệ thống trả lời các câu hỏi khác nhau và không cái nào thay thế cái kia.

Chỉ số an toàn và văn hóa an toàn đáng được xử lý riêng khỏi các chỉ số hiệu suất thông thường vì tác hại từ một động cơ trái ngược thường không thể đảo ngược. Trong chăm sóc sức khỏe, thực hành an toàn bệnh nhân đã học, thường với cái giá cao, rằng trừng phạt nhân viên vì báo cáo một lỗi ngăn chặn đúng thông tin mà một hệ thống an toàn cần để ngăn lỗi tiếp theo — một nhận thức đã lan từ môi trường lâm sàng sang hàng không, giao thông và các dịch vụ công hậu quả cao khác. Một môi trường báo cáo "không đổ lỗi" hay "văn hóa công bằng" coi một suýt-soát được báo cáo trung thực là một điểm dữ liệu có giá trị thay vì một lời thú nhận tội lỗi, trái ngược với cách hầu hết các chỉ tiêu hiệu suất thông thường được thiết kế để hoạt động: một chế độ hiệu suất thưởng cho con số tốt, trong khi một chế độ an toàn phải thưởng cho con số trung thực ngay cả khi nó tồi.

Các cơ quan thanh tra và xếp hạng độc lập cung cấp một sự kiểm tra tất cả các điều trên đến từ ngoài chuỗi chỉ huy đang được đánh giá. Một cơ quan thanh tra — như Ofsted của Anh, thanh tra các nhà cung cấp giáo dục và dịch vụ trẻ em, hay Ủy ban Chất lượng Chăm sóc, thanh tra và xếp hạng các nhà cung cấp y tế và chăm sóc xã hội — cử các thẩm định viên quan sát thực hành trực tiếp, vận dụng phán đoán chuyên môn, và công bố một xếp hạng mà cơ quan được thanh tra không kiểm soát. Điều này khác về cấu trúc với quản lý hiệu suất nội bộ: một con số thời gian chờ tự báo cáo có thể bị lách bởi những người có động cơ lách, nhưng một thanh tra viên đi qua các khoa hay quan sát lớp học đang nhìn vào thực tế mà con số được cho là đại diện. Thanh tra là một dạng trách nhiệm giải trình theo chiều ngang — sự soi xét của một cơ quan có địa vị độc lập thay vì của một khối cử tri hay một thị trường (xem Chủ đề 3.4 — Trách nhiệm giải trình, minh bạch và tính chính danh) — và nó giành được vai trò đó chỉ ở mức độ lập của nó, về tài trợ, bổ nhiệm và công bố, thực sự được bảo vệ.

Thực hành tốt nhất

1. Rút các chỉ số từ mô hình logic, không phải từ điều đã dễ đếm. Chọn một thước đo vì dữ liệu đã tồn tại, thay vì vì nó theo dõi một mắt xích thực trong chuỗi nhân quả, là cách cố định vào thước đo và tầm nhìn đường hầm bắt đầu (xem Chủ đề 2.1 — Bảng điểm giá trị công và các khung kết quả).
2. Ghép mọi chỉ tiêu đầu ra hay hoạt động với ít nhất một thước đo cân bằng sẽ làm lộ chiến lược lách có khả năng nhất. Nếu một chỉ tiêu thời gian chờ có thể bị lách bằng cách phân loại lại các hồ sơ, hãy theo dõi tỷ lệ phân loại lại cạnh con số tiêu đề, không phải suy nghĩ sau cùng khi một vụ bê bối buộc đặt câu hỏi.
3. Coi một chỉ tiêu đã đạt nhiều giai đoạn liên tiếp là lời nhắc điều tra, không chỉ ăn mừng. Một con số thôi phân biệt hiệu suất tốt và xấu hoặc đã thực sự giải quyết vấn đề hoặc đã bị lách thành vô nghĩa, và hai trường hợp trông giống hệt nhau chỉ từ bảng điều khiển.
4. Tách ai đặt một chỉ tiêu khỏi ai bị đo theo nó khỏi ai kiểm tra độc lập kết quả. Gộp ba vai trò này vào một phần của tổ chức loại bỏ sự căng thẳng cấu trúc giữ cho một hệ thống đo lường trung thực.
5. Sửa đổi hoặc cho nghỉ hưu một chỉ tiêu theo chu kỳ cố định, không chỉ sau thất bại nhìn thấy được. Hóa thạch là số phận mặc định của một chỉ tiêu; một cuộc xem xét theo lịch hỏi liệu chỉ tiêu có còn theo dõi điều gì có ý nghĩa bắt được sự phân rã trước khi một cuộc khủng hoảng làm vậy.
6. Xây một kênh báo cáo không đổ lỗi cho các suýt-soát và lỗi liên quan an toàn, giữ tách biệt về cấu trúc khỏi các quyết định khen thưởng hiệu suất. Một hệ thống an toàn trừng phạt báo cáo trung thực vẫn sẽ có cùng tỷ lệ lỗi nền tảng — nó chỉ thôi phát hiện ra nó cho đến khi tác hại lớn hơn và khó che giấu hơn.
7. Trao cho các thanh tra viên độc lập và cơ quan xếp hạng quyền tiếp cận thực sự, tài trợ được bảo vệ và quyền công bố mà cơ quan được thanh tra không thể phủ quyết. Một cơ quan thanh tra phụ thuộc vào thiện chí của tổ chức mà nó xếp hạng về ngân sách hay quyền tiếp cận đang trình diễn sự soi xét, không cung cấp nó.
8. Dùng phán đoán chuyên môn để diễn giải một điểm số định lượng, thay vì để điểm số đứng một mình. Một xếp hạng tổng hợp đơn lẻ nén một thực tế phong phú, không đều thành một con số; hãy công bố bản tường thuật định tính đằng sau một xếp hạng thanh tra cạnh chính xếp hạng, để người đọc thấy con số đang tóm tắt điều gì.
9. Thiết kế các chỉ tiêu cùng nhân viên tuyến đầu sẽ bị đo theo chúng, không chỉ cho họ. Những người gần công việc nhất thường biết chiến lược lách dễ nhất trước bất kỳ nhà phân tích nào; lôi kéo họ vào thiết kế làm lộ rủi ro đó sớm thay vì sau khi chỉ tiêu đã sống.
10. Chứng nhận một quy trình quản lý chất lượng có hệ thống, như một quy trình xây trên họ tiêu chuẩn ISO 9000, như một sàn chứ không phải sự thay thế cho đo lường kết quả. Chứng nhận chứng minh một quy trình nhất quán tồn tại; tự nó không chứng minh rằng quy trình tạo ra kết quả tốt, và coi chứng chỉ là bằng chứng đủ về chất lượng tự nó là một dạng cố định vào thước đo.
11. Công bố những hạn chế đã biết của một chỉ tiêu cạnh chính chỉ tiêu. Gọi tên, trong cùng báo cáo với con số, thước đo không nắm bắt gì và nó có thể bị lách ra sao đi trước đúng sự phát hiện mà nếu không sẽ gây hại tính chính danh về sau (xem Chủ đề 3.4 — Trách nhiệm giải trình, minh bạch và tính chính danh).

Câu hỏi thảo luận với đội ngũ của bạn

Chỉ tiêu đã công bố hiện tại nào của chúng ta có thể đạt được mà kết quả nền tảng không cải thiện chút nào? Đây là ứng dụng trực tiếp nhất của định luật Goodhart sẵn có cho bất kỳ nhóm nào, và gần như mọi tổ chức đã chạy chỉ tiêu bằng số hơn vài năm đều mang ít nhất một ví dụ sống. Hãy đi qua các chỉ số hàng đầu của bạn từng cái một và hỏi, cụ thể, mỗi cái thưởng cho hành vi nào thay vì điều nó được thiết kế để đo. Hãy thảo luận liệu nhân viên tuyến đầu đã biết một cách dễ hơn để làm di chuyển con số so với cách dự định chưa, vì họ thường biết từ rất lâu trước khi nó đến các nhà lãnh đạo cao cấp. Hãy coi một câu "không ai sẽ làm vậy ở đây" tự tin, chưa được xem xét, tự nó đáng được điều tra thay vì trấn an.

Chúng ta đã để một đầu ra dễ đếm lặng lẽ thay cho một phán đoán chất lượng hay an toàn thực sự ở đâu? Đầu ra gần như luôn rẻ và nhanh để thu thập hơn kết quả, tạo ra một cám dỗ thường trực để báo cáo cái trước bằng ngôn ngữ của cái sau. Hãy xác định một chỉ số hàng đầu mà tổ chức bạn hiện đang báo cáo và hỏi, như một nhóm, liệu nó có thực sự đo chất lượng của điều đã xảy ra hay chỉ đo khối lượng hoạt động đã diễn ra. Hãy thảo luận một thước đo chất lượng thực sự cho cùng hoạt động đó sẽ đòi hỏi gì để thu thập, và điều gì đã ngăn tổ chức thu thập nó cho đến nay. Câu hỏi này thường làm lộ ra rằng rào cản là nguồn lực thay vì khó khăn trong việc xác định.

Nếu một nhân viên báo cáo suýt-soát hay lỗi của chính mình một cách trung thực hôm nay, điều gì sẽ thực sự xảy ra với họ? Sự tồn tại của một chính sách không đổ lỗi không phải bằng chứng rằng mọi người tin nó áp dụng cho cá nhân họ. Hãy thảo luận một trường hợp gần đây, thực hay giả định, nơi một lời tiết lộ trung thực về một lỗi sẽ thử thách chính sách, và hãy cụ thể về hậu quả đã hoặc có khả năng là gì. Hãy cân nhắc liệu báo cáo liên quan an toàn của bạn có nằm trong cùng hệ thống với các quyết định khen thưởng hiệu suất không, vì trộn hai thứ là cách phổ biến nhất khiến một văn hóa danh nghĩa không đổ lỗi lặng lẽ vẫn trừng phạt sự trung thực. Câu hỏi này khó chịu có chủ đích; một nhóm không thể thảo luận nó cởi mở đã trả lời nó.

Cơ quan thanh tra hay xếp hạng của chúng ta có độc lập thực sự với tổ chức mà nó đánh giá, hay chỉ độc lập hình thức? Độc lập trên danh nghĩa là phổ biến; độc lập về tài trợ, tiếp cận và quyền công bố một phát hiện không được hoan nghênh là hiếm hơn và dễ bị xói mòn dần hơn. Hãy liệt kê các quan hệ thanh tra hay xếp hạng mà tổ chức bạn chịu sự điều chỉnh và đánh giá từng cái một cách trung thực về việc liệu nó có thể sống sót qua một nỗ lực kiên quyết của cơ quan được thanh tra nhằm định hình kết quả không. Hãy thảo luận điều đã xảy ra lần cuối một cuộc thanh tra tạo ra kết quả thực sự không được hoan nghênh, và phản ứng là sửa vấn đề nền tảng hay quản lý quan hệ với thanh tra viên.

Phản ứng rối loạn chức năng nào của Smith với chỉ tiêu — tầm nhìn đường hầm, cố định vào thước đo, trình bày sai, hóa thạch — hiện đang hiển thị nhất trong báo cáo của chính chúng ta? Gọi tên kiểu thất bại cụ thể, thay vì thảo luận việc lách ở mức trừu tượng, làm cho cuộc trao đổi đủ cụ thể để hành động. Hãy đi qua bốn khuôn mẫu và hỏi nhóm nhận ra cái nào trong trải nghiệm gần đây của chính mình, thay vì giả định tổ chức được miễn vì chưa có vụ bê bối nào xảy ra. Hãy thảo luận một bước khắc phục cho khuôn mẫu cụ thể đó sẽ trông ra sao trong chu kỳ báo cáo tới, không phải một cam kết chung chung "làm tốt hơn về đo lường."

Nếu chúng ta ngừng báo cáo công khai chỉ tiêu hàng đầu hiện tại trong một năm, chúng ta thực sự sẽ mất gì, và có thể được gì? Câu hỏi này kiểm tra liệu một chỉ tiêu có thực sự đang lái các quyết định hay đã trở thành mục đích tự thân mà không ai sẽ bảo vệ nếu được yêu cầu biện minh từ nguyên lý đầu tiên. Hãy thảo luận một cách trung thực quyết định nào, nếu có, đã thay đổi trong năm qua nhờ con số cụ thể này, khác với các quyết định vẫn sẽ được đưa ra. Hãy cân nhắc thời gian nhân viên và sự bóp méo hành vi mà chỉ tiêu hiện tốn, và liệu một thước đo khác, khó lách hơn có phục vụ cùng mục đích trách nhiệm giải trình tốt hơn không. Đây không phải lập luận để từ bỏ đo lường — đó là một kỷ luật để chỉ giữ lại sự đo lường xứng đáng với chỗ đứng của nó.

Trong thực tiễn: một ví dụ về giá trị công

Dịch vụ xe cứu thương của một khu vực đô thị cỡ vừa — hư cấu, minh họa cho một khuôn mẫu chứ không phải báo cáo về bất kỳ cơ quan có thật nào — đã vận hành nhiều năm dưới một chỉ tiêu công bố yêu cầu phản hồi khẩn cấp trong tám phút cho những cuộc gọi đe dọa tính mạng nhất. Chỉ tiêu được đặt với thiện chí, được bằng chứng lâm sàng ủng hộ rằng tốc độ phản hồi thực sự ảnh hưởng đến sự sống còn đối với một loại khẩn cấp xác định, và hội đồng của dịch vụ coi tỷ lệ phần trăm đã công bố các cuộc gọi đạt chỉ tiêu là chỉ số quan trọng nhất duy nhất về thành công của tổ chức.

Qua ba năm, con số được báo cáo cải thiện đều, từ chỉ hơn một nửa số cuộc gọi đủ điều kiện lên gần chín trên mười, và ban lãnh đạo cao cấp trình bày xu hướng tại mọi cuộc họp hội đồng như bằng chứng rõ ràng rằng các cải cách vận hành đang có hiệu quả. Điều con số tiêu đề không cho thấy là sự cải thiện thực sự đạt được ra sao. Những người xử lý cuộc gọi, biết hiệu suất của chính họ được đánh giá một phần theo số cuộc gọi họ phân loại vào nhóm có chỉ tiêu, bắt đầu — dần dần, không có quyết định đơn lẻ nào — hạ cấp một phần ngày càng lớn các cuộc gọi thực sự nghiêm trọng xuống một nhóm ưu tiên thấp hơn mà đồng hồ tám phút không áp dụng, đơn giản vì một nhóm cuộc gọi nhỏ hơn, được xác định chặt chẽ hơn dễ đạt chỉ tiêu hơn. Riêng biệt, các kíp xe học được rằng đồng hồ dừng ngay khoảnh khắc một chiếc xe đến hiện trường, không phải khi bệnh nhân thực sự được tiếp cận, điều tạo ra một động cơ nhỏ nhưng thực để đỗ ở ranh giới thay vì tiếp cận bệnh nhân nhanh nhất.

Không thực hành nào gian lận theo nghĩa làm giả hồ sơ; mỗi cái là một phản ứng hợp lý cục bộ trước một chỉ tiêu có định nghĩa tạo chỗ cho đúng sự trôi dạt này — một ví dụ giáo khoa của cố định vào thước đo và trình bày sai hoạt động cùng nhau. Vấn đề nổi lên không qua báo cáo của chính dịch vụ, vốn tiếp tục cho thấy cải thiện, mà qua cuộc thanh tra định kỳ của một cơ quan thanh tra y tế khu vực độc lập, kết hợp xem xét hồ sơ với quan sát trực tiếp việc xử lý cuộc gọi và thấy các phân loại bị hạ cấp không nhất quán với chi tiết lâm sàng được ghi trong chính các cuộc gọi đó. Xếp hạng của cơ quan thanh tra tụt mạnh, từ một mô tả tương đương "tốt" xuống "cần cải thiện", dù con số thời gian phản hồi đã công bố của chính dịch vụ tốt hơn bao giờ hết.

Phản ứng ban đầu của dịch vụ — chỉ vào các con số cải thiện của chính mình — làm vấn đề uy tín tệ hơn, vì nó trả lời một câu hỏi mà cơ quan thanh tra chưa hỏi; cuộc thanh tra chưa bao giờ tranh cãi số học, chỉ tranh cãi số học đang đo điều gì. Phản ứng hiệu quả hơn của nó là thiết kế lại bộ chỉ số từ mô hình logic nền tảng thay vì vá chỉ tiêu hiện có: thời gian phản hồi được định nghĩa lại là khoảnh khắc tiếp xúc bệnh nhân thay vì xe đến, việc phân loại cuộc gọi được kiểm toán độc lập trên một mẫu cuốn chiếu thay vì tin vào hồ sơ của chính người xử lý, và một thước đo kết quả lâm sàng song song — sống sót đến khi nhập viện — được đưa vào vì khó lách hơn nhiều chỉ bằng phân loại lại. Tỷ lệ phần trăm thời gian phản hồi được báo cáo giảm trong năm đầu dưới định nghĩa mới, điều mà hội đồng đã chuẩn bị cho các nhà tài trợ kỳ vọng; thước đo kết quả lâm sàng, được theo dõi lần đầu trên cơ sở có thể so sánh, cho thấy một cải thiện nhỏ hơn nhưng thực sự mà chỉ tiêu ban đầu chưa bao giờ thực sự chứng minh theo cách này hay cách khác.

Bốn góc nhìn theo khu vực

Chính quyền địa phương

Các dịch vụ địa phương như cứu hỏa và cứu hộ, chăm sóc xã hội người lớn và thu gom rác thường được đo đối chiếu với sự pha trộn của các chỉ số được quy định ở cấp quốc gia mà chính quyền địa phương không chọn và các thước đo do địa phương chọn phản ánh các ưu tiên riêng của một hội đồng cụ thể, nên một dịch vụ đơn lẻ có thể được đánh giá là thành công theo một bộ chỉ số và là mối quan ngại theo bộ khác. Thanh tra ở cấp địa phương thường do một cơ quan quốc gia hay khu vực có nhiệm vụ theo luật định bao quát nhiều chính quyền địa phương cùng lúc thực hiện, cho góc nhìn so sánh hữu ích nhưng ít bối cảnh địa phương chi tiết hơn tổ chức đang được thanh tra. Các thành viên dân cử địa phương và ủy ban soi xét thêm một tầng trách nhiệm giải trình nhanh hơn, tức thì hơn, và thường là những người đầu tiên nghe từ cư dân khi một con số đã công bố và trải nghiệm sống phân kỳ.

Chính phủ quốc gia

Chính phủ quốc gia thường chạy các chế độ hiệu suất lớn nhất và hiển thị chính trị nhất, vì một chỉ tiêu quốc gia — một chuẩn thời gian chờ, một mục tiêu giảm tội phạm, một mục tiêu tỷ lệ đạt kỳ thi — trở thành một đại diện trong tranh luận công khai cho năng lực của chính phủ đương nhiệm, nâng mức rủi ro của việc lách vượt xa cấp vận hành. Đây là bối cảnh nơi động lực "chỉ tiêu và khủng bố" của Bevan và Hood được hiện thực hóa đầy đủ nhất, vì các chỉ tiêu quốc gia thường được ghép với hậu quả chính trị nhìn thấy được cho việc bỏ lỡ, làm sắc nét động cơ quản lý con số thay vì thực tế đằng sau nó. Các cơ quan thanh tra quốc gia, chính vì họ hoạt động ở khoảng cách một cánh tay với các bộ mà vận mệnh chính trị của chúng một xếp hạng có thể ảnh hưởng, gánh một phần không cân xứng gánh nặng làm lộ khoảng cách giữa hiệu suất được báo cáo và thực tế (xem Chủ đề 3.4 — Trách nhiệm giải trình, minh bạch và tính chính danh).

Khu vực xã hội và phi lợi nhuận

Các tổ chức phi lợi nhuận và phi chính phủ thường đối mặt với đảm bảo chất lượng và công nhận như một kỷ luật tự nguyện hoặc do nhà tài trợ áp đặt hơn là một chế độ thanh tra theo luật định, vì ít khu vực pháp lý vận hành một cơ quan thanh tra độc lập chuyên trách cho toàn khu vực. Điều này khiến đảm bảo chất lượng khu vực xã hội manh mún hơn — các nhà tài trợ khác nhau áp đặt các yêu cầu khác nhau lên cùng một tổ chức — nhưng cũng linh hoạt hơn, vì một tổ chức phi lợi nhuận thường có thể thiết kế bộ chỉ số của riêng mình quanh lý thuyết thay đổi thực sự của nó thay vì một bộ thước đo áp đặt từ bên ngoài. Sự vắng mặt của một thanh tra viên bên ngoài bắt buộc nâng tầm quan trọng tương đối của một hội đồng độc lập và kiểm toán bên ngoài như chất thay thế trách nhiệm giải trình theo chiều ngang của chính khu vực (xem Chủ đề 3.4 — Trách nhiệm giải trình, minh bạch và tính chính danh), vì nếu không ban lãnh đạo của chính một tổ chức phi lợi nhuận vừa là người đo vừa là người bị đo.

Đa phương và quốc tế

Các tổ chức đa phương và các chỉ số so sánh mà họ công bố hoặc dựa vào — xếp hạng xuyên quốc gia về chất lượng quản trị, sự dễ dàng kinh doanh hay hiệu suất dịch vụ công — đối mặt với định luật Goodhart ở quy mô của cả các chính phủ quốc gia, nơi một quốc gia có thể cải thiện thứ hạng của mình qua các cải cách nhắm hẹp vào các tiêu chí được đo thay vì điều kiện rộng hơn mà chỉ số tuyên bố đại diện. Thanh tra độc lập theo nghĩa trong nước được dùng ở nơi khác trong chủ đề này không có tương đương thực sự qua biên giới có chủ quyền, vì không quốc gia nào chấp nhận một cơ quan thanh tra bên ngoài với địa vị cưỡng chế mà một cơ quan quốc gia có đối với một cơ quan mà nó giám sát; đảm bảo chất lượng đa phương thay vào đó dựa vào xem xét đồng cấp, tự báo cáo được xác nhận bởi các phái đoàn kỹ thuật, và cái giá danh tiếng của một xếp hạng được công bố. Điều này khiến sự độc lập và uy tín kỹ thuật của cơ quan biên soạn bất kỳ chỉ số xuyên quốc gia nào đặc biệt quan trọng, vì nó thường là sự kiểm tra duy nhất sẵn có.

Các kiểu thất bại thường gặp

Tầm nhìn đường hầm. Một tổ chức tập trung nỗ lực và nguồn lực vào bất cứ điều gì được đo, với cái giá trực tiếp là các khía cạnh không được đo của cùng dịch vụ quan trọng ngang với những người nó phục vụ. Cái giá là một dịch vụ trông như đang cải thiện trong mọi báo cáo đã công bố trong khi một chiều không được đo — phẩm giá bệnh nhân, độ phức tạp hồ sơ, kết quả dài hạn — lặng lẽ xấu đi, không được chú ý cho đến khi nó thành một cuộc khủng hoảng đủ lớn để buộc phải đo lường mới.

Cố định vào thước đo. Thành công trên chỉ số được coi, trong nội bộ tổ chức, là tương đương với thành công trên mục tiêu nền tảng, nên đại diện thay thế mục tiêu trong sự chú ý thực tế của mọi người ngay cả khi tuyên bố sứ mệnh chính thức vẫn gọi tên mục tiêu. Cái giá là một khoảng cách ngày càng rộng, tự củng cố giữa hiệu suất được báo cáo và thực tế sống, vì không ai trong tổ chức còn trực tiếp theo dõi thực tế.

Trình bày sai. Dữ liệu được điều chỉnh — một đồng hồ dừng sớm, một hồ sơ được phân loại lại, một mẫu số được chọn vì hiệu ứng có lợi — để con số báo cáo cải thiện mà thực tế nền tảng không thay đổi chút nào, như trong ví dụ minh họa ở trên. Cái giá, một khi bị phát hiện, không cân xứng với sự bóp méo ban đầu, vì trình bày sai làm hại không chỉ con số cụ thể mà uy tín của mọi con số khác mà cùng tổ chức từng công bố (xem Chủ đề 3.4 — Trách nhiệm giải trình, minh bạch và tính chính danh).

Hóa thạch. Một chỉ tiêu được đặt cho một bối cảnh vận hành cụ thể bị để không sửa lâu sau khi bối cảnh đó thay đổi, nên nó tiếp tục được báo cáo và quản lý theo dù nó không còn phân biệt hiệu suất thực sự tốt và thực sự kém. Cái giá vô hình nhiều năm, vì một chỉ tiêu hóa thạch vẫn tạo ra một con số; con số chỉ đơn giản thôi có nghĩa, và sự chú ý quản lý thực của tổ chức thường đã chuyển sang nơi khác mà không ai chính thức cho thước đo nghỉ hưu.

Cơ quan thanh tra bị bắt giữ. Một cơ quan thanh tra hay xếp hạng độc lập dần trở nên phụ thuộc vào thiện chí, quyền tiếp cận hay sự hợp tác liên tục của các tổ chức mà nó thanh tra, dù qua sắp xếp tài trợ, các con đường nghề nghiệp luân chuyển nhân viên giữa thanh tra viên và người được thanh tra, hay các quan hệ không chính thức xây qua các cuộc thanh tra lặp lại. Cái giá là sự mất chậm của độc lập thực sự mà một điều lệ hay luật chính thức không tự ngăn được, và thường chỉ hiện ra khi một thất bại lớn đi qua một hệ thống xếp hạng lẽ ra phải bắt được nó.

Báo cáo an toàn bị chi phối bởi đổ lỗi. Một hệ thống báo cáo lỗi hay suýt-soát liên quan an toàn danh nghĩa là không đổ lỗi nhưng thực tế được nối đủ chặt với đánh giá hiệu suất hay quy trình kỷ luật đến mức nhân viên học được rằng báo cáo một sai lầm trung thực mang rủi ro cá nhân cho lợi ích không chắc. Cái giá không phải ít lỗi hơn — mà là ít báo cáo hơn về các lỗi vẫn tiếp tục xảy ra, loại bỏ đúng tín hiệu cảnh báo sớm mà một hệ thống an toàn tồn tại để cung cấp trước sự cố nghiêm trọng hơn tiếp theo.

Mô hình trưởng thành

Danh mục kiểm tra

• Lần ngược từng chỉ số hiệu suất hàng đầu về mô hình logic hay khung kết quả mà nó nhằm đại diện.
• Xác định cách hợp lý nhất mà mỗi chỉ tiêu đã công bố có thể bị lách, và nêu tên một thước đo cân bằng sẽ làm lộ nó.
• Xác nhận rằng người đặt một chỉ tiêu, người bị đo theo nó và người kiểm tra độc lập kết quả không phải cùng một bộ phận của tổ chức.
• Lên lịch xem xét theo chu kỳ cố định mọi chỉ tiêu sống, độc lập với bất kỳ thất bại nhìn thấy được nào thúc đẩy nó.
• Xác nhận kênh báo cáo liên quan an toàn được tách biệt về cấu trúc khỏi các quyết định khen thưởng hiệu suất và kỷ luật.
• Kiểm tra liệu nhân viên có tin rằng một lỗi hay suýt-soát được báo cáo trung thực sẽ được xử lý không đổ lỗi, không chỉ liệu một chính sách có nói vậy không.
• Xác nhận bất kỳ cơ quan thanh tra hay xếp hạng nào đánh giá tổ chức có tài trợ, tiếp cận và quyền công bố được bảo vệ.
• Công bố những hạn chế đã biết của từng chỉ tiêu hàng đầu cạnh chính con số.
• Kiểm tra liệu có chỉ số nào đã đạt nhất quán qua nhiều giai đoạn mà không có điều tra tương ứng về lý do.
• Lôi kéo nhân viên tuyến đầu vào thiết kế mọi chỉ tiêu mới trước khi nó sống.
• Xác nhận một chứng nhận quản lý chất lượng, nơi có, được coi là sàn và không được viện dẫn một mình như bằng chứng của kết quả tốt.

Nguồn chính

• Công thức năm 1975 của Charles Goodhart về điều sau này gọi là định luật Goodhart, phát triển trong bối cảnh nhắm mục tiêu chính sách tiền tệ.
• Marilyn Strathern, "'Improving ratings': audit in the British university system", European Review, 5(3) (1997), 305–321 — sự phát biểu lại khu vực công được trích dẫn rộng của định luật Goodhart.
• Peter Smith, "On the Unintended Consequences of Publishing Performance Data in the Public Sector", International Journal of Public Administration, 18(2–3) (1995), 277–310 — nguồn của phân loại tầm nhìn đường hầm, cố định vào thước đo, trình bày sai và hóa thạch mà chủ đề này dựa vào.
• Gwyn Bevan và Christopher Hood, "What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System", Public Administration, 84(3) (2006), 517–538 — nghiên cứu "chỉ tiêu và khủng bố" về việc lách dưới hậu quả nghiêm trọng.
• Jerry Z. Muller, The Tyranny of Metrics (Princeton University Press, 2018) — một bản trình bày rộng về thất bại đo lường qua giáo dục, y tế, kinh doanh và chính phủ.
• Văn phòng Kiểm toán Quốc gia Anh, "Performance measurement by regulators", và hướng dẫn của Văn phòng Trách nhiệm Giải trình của Chính phủ Hoa Kỳ phân biệt các thước đo hiệu suất với đánh giá chương trình.
• Ủy ban Chất lượng Chăm sóc và Ofsted, như các ví dụ về các cơ quan thanh tra và xếp hạng độc lập hoạt động ở khoảng cách một cánh tay với các tổ chức họ đánh giá.

Tài liệu tham khảo

1. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
2. Charles Goodhart — Wikipedia — https://en.wikipedia.org/wiki/Charles_Goodhart
3. Marilyn Strathern — Wikipedia — https://en.wikipedia.org/wiki/Marilyn_Strathern
4. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
5. Perverse incentive — Wikipedia — https://en.wikipedia.org/wiki/Perverse_incentive
6. Quality assurance — Wikipedia — https://en.wikipedia.org/wiki/Quality_assurance
7. Total quality management — Wikipedia — https://en.wikipedia.org/wiki/Total_quality_management
8. ISO 9000 family — Wikipedia — https://en.wikipedia.org/wiki/ISO_9000
9. Patient safety — Wikipedia — https://en.wikipedia.org/wiki/Patient_safety
10. Teaching to the test — Wikipedia — https://en.wikipedia.org/wiki/Teaching_to_the_test
11. Care Quality Commission — Wikipedia — https://en.wikipedia.org/wiki/Care_Quality_Commission
12. Ofsted — Wikipedia — https://en.wikipedia.org/wiki/Ofsted
13. Marilyn Strathern, "'Improving ratings': audit in the British university system" — European Review / EconPapers record — https://econpapers.repec.org/article/cupeurrev/v_3a5_3ay_3a1997_3ai_3a03_3ap_3a305-321_5f00.htm
14. Peter Smith, "On the Unintended Consequences of Publishing Performance Data in the Public Sector" — citation record — Scientific Research Publishing — https://www.scirp.org/reference/referencespapers?referenceid=1708685
15. Gwyn Bevan and Christopher Hood, "What's Measured Is What Matters: Targets and Gaming in the English Public Health Care System" — LSE Research Online — https://researchonline.lse.ac.uk/id/eprint/16211/
16. Jerry Z. Muller, The Tyranny of Metrics — Princeton University Press — https://press.princeton.edu/books/hardcover/9780691174952/the-tyranny-of-metrics
17. Performance measurement by regulators — UK National Audit Office — https://www.nao.org.uk/insights/performance-measurement/
18. Performance Measurement and Evaluation: Definitions and Relationships — US Government Accountability Office — https://www.gao.gov/products/gao-11-646sp
19. Care Quality Commission — official site — https://www.cqc.org.uk/
20. Ofsted — GOV.UK — https://www.gov.uk/government/organisations/ofsted