편집실일기

미리 읽는 책 한쪽┃<성과지표의 배신The Tyranny of Metrics> 제리 멀러 지음, 김윤경 옮김
등록일 : 2019-11-14
트위터로 공유하기 페이스북으로 공유하기 미투데이로 공유하기




 


데이비드 사이먼과 에드워드 번즈가 실제 경험을 바탕으로 각본을 쓴 미국 방송 채널 HBO 드라마 <더 와이어The Wire>는 일각에서 우리 시대를 잘 대변하는 뛰어난 문화 기록물로 여겨진다. 그도 그럴 것이, 볼티모어라는 미국 도시 한 곳에 스포트라이트를 비추고 경찰, 학교 시스템, 지방정치, 언론 같은 주요 기관들을 심층 분석하고 이 기관들의 활동과 역기능을 적나라하게 펼쳐 보여주기 때문이다. 조직의 역기능이라는 테마가 서구 사회 전반에 만연한 문제인 까닭에 이 시리즈는 전 세계 시청자들을 끌어 모았다.
 

<더 와이어>에는 여러 가지 주제가 반복적으로 등장하는데, 그중에서도 측정지표metrics, 즉 측정된 성과가 “책임성accountability”의 보증 수표로 부각되는 점이 흥미롭다. 경찰 지휘관들은 범죄 해결 건수, 마약범 검거 수, 범죄율 같은 수치를 맞추는 데 혈안이 되어 있고, 이런 통계적 목표치를 맞추기 위해 효과성을 희생시키는 다양한 수단까지 동원한다. 정치인들은 경찰이 범죄를 통제하는 데 성공했음을 증명하는 여러 수치를 요구한다. 그래서 경찰 조직은 살인 사건이 관할 구역으로 배정되지 않도록 최선을 다하며 몸을 사린다.

어떤 강력계 경사는 마약 갱단이 폐가에서 시체를 처리한다는 사실을 알고도 이를 들추지 못하게 훼방을 놓는다. 이 사실을 드러내봐야 범죄 해결의 측정지표인 “소탕률”만 줄어들기 때문이다. 이야기의 큰 줄기는 거물급 마약왕에 맞서 복잡한 범죄 사건을 풀어나가려는 열혈 형사들을 중심으로 흘러간다. 하지만 이 사건을 해결하는 데는 몇 년까진 아니더라도 몇 달이 걸리기 때문에 이들의 상관들은 경찰 조직이 좋은 측정지표를 얻을 수 있도록 잔챙이 마약상들만 체포하며 부하들의 사기를 꺾어놓는다. 이런 잔챙이들이 금세 다른 잔챙이로 대체된다는 사실은 상관들의 관심 밖이다. 해를 넘기기 전에 중범죄 발생률을 5퍼센트 줄이라는 시장실의 강력한 요청은 실제 범죄를 눈감아주거나 범죄의 경중을 낮추어야 달성 가능한 목표이기 때문이다. 그래서 사건이 터질 때마다 상관들은 “통계치를 속이는” 데 여념이 없다. 실제 결과를 왜곡하거나 범죄 예방에 투입해야 할 시간과 노력을 비생산적인 일에 씀으로써 측정지표를 개선하는 것이다.
 

여기에, 가난과 마약남용, 가족 해체로 몸살을 앓는 한 동네에서 중학교 교사로 일하는 전직 경찰의 이야기가 또 다른 줄거리를 이룬다. 학생들의 성적이 낮은 이 학교는 학생들의 시험 점수가 오르지 않으면 문을 닫을 위기에 처해 있다. 그래서 교사들은 영어 읽기 및 쓰기 표준 시험이 치러지기 6주 전부터 교장의 지시에 따라 모든 수업 시간을 이 시험 준비에 쏟아붓고 다른 과목들은 아예 무시한다(“교과과정 조정curriculum alignment”으로 완곡하게 일컫는 전략). 통계치 속이기와 같은 “시험 위주의 수업”은 교육 기관의 변질을 부르는 한 방식으로, 교육 기관이 그 진정한 목적인 교육이 아니라 그 생존권이 달린 측정 목표치를 맞추는 데 노력을 쏟게 만든다.
 

성과 측정지표가 만들어내는 왜곡 효과는 대서양 건너편에 있는 영국에서도 못지않게 감지된다. 이번에도 관련 직종 종사자가 쓴 TV 시리즈에서 동일한 현상을 다루고 있다. 바로 전직 병원 의사였던 제드 머큐리오가 쓴 <바디스Bodies>다. 어느 한 대도시 병원의 산부인과 병동을 중심으로 펼쳐지는 이 드라마의 1화에서는 새로 부임한 선임 외과의사가 복합성 동반질환 환자를 수술하게 되는데, 수술 후 환자가 죽자 라이벌 의사가 다음과 같이 충고한다. “뛰어난 외과의사란 뛰어난 판단력을 이용해 그 뛰어난 능력이 시험에 들지 않도록 피하는 사람일세.” 다른 말로 하자면, 성공률을 유지하기 위해 어려운 수술 건은 피하라는 말이다. 자신의 측정 성과에 부정적인 영향을 줄 수 있는 위험한 상황을 회피하는 일명 “고객 선별creaming”의 대표적인 전략이라 할 수 있다. 이 책략의 대가는 수술 실패 위험이 큰 환자들이 수술도 받지 못한 채 죽음으로 내몰릴 수 있다는 것이다.
 

<바디스>는 의학 드라마지만 그 안에서 그려지는 현상들은 실제 세계에도 존재한다. 일례로, 외과의사들의 평가와 보상이 수술 성공률에 따라 이뤄질 경우 일부 의사들이 복잡한 질병이나 중대 질환을 앓는 환자들의 수술을 거부한다는 사실은 수많은 연구에서 밝혀졌다. 수술이 복잡한 환자, 즉 실패 확률이 높은 환자를 배제하면 외과의사의 수술 성공률이 올라가고, 그에 따라 측정지표와 평판, 보수도 상승한다. 물론 그 대가로 수술에서 배제된 환자들이 목숨을 잃게 되지만, 이 같은 희생은 측정지표에 반영되지 않는다.
 

앞으로 살펴보겠지만, 측정지표와 관련된 꼼수는 치안, 초등교육, 중등교육 및 고등교육, 의료, 비영리조직, 당연히 영리사업에 이르기까지 모든 영역에서 나타난다. 꼼수는 성과 측정지표를 보상이나 처벌의 기준으로 사용할 때 불가피하게 발생하는 유일한 문제 유형이다. 세상에는 측정 가능한 것이 있고, 측정할 가치가 있는 것이 있다. 하지만 측정할 수 있다고 해서 꼭 측정할 가치가 있는 것은 아니며, 측정되는 항목은 우리가 정말 알고자 하는 것과 무관할 수 있다. 어쩌면 측정 비용이 그 혜택을 훨씬 능가할지도 모른다. 엉뚱한 것을 측정하느라 정작 중요한 것에는 힘을 쏟지 못할 수 있다. 뿐만 아니라 측정은 우리에게 왜곡된 지식, 즉 겉보기에는 믿을 만하지만 실제로는 기만적인 지식을 제공하기도 한다.

(후략)

* 이 책은 오는 1월 중에 독자분들께 선보일 예정입니다. 

목록으로