평가 역량 확립을 위한 제언

오세곤

벌써 10여 년 전의 일이다. 모 대학 박사과정 수업에서 연극단체 평가지표 개발을 한 학기 동안 진행한 일이 있었다. 3명의 박사과정 학생들과 함께 여러 시뮬레이션 과정을 거쳐 마침내 역사성(연수, 연 평균 공연편수), 활동성(최근 10년 공연일수, 최근 3년간 공연일수), 안정성(레퍼토리, 투어), 창조성(개발 프로그램 및 역량강화 워크숍 등, 초연작품), 예술성(수상, 초청)이라는 5개 대단위(10개 소단위) 평가 영역을 설정하였고, 그 틀을 서울 소재 주요 극단 34개에 대해 적용하여 그 결과를 논문으로 발표한 바 있다(오세곤 외 3인 공동 연구, 연극교육연구 제 14집 게재).

그런 뒤 2009년 문예진흥기금 지원을 받아 서울연극협회 소속 극단 전체를 평가하는 작업을 해보았는데 물론 자료가 부족하여 아예 평가를 시도할 수 없는 단체도 많았지만 자료의 충실성 여부를 기준으로 그룹을 나누어 평가해 본 결과 어느 정도 의미 있는 결과를 도출해 낼 수 있었다. 그러나 월간 <한국연극>을 통해 그 주요 내용을 발표하려던 계획은 최종 단계에서 무산되었다. 200여개 극단의 성적이 적나라하게 등수로 드러난 그 결과를 발표하는 일에 한국연극협회가 엄청난 부담을 느꼈기 때문이었다.

우리나라의 예술 평가 역량은 무척 낮다고 생각한다. 이런 저런 심사에 대해 늘 잡음이 있지만 전혀 개선되지 않고 같은 현상이 반복되는 것을 볼 때 그렇다. 만약 10여 년 전 발표가 강행되었다면 무척 시끄러웠을 것이다. 그러나 적어도 평가지표의 타당성을 따지는 일은 훨씬 발전적으로 시작되었을 것이다. 평가지표란 것이 처음부터 완벽할 수는 없지만 누군가 시작해야 문제가 보이고 그렇게 계속 문제를 찾아 보완하다 보면 나름대로 정확도가 높아지게 마련이기 때문이다.

오래 전 자료를 다시 열어 보았다. 놀랄 만큼 그때나 지금이나 상황이 변하지 않았음을 알 수 있었다. 그래서 당시 개발해서 적용했던 평가지표와 함께 머리말과 맺음말을 다시 한 번 소개하고자 한다. 여전히 출발점으로 삼을 정도의 고민을 담고 있는 것으로 여겨지기 때문이다.

참고로 전체 파일은 지금도 연극기록실(명칭은 ‘서울연극인대상’으로 되어 있음) 카페 공지사항에서 다운받을 수 있다. (https://cafe.daum.net/dramarecord)

(이하의 내용은 2009년 작성된 글의 일부를 필자가 발췌 및 편집한 것임을 밝힙니다)

<연극단체 기본평가(2009년 실시) 평가지표>

Ⅰ. 들어가며

최근 예술 지원 정책의 기조는 선택과 집중이다. 그러나 선택의 기준은 여전히 논란이 많다. 예술 평가를 위해 과연 어떤 기준이 합리적일까? 현재로서는 객관적 평가를 토대로 전문가의 주관이 결정하는 게 최선이라 생각한다. 객관적 평가가 좋아도 전문가가 안 좋게 평가할 수도 있고 그 반대도 있을 수 있다. 단 전문가는 그 이유를 명백히 밝히고 책임을 져야 한다. 이런 전제로 연극 단체에 대한 객관적 평가 지표를 설정해 보았고 이제 그것을 근거로 서울연극협회 소속 현존 극단에 대해 실험적 평가를 시도해 보고자 한다.

이를 위한 사전 작업의 일환으로서, 연극단체에 대한 객관적 평가지표를 역사성(연수, 연 평균 공연편수), 활동성(최근 10년 공연일수, 최근 3년간 공연일수), 안정성(레퍼토리, 투어), 창조성(개발 프로그램 및 역량강화 워크숍 등, 초연작품), 예술성(수상, 초청) 등 5개 대단위(10개 소단위) 영역으로 설정한 뒤 서울 소재 주요 극단 34개에 대해 평가를 시도해 보았다.(오세곤 외 3인 공동 연구, 연극교육연구 제 14집 게재)

이제 이 지표를 보완하여 서울연극협회 소속 200여개 극단 중 공연연보 확보가 가능한 약 150개 단체에 대해 기본 평가를 실행해 보고자 한다.(한국 근현대극 100년사 중 극단사 집필을 위해 자료를 수집한 결과 서울 소재 현존극단으로는 약 150개 단체의 공연 연보를 수집하였음.)

작업의 과정은 우선 대상 극단의 공연연보를 보완(기존 공연 연보 중 누락된 내용을 보완하고 특히 최근 추가된 공연 내용을 파악)하고, 평가지표도 보완한 뒤, 10개 하위 단위별 평가와 5개 대단위별 평가, 이어 그것을 합산한 종합평가를 실시하는 방식으로 진행되었다.

물론 이번 평가는 여전히 연구 내지 실험적 차원에서 진행되었다. 즉 당장 지원 심사 등에 활용하는 것은 대단히 조심스럽다. 그러나 이것을 시작으로 향후 수년간 공연 연보와 평가지표를 계속 보완해 나가 궁극적으로 권위를 인정할 만한 상태까지 이르도록 해야 할 것이다. 물론 그렇게 되면 타 장르에까지 같은 방법을 확대할 수도 있을 것이다.

작업 일정은 2009년 6월부터 8월까지 공연연보 및 평가지표를 보완하고, 9월과 10월 2개월간 통계 및 분석 작업을 한 뒤 11월에 공개세미나를 열어 의견을 들은 뒤 12월까지 추가 자료를 받아 수정 보완한 뒤 최종 결과물을 작성하여 발표하는 것이다.

이를 위한 연구진은 총 6명인데, 책임연구원에 오세곤, 연구원에 정주영(수석), 심희령(간사), 장시내, 이정현, 정정순 등으로 구성하였다.

Ⅱ. 연극단체 기본평가

(중략)

2. 평가 지표 및 점수 환산법

극단마다 역사와 특장이 다른 까닭에 공정한 평가를 위해 분석의 기준을 세우는 것은 되도록 신중하고 세분화된 방식으로 추진하는 것이 옳다고 판단하였다. 평가기준이 지나치게 단순할 경우 평가의 결과가 지나치게 편중되거나 단순화되어 다양한 장점을 가진 극단들의 형편을 모두 반영하지 못할 우려가 있다는 것이 조사연구 참여자들의 공통된 의견이었다.

반면에 평가기준이 지나치게 미세해지거나 분류항목이 많아질 경우 전체 극단의 공통분모를 추출하여 극단의 평점을 매기고 위상을 가리는 표본조사를 수행한다는 본래의 연구목적을 전혀 살리지 못하고 모든 극단이 동등하게 높은 점수를 얻게 되어 평가의 의의 자체가 유명무실해질 수 있다는 문제점도 제기되었다.

이렇게 평가기준을 어떻게 세울 것인가에 대해 오랜 토론과 다각도의 고찰이 있었으며, 먼저 가능한 모든 경우의 수와 평가 가능성을 제시한 뒤, 이를 다시 공통점을 가진 분모끼리 모아 통합하는 과정을 거쳤으며, 이렇게 수립된 분석을 토대로 극단의 “평가지표”를 세우게 되었다.

1) 평가지표의 내용

그 결과 평가지표로 역사성, 활동성, 안정성, 창조성, 예술성이라는 다섯 개의 대영역을 세우고, 각 대분류 항목 아래 2개의 소영역을 두어 총 10개의 평가지표를 구성했다. 그 구체적인 내용은 다음과 같다.

① 역사성

극단에 대한 가장 기본적인 평가요소로 창단 이후 현재까지 존립하는가에 대한 평가로 이 항목에서는 극단의 연수와 연평균공연수를 소영역으로 구분하였다. 연수는 극단의 창립시기부터 2009년까지의 연수를, 연평균공연수는 전체 공연 작품 수를 연수로 나누어 계산하였다. 이는 어떤 형태건 극단이 명맥을 유지했다면 그만한 능력과 노력의 결과로 간주해야 한다고 판단한 것이며, 역시 공연 작품 수도 그것이 크건 작건 또 공연 기간이 길건 짧건 최초 작품을 만들기 위해서는 일정한 시간과 노력이 필요하다는 점을 인정한 결과이다. 이에 있어 6개월이 지나면 비록 같은 제목이나 내용이라도 새로운 작품으로 간주했다. 연극의 특성상 6개월이 지나면 상당 부분을 새로 구성해야 하기 때문이다.

② 활동성

극단의 공연 활동 역량을 구체적으로 판별하기 위한 지표로서 지속성과 잠재적 능력에 초점을 맞췄는데, 이 항목에서는 최근 10년간(1999년 7월 1일-2009년 6월 30일)의 공연 일수와 최근 3년간(2006년 7월 1일-2009년 6월 30일)의 공연 일수를 나누어 계산하였다.

그런데 여기서는 극장 규모에 따른 차등이 필요하다고 판단하여 대극장(1,000석 이상)은 1.0, 중극장(300석 이상 1,000석 미만)은 0.8, 소극장(300석 미만)은 0.6의 비율을 적용하였다. 그리고 기록이 없거나 불분명할 경우 공연일수는 서울은 7일 지방과 해외 공연은 2일로 하였으며, 극장은 서울, 지방, 해외, 야외 공연은 중극장이라는 일괄 원칙을 적용하였다.

③ 안정성

극단이 지속적으로 공연하는 작품이 있는가 여부는 안정성과 관련하여 무척 중요하다. 따라서 이 항목에서는 레퍼토리 작품 현황과 국내외 투어 활동으로 나누어 각각 공연 일수를 계산하였다. 이에 있어 레퍼토리 작품은 한 작품의 공연 일수의 합계가 6개월이 넘을 경우 1점을 부여했고, 투어는 국내의 경우 1점, 해외의 경우 2점을 부여했다.

④ 창조성

극단이 자기계발을 통해 창의적인 운영 시스템과 새로운 공연문화 창달에 기여하고 있는가에 대한 평가로서 이 항목에서는 개발프로그램, 자체역량강화를 위한 워크숍 등의 운영 실태와 극단자체초연 작품 현황을 계산하였다. 개발프로그램이나 자체역량강화워크숍을 계산하는 기준은 희곡상이나 워크숍을 통한 작품 발굴 등 개발 프로그램, 자체역량강화워크숍 등을 실행한 년도를 세었고, 극단 자체초연의 기준은 다른 극단에서 공연되었는지의 여부와 상관없이 해당 극단에서 처음 제작한 작품의 숫자를 계산하였다.

⑤ 예술성

작품의 예술적 가치를 공식적으로 인정받은 결과를 수치화하였는데, 국내외 저명한 상의 수상과 역시 국내외 저명한 연극제에 공식 초청된 결과를 살폈다. 이에 있어 수상과 초청 모두 등급을 적용하였으며, 수상은 등수에 따른 차등을 두었다.

즉 수상과 초청은 등급별로 A급 3점, B급 2점, C급 1점으로 하였는데, 이번에는 일단 해외연극제, 국내주요연극제(서울연극제, 서울공연예술제, 전국연극제), 주요 연극상(동아, 백상, 각종경연A급, 이해랑, 히서, 김상열, 영희, 동랑, 올해의 베스트, 평론가협회수상, 문광부 올해의 예술인상 등)을 A급으로, 국내 전국규모 연극제를 B급으로, 지역규모 연극제 또는 전국규모 연극제의 지역예선을 C급으로 하였다. 또 등수는 1등은 1.0, 2등은 0.9, 3등은 0.8, 4등은 0.7로 하였는데, 여기서 1등은 실질적인 1등으로 대상과 금상이 있는 경우 대상이 1등, 금상은 2등으로 보았다.

이상의 내용을 도표로 정리하면 다음과 같다.

2) 점수 환산법

① 공연일수 점수는 대극장(1000석 이상) 1점, 중극장(300석 이상) 0.8점, 소극장(300석 미만) 0.6점 등 3등급으로 분류한 것에 곱하기 실제 공연일수로 하였다.

가) 해외공연

– 실제공연일수가 기록돼 있을 때 (실제공연일수×0.8)

– 실제공연일수 기록이 없을 때 (2일×0.8)

나) 지방공연

– 실제공연일수가 기록돼 있을 때 (실제공연일수×극장등급)

– 실제공연일수 기록이 없을 때 (2일×극장등급)

※ 극장등급이 불확실시에는 중극장(0.8) 점수 적용

다) 공연일수가 명확하지 않을 때

– 연보에 년도만 기재되었을 때 : 7×극장등급

– 연보에 달만 기재되었을 때 : 7×극장등급

※ 연보에 시작일은 있으나, 마지막 공연일 없을 때 시작일 1일만 적용

② 절대점수는 최초 조사결과에 평가원칙을 적용한 점수

③ 상대점수는 극단평균/절대점수×50으로 환산된 점수명

④ 상한적용점수는 최고점수를 100점으로 정하여, 최종점수가 100점을 넘었을 시 100점으로 평가 기록했음.

⑤ 극장 및 연극제 구분 사례

(하략)

Ⅲ. 나가며

이상 서울 소재 극단에 대한 기본 평가를 시도하여 보았다.

그 과정에서 가장 두드러지는 현상은 우리 극단들이 전반적으로 기록 관리에 취약하다는 것이다. 물론 이는 무엇보다도 열악한 연극 환경에서 기인할 것이다. 즉 최소한의 활동을 유지하는 데도 벅찬 상황에서 자신의 기록을 보존하고 정리한다는 것은 여간 어려운 일이 아니다. 그런데 문제는 그런 세월이 길어질수록 도저히 회복할 수 없는 상태가 되고 만다는 것이다. 이제부터라도 각 극단이 쉽게 기록을 보존할 수 있는 방법을 찾아야 한다. 사실 예술 지원 차원에서라도 이런 부분에 대한 배려가 필요하다고 생각한다.

다음으로 평가에 대해 대단히 민감하다는 것이다. 물론 ‘평가’라는 단어는 누구에게나 불편할 수 있다. 그러나 이런저런 이유로 자주 평가가 이루어지는 것 또한 피할 수 없는 엄연한 현실이다. 그런데 그 동안의 경험을 살피건대 현재의 평가는 객관적인 기준 없이 이루어지고 있다. 물론 대단히 복잡하고 세밀해 보이는 평가지표가 제시되기는 하지만 대부분 추상적이고 막연한 판단을 요구하는 항목들이다. 하지만 아무리 전문가라고 해도 그런 식의 평가에서 정확하고 일관성 있는 평가를 해내기는 어렵다. 더욱이 평가의 공정을 기한다는 이유로 평가자 풀을 만들어 놓고 임의로 평가자를 선정하는 방식을 택하고 있다. 이는 공정성은 몰라도 일관성에서는 심히 불리할 수밖에 없는 방식이다.

적어도 기본적인 정량평가가 있고 그것을 염두에 둔 전문가들이 종합적으로 판단하여 최종 결론을 내는 것이 합당하건만, 현재 우리의 방식은 모든 것을 전문가의 직관에만 맡기고 있는 셈이다. 매번 평가자가 바뀌고 또 그렇게 결정된 평가자들마다 기준이 다르다는 것은 결국 평가의 안정성을 심하게 훼손할 수밖에 없다.

그러다 보니 선택과 집중이라는 이름 아래 수많은 극단들이 아예 고려 대상도 못 되는가 하면 오랜 경륜의 극단과 막 생겨난 신생극단이 한 범주 아래 심사를 받기도 한다. 그러니 평가자의 선호에 따라 오랜 연륜이 무시되기도 하고 젊은 극단의 창의성이나 활동력이 간과되기도 한다. 그런데도 연극계 스스로 객관적인 평가를 해보자고 하면 “예술에 대한 평가는 불가하다”며 반대하는 목소리가 높다. 즉 자체적으로 할 수 있는, 또 서로 공감할 수 있는 객관적 정량평가에는 미온적인 채, 수시로 진행되는 주관적이고 일관성없는 전문가 평가는 기꺼이 감내하는 것이 우리 연극계의 현실인 셈이다.

이에 있어 평가는 객관적 정량평가와 주관적 전문평가가 함께 이루어지는 것이 이상적이다. 물론 최종 결정은 전문가가 내리는 것이 옳고, 때로는 객관적 정량평가와 전혀 상반되는 결정도 가능해야 한다. 다만 그 최종 결정에 대한 이유는 반드시 밝혀야 하고 또한 당연히 공개되어야 한다. 적어도 전문가라면 그런 당당함은 있어야 할 것이다.

이런 기본평가를 전제로 현재의 지원 체제를 단순한 선택과 집중이 아닌 좀더 세분화된 체제로 바꾸어야 한다고 생각한다. 높은 역량의 극단을 선택하여 집중적으로 지원하되, 지금의 천편일률적 방식이 아니라, ‘찾아서 지원하기’, 컨설팅을 통한 ‘맞춰서 지원하기’를 대원칙으로 삼아야 하며, 또 아직 그 역량이 검증되지 않은 신생극단에 대하여는 일정 정도까지는 ‘무조건 지원하기’가 이루어져야 한다. 물론 이 경우 일정 과정이 지난 후 평가에 의해 계속 지원 여부가 결정되는 식의 보완은 당연히 필요할 것이다.

아직은 요원해 보이지만, 언제고 그런 세밀하고 실제 현실에 기여할 수 있는 지원제도의 정착을 기대하며, 그 기초로서 이번 연구 작업을 수행하였다. 이에 있어 아직은 실험 차원이므로 앞으로 여러 차례 수정 보완하여 정말로 정확하고 객관적인 평가 지표를 개발할 것을 약속한다.