종로하늘 '최하' 평가 그대로 .. '평가원 자료 공개해야'

[베리타스알파=박대호 기자] 6월모평 수학(나) 1등급컷은 92점일까, 91점일까. 6월모평 수학(나) 원점수 1등급컷을 두고 입시기관별 등급컷 해석이 달리 제시됐다. 92점이 수학(나) 1등급컷이라는 의견과, 91점이 1등급컷이라는 의견이 팽팽히 맞선 형국이다. 대성 비상교육 비타에듀는 92점을 1등급컷으로 산출한 반면, 종로하늘을 비롯해 이투스 메가스터디 EBS는 91점을 1등급컷이라고 봤다. 유웨이는 최초 91점을 1등급컷으로 봤으나 92점으로 판단을 바꿨다고 밝힌 상태다.

수학(나) 영역에서 상위 4.74%에 해당하는 표점 133점까지 1등급이라는 부분은 평가원이 발표한 사항으로 변동될 수 없는 사항이다. 입시기관들은 수학(나) 원점수 92점이 표점 133점으로 1등급에 포함된다는 사실에는 의견을 같이 했다. 차이는 표점 133점이 원점수 기준 92점에서 끊길지, 91점까지 포함될지에서 갈렸다. 92점을 1등급컷으로 예측한 입시기관들은 수학(나) 91점이 표점 132점에 해당해 2등급이라고 본 반면, 91점을 제시한 기관들은 91점까지 표점 133점에 포함돼 1등급에 걸친다고 주장한다.

▲ 6월모평 수학(나) 원점수 1등급컷을 두고 현장에 일대 논란이 불어닥쳤다. 입시기관별 등급컷 해석이 91점과 92점으로 양분됐기 때문이다. 원점수 기준 평균/표준편차를 공개하지 않는 평가원으로부터 촉발된 동점자 구간에 대한 해석 논란이 해마다 되풀이되는 상황에서 평가원이 적극적인 정보제공에 나서야 한다는 성토의 목소리가 드높다./사진=베리타스알파DB

<입시기관들의 이견.. 왜 발생하나?>
기관들의 견해 차이는 공개된 표준점수별 등급컷, 도수분포표 등을 활용해 원점수를 역산하는 과정에서 발생한다. 속칭 ‘동점자 구간’에 대한 해석 차이다. 원점수는 표준점수와 1대 1로 대응되지 않는 구조다. 최소 배점이 2점부터 시작하기 때문에 원점수 99점은 아예 불가능하고, 사례 자체가 희귀한 구간도 발생가능하다. 결국 상이한 원점수를 받았다 하더라도 표점은 동일한, ‘동점자 구간’이 발생할수 있다. 해당 구간이 입시기관의 해석을 엇갈리게 만든 지점이다.

92점에서 1등급컷이 형성된다고 보는 기관들은 원점수 92점과 91점을 동점자 구간에 해당하지 않는다고 분석한다. 92점까지가 표점 133점이며, 91점부터는 표점132점으로 2등급이 된다는 분석이다. 즉, 상위 4.74%에 해당하는 표점133점이 92점에서 끊긴다는 것이다. 원점수 91점을 표점으로 변환했을 시 132.5점 미만이 돼 132점이 된다는 계산을 기반으로 한다.

반면, 91점까지 1등급으로 추정한 기관들은 92점과 91점을 동점자 구간으로 본다. 91점을 받은 학생들이 극소수에 불과해 상위 4.74%에 포함됐다고 보는 것이다. 91점과 92점이 동일한 표점 133점이라는 해석이다. 91점은 표점 변환 시 132.5점 이상이 되며 133점으로 편입된다는 것이 91점을 1등급컷으로 보는 기관들의 논리다. 즉, 91점이 동점자 구간에 포함됐느냐 아니냐가 이번 논란의 핵심인 셈이다.

<등급컷 확정 불가능의 배경>
- '묵묵부답' 평가원
입시기관들이 서로 자신의 해석이 맞다고 주장하고 있지만, 현 상황에서 실제 1등급컷이 92점인지 91점인지 원점수 등급컷을 확정하는 일은 기대하기 어렵다. 기관별 추정치의 간극을 좁히기 위한 해결방법은 실제 사례를 찾거나 시험 주관처가 사실관계를 밝히는 방법이 있을 뿐이다. 현실적으로 쉽지 않은 방법이다. 

모평과 수능을 주관한 한국교육과정평가원은 성적통계자료 일체를 표점 기준으로만 제공한다. 등급컷, 도수분포표 등도 전부 표점 기준이다. 학평을 주관하는 교육청들이 원점수 기준 평균/표준편차를 공개해 논란발생을 예방하는 것과 대비된다. 학평과 달리 6월모평/9월모평/수능은 등급컷 관련 논란이 종종 발생하는 이유는 평가원의 성적자료 공개 방식에 기인한 셈이다. 

한 업계 관계자는 “원점수 평균과 표준편차만 주어진다면 모든 논란은 종식되지만 평가원은 원점수 통계 제공에 '절대불가'라는 입장을 고수하고 있다. 몇번이고 자료제공을 요청했지만 돌아오는 답은 똑같았다. 원점수 기반 자료제공이 되지 않으면서 발생하는 혼란에 대해서 아무런 고려도 없는 모습”이라고 말했다.   

- 표본검증 불가능한 91점 구간
남은 해결방법은 원점수 91점을 받은 수험생의 표점을 직접 확인하는 것이지만, 91점을 받기 위해 틀려야하는 문제 조합이 희귀하기 때문에 쉽지 않은 상황이다.

총 30문항인 수학(나)는 2점문항이 3개, 3점 문항이 14개, 4점 문항이 13개 구조다. 논란이 된 91점의 경우 3점짜리 3개를 틀리거나, 4점 1개+3점 1개+2점 1개 조합, 2점 3개+3점 1개 조합을 틀려야만 나올 수 있는 점수다. 어려운 문제들로 점철된 4점짜리 문제를 전부 맞춘 수험생이 쉬운 문제로 분류되는 2점문항인 1~3번 전부를 틀리는 것은 상정하기 힘든 희귀한 사례다. 실수로 1개를 틀릴 수 있다고 보더라도 4점 1개, 3점 1개까지 골고루 틀려야만 91점이 나온다. 주관식 5문제가 포함된 4점짜리를 전부 맞춘 학생이 공교롭게 3점짜리 3개를 틀리는 것도 가능성이 낮다.

때문에 91점을 받는 수험생은 전국적으로 따져봐도 극히 드물다. 92점까지 표점 133점으로 산정하는 경우 도수분포표 기준 91점 학생은 106명을 절대 넘을 수 없다. 91점이 표점 133점에 포함된다고 하더라도 91점 학생은 50명에도 미치지 못한다는 게 입시기관들의 공통적인 의견이다. 고교 현장과 입시기관들이 실제 표본을 찾아내지 못할 것으로 관측하는 이유이기도 하다.

우여곡절을 거쳐 표본을 찾아낸다 하더라도 해당 표본의 진실성을 검증할 방법이 전무하다는 것도 걸림돌이다. 가채점 과정에서 오류 등이 있었을 가능성을 배제할 수 없는 때문이다. 다수의 91점 표본을 찾아내 전원 132점/133점으로 표점이 통일되는 상황이라면 가능성이 있지만, 표본 간 표점 차이라도 발생하는 경우 어느 표본이 옳은지도 판단이 불가능하다.

<등급컷 둔 첨예한 대립 왜?>
입시기관들 사이에 92점과 91점을 두고 벌어진 첨예한 논쟁은 원점수 등급컷이 얼마냐에 따라 기관별 분석력을 판가름하는 본지의 추정 등급컷 검증기사 때문이다. 실제 <베리타스알파>는 6월모평 당일 입시기관별 최초발표 원점수 기준 예상 1등급컷을 수집해 모평결과 발표 이후 실 데이터와 비교하는 과정에서 수학(나) 1등급컷을 92점으로 ‘전제’하고 분석을 실시했다. 입시기관별 추정치가 엇갈리는 상황에서 최선의 선택은 그간 드러낸 분석력을 기준으로 판단해야 한다고 봤기 때문이다. 그간 예상 1등급컷 적중도에서 대성이 가장 앞서있는 기관이었고 대성 평가연구소와 함께 발표 당일이 아니라 하루동안 검토를 거친 끝에 92점의 타당성이 높다고 보고 기사를 게재했다. 

일부 입시기관들이 분석결과를 두고 즉각 민감한 반응을 표출한 것은 1등급컷을 어떻게 전제했느냐에 따라 분석력 순위가 뒤바뀌기 때문으로 보인다. 6월모평 당일 종로하늘을 제외한 9개 입시기관은 전부 92점을 1등급컷으로 예측한 반면, 종로하늘은 89점을 1등급컷이라고 주장했다. 수학(나) 1등급컷을 92점으로 전제할 시 ‘최하’ 적중 입시기관은 1개를 맞히는 데 그친 데다 수학(나)에서 홀로 등급컷을 맞히지 못해 저조한 분석력을 드러낸 종로하늘이지만, 91점을 1등급컷으로 두면 ‘최하’는 1개 등급컷도 맞히지 못한 메가스터디가 된다. 분석력 ‘최하’기관의 주체가 바뀌는 셈이다.

하지만, 92점과/91점에 대해 확정지을 수 없는 상황에서 입시기관에 대한 판단은 그간 신뢰도가 높았던 기관의 등급컷을 옳다고 가정하는 것 외에는 뾰족한 수가 없다. 모평 당일 발표한 수학(나) 1등급컷의 실질을 들여다보는 방법으로 풀어 나가는 것이 남은 방법 중 유일한 해결책이다. 종로하늘이 주장하는 91점이 사실이라고 판명되지 않았듯이 92점도 가능성이 높은 것에 불과하다. 91점이 실제 1등급컷이 될 가능성도 충분히 존재한다는 이야기다. 검증이 불가능할 뿐이다. 끝나지 않는 논쟁을 차치하고 보면, 91점/92점에 대한 이견은 동점자 구간에 대한 해석 차이다. 유의할 대목은 모평 당일 종로하늘이 홀로 89점을 예측했다는 바뀌지 않는 사실을 환기하는 것이다. 

<결국 '최하'는 종로하늘.. 확정 불가능 논란 차치하면 최저 분석력>
등급컷 분석이 결국 입시기관들의 ‘공력’을 판단하는 잣대라는 본래 의도를 돌아가면, 결국 ‘최하’는 종로하늘이다. 모평 당일 수학(나) 원점수 1등급컷을 홀로 89점으로 분석한 치명적인 오류 때문이다. 사실상 91점과 92점 논란이 등급컷을 맞혔느냐에 대한 다툼이 아니라 주어진 표점을 두고 원점수에 대응시키는 분석력 싸움임을 고려하면, 실제 모평당일 어떤 기관이 어떤 형태의 등급컷을 내놓아 현장 및 교육수요자들에게 혼란을 가져왔는지, 정확한 분석력을 보였는지를 따져봐야 한다.

모평당일 1등급컷 발표는 결국 상위4%가 원점수 기준 몇점에서 끊기는지를 찾는 작업이다. 9개기관이 92점으로 분석했다는 것은 92점까지 4%로 들어올 것으로 봤다는 이야기다. 종로하늘만 유일하게 89점이 돼서야 누적인원이 4%가 된다고 분석한 셈이다. 한 업계 관계자는 "6월 모평 당일 수학(나)를 두고 모든 기관이 92점으로 예측했지만, 종로하늘이 89점으로 예측하면서 엇갈린 것은 결국 1등급에 해당하는 상위 4%인원이 어디까지냐를 두고 해석이 달랐기 때문이다. 다른 기관들은 원점수 92점에서 4%가 끊긴다고 본 반면, 종로하늘은 89점까지 내려가야 4%가 끊긴다고 본 것"이라며, "1등급컷인 표점 133점에 91점이 포함되느냐 아니냐는 누구도 해결할 수 없는 문제다. 입시기관의 분석력 관점에서 봤을 때 모평 당일 홀로 상위 4%의 범위 설정에서 오류를 범한 종로하늘이 '최하'라고 봐야 한다"고 설명했다.

종로하늘은 자신들의 분석이 옳다는 주장을 꺾지 않고 있지만, 역으로 생각해보면 종로하늘이 ‘최하’라는 점은 자명하게 드러난다. 1등급컷의 기준점이 91점이든 92점이든 종로하늘이 가장 낮은 적중률을 보인 것으로 봐야 하는 때문이다. 92점을 1등급컷으로 본 9개기관의 경우 실제로 92점이 1등급에 해당했으나, 89점을 1등급컷으로 본 종로하늘의 경우 89~90점이 2등급이란 사실이 이미 드러났기 때문이다. 91점을 두고 누구도 정답을 장담할 수 없는 상황에서 홀로 89~90점을 1등급이라고 주장한 기관의 분석력이 가장 낮음은 자명하다. 

결국 종로하늘이 91점이 진실이라면서 9개기관이 틀렸다고 주장하는 것은 다른 입시기관들을 끌어내리겠다는 의도로 밖에 볼수없다. 모평 당일 89~90점을 받은 수험생이 종로하늘의 예측을 기반으로 1등급이라 생각하고 수능최저 등을 고려해 수시지원전략을 짠 경우라면 다시금 지원전략을 수정해야 하는 결과를 빚었음에도 불구하고 91점이 1등급컷이니 다른 입시기관들도 틀렸다는 주장만 되풀이하는 것을 건설적인 의견제시로 보기는 힘든 형국이다. 

한 업계 전문가는 “수학적으로 91점이 나올 확률이 높다 하더라도 말 그대로 확률에 불과하다. 실제 등급컷이 몇점인지는 별개의 이야기다. 등급컷을 두고 그간 벌어진 일련의 논의들을 돌이켜보면, 이견이 발생한 상황에서 1등급컷을 확정지을 수는 없는 노릇이다. 종로하늘은 수학(나)에 대한 분석력 부족을 이미 모평 당일 드러낸 상태다. 수학(나)를 1등급컷을 91점으로 가정하면 종로하늘이 아닌 메가스터디가 ‘최하’분석력의 주체가 된다. 다른 기관들을 끌어내려 최하를 면하겠다는 종로하늘의 치졸한 접근으로 보인다”고 설명했다. 실제 등급컷 논란을 두고 기관별로 내비친 민감함의 정도에는 차이가 컸다. ‘최하’를 벗어나기 위해 타 입시기관을 끌어내리는 모양새가 나온 반면, 사실여부가 밝혀질 경우 겸허히 오류를 인정하겠다는 곳까지 입시기관들이 해당 논란을 대하는 태도는 천차만별이었다.

<등급컷 논란.. 평가원이 나서야>
물론 원점수 등급컷 논란의 책임은 평가원에 있다. 유독 모평/수능에서 원점수 기준 평균/표준편차를 공개하지 않아 생기는 논란인 때문이다. 평가원은 원점수 기준 어떠한 통계자료도 제시할 수 없다는 입장이다. 평가원 관계자는 “표점 관련 내용이라면 적극적으로 정보제공에 나설 수 있겠지만, 원점수를 기반으로 하는 내용은 어떤 부분도 언급할 수 없다”고 밝혔다.

평가원의 소극적인 태도 때문에 수험생들의 관심사에서 벗어나 있는 일부 탐구영역이나 하위등급까지 범주를 넓히면 등급컷 추정치가 확정되지 않고, 다르게 발표되는 것은 모평/수능에서 흔한 일로 여겨질 정도다. 굳이 관심사를 벗어나지 않는 경우에도 논란은 종종 일어난다. 지난해 수능에서도 등급컷을 두고 입시기관별 이견은 발생한 바 있다. 당시 입시기관들은 수학(A) 1등급컷을 두고 95점과 96점을 두고 견해가 갈렸으나 결국 합의점을 찾지 못했다.

등급컷이 발표되지 않아 생기는 현장의 혼란은 고스란히 교육 수요자들의 몫으로 돌아간다. 특히, 진학지도를 맡은 고교 교사들은 수학(나) 91점이 1등급인지, 92점이 1등급인지 알 수 없어 답답하다는 의견을 나타내기도 했다. 한 자사고 진학교사는 “대입에서 직접적으로 활용되는 항목은 표점이지만 시험 난이도에 따라 표점 만점이 바뀌기 때문에 간접적인 비교를 위해 원점수도 활용되곤 한다. 입시기관들이 상이한 분석을 내놓을 때면 진학지도에 어려움이 있다. 원점수는 표점보다 직관적이라는 장점 때문에 특히 난이도를 따질 때 활용도가 높다. 대입에서는 최대한 많은 정보가 주어질수록 유리하다. 학력고사 시절처럼 전체 위치가 낱낱이 제공되는 것은 불가능하겠지만 원점수 기준 등급컷에서 혼동이 발생하는 것은 바람직하지 못한 현상이다”라고 지적했다.

등급컷 논란으로 인해 수험생들도 실제 자신의 원점수가 얼마였는지 측정하는 데 혼동을 겪는 모양새다. 현재처럼 원점수 기준 등급컷이 확정되지 않으면, 수험생들은 자신의 마킹 실수, 가채점 오류 등을 판단할 근거가 없다. 표점 133점을 받은 수험생이 자신의 원점수가 92점인지 91점인지를 알 방법이 없는 셈이다.

평가원이 원점수 기준 평균/표준편차를 공개함으로써 현장 혼란을 해소해야 한다는 목소리가 어느 때보다 높은 상황이다. 한 업계 전문가는 “평가원은 표점으로만 통계자료를 제공한다는 입장이지만, 평균/표준편차 제공이 가져올 불이익이 없다는 점을 간과하지 말아야 한다. 평균/표준편차 제공이 사교육기관의 분석을 돕는다고 볼 여지가 있다고는 하나, 애초 원점수 기준 등급컷을 제공하지 않아 수요자들이 사교육기관들의 분석에 의존하게 만든 것이 평가원이다. 동점자 구간 계산시 원점수 기준 평균과 표준편차가 있다면 입시기관별 이견은 발생하지 않는다. 원점수 평균과 표준편차가 주어지는 경우 동점자 기준으로 의심되는 점수 구간의 값들을 조정하는 과정을 거침으로써 상이한 등급컷 추정은 미연에 방지될 수 있다. 매번 되풀이되는 현장 혼란을 방지하는 차원에서 원점수 기준 평균/표준편차만 제공하는 방향으로 입장을 선회해야 한다”고 말했다.

 
본 기사는 교육신문 베리타스알파의 고유 콘텐츠입니다.
일부 게재 시 출처를 밝히거나 링크를 달아주시고 사진 도표 기사전문 게재 시 본사와 협의 바랍니다.
저작권자 © 베리타스알파 무단전재 및 재배포 금지