[알고보자] 등급컷 적중률 유웨이 1위? 기준없는 통계로 오해양산

[베리타스알파=박대호 기자] 수능 모평 당일이면 입시기관들은 앞다퉈 예상 등급컷을 쏟아낸다. 수시 수능최저 충족 여부에서부터 정시를 겨냥한 수시 대학별고사 응시 포기 여부 등 다양한 쓰임새가 존재하는 탓에 등급컷에 쏟아지는 교육계의 관심은 이루 말할 수 없을만큼 높다. 20일 J일보는 지난 3년간의 수능1등급컷과 2등급컷 원점수를 토대로 입시기관별 적중률을 조사한 결과 유웨이 진학사 이투스/종로하늘/비상교육 메가스터디/대성마이맥 순으로 적중률이 높았다는 3년간의 분석력 순위를 공개했다. 과연 이 같은 J일보의 주장은 사실일까.

J일보의 주장은 실제 사실과는 크게 동떨어져 있다. <베리타스알파>가 그간 수능/모평 당일마다 발표한 등급컷을 기준으로 통계낸 결과 입시기관별 분석력 순위는 크게 달랐기 때문이다. 2015학년부터 2017학년까지의 6월모평/9월모평/수능과 올해 6월모평/9월모평까지 총 11회 수능/모평을 기준으로 분석한 결과 가장 적중률이 높은 곳은 대성이었고, 이어 종로하늘 이투스 메가/유웨이/EBS 진학사 비타에듀 순이었다. J일보가 꼴찌로 지목한 대성은 도리어 가장 분석력이 뛰어난 기관으로 자리매김해있었고, 1위에 버금가는 입시기관이라던 진학사는 뒤에서 두 번째 분석력을 지닌 것에 불과했다. 

J일보의 잘못된 보도는 집계기준을 제대로 세우지 않았기 때문으로 추정된다. 베리타스알파는 수능 모평 당일 등급컷 집계 시 기관들이 최초 발표한 등급컷만을 기준으로 적중률을 측정한다. 최초발표 후 타 기관의 등급컷을 참고해 수정하기 시작한 등급컷은 시간이 지날수록 비슷하지면서 ‘분석력’ 측정과는 거리가 멀기 때문이다. J일보의 보도는 이같은 등급컷의 특성을 무시한 채 이뤄져 있었다. 최근 3년간의 수능 1등급컷만 놓고 보더라도 베리타스알파의 최초발표 등급컷 집계와 J일보의 집계에는 차이가 컸다. 2016 수능에서 각 2개영역 1등급컷을 적중한 이투스는 3개, 진학사는 4개 적중으로 탈바꿈해있었고, 재작년 수치도 1개 적중인 비상이 3개 적중으로 부풀려져 있는가 하면, 3개 적중인 메가는 2개 적중으로 축소돼있는 등 기준점이 명확하지 못한 모습이었다. 직접 집계한 것이 아니기에 자료의 일관된 기준조차 없는 상황이다. 한 입시기관 관계자는 “J일보에서 지난해 수능 가채점 등급컷을 요청해와 제공했다. 정확한 날짜 등 기준이 없는 모습이기에 기관별 분석력 측정에는 시기의 일관성이 중요하다는 점을 신신당부했지만, 지켜지지 않은 것으로 보인다. 애당초 우리가 제공한 자료도 수능과는 상당한 거리가 있던 시점이었다”라고 말했다. 

등급컷과 분석력의 상관관계조차 파악하지 못하고 순위를 매기는 행태는 오해만 촉발할 뿐 긍정적 효과는 전무하다는 게 전문가들의 진단이다. 한 교육 전문가는 “J일보의 등급컷 적중률 순위 발표는 문제점이 많았다. 수능 당일 최초발표된 등급컷이 아니라는 점에서 실질 분석력을 따질 수 있는 자료도 아니거니와 입시기관들로부터 등급컷을 제공받는 과정에서 기준도 없는 상황이다. A기관은 수능 당일 발표한 생생한 등급컷을 제공하고, B기관은 며칠이 지나 계속해 등급컷을 수정한 결과를 제공했다면 이는 분석력을 측정한 것이라고 보기 어렵다”이라며, “J일보의 잘못된 보도를 기반으로 수능최저 충족 여부 판단을 잘못하는 수험생이 나온다면 이를 책임질 수 있겠는가 묻고 싶다. 특히, 수시에서 합격하면 정시에 지원 불가능한 탓에 수능 당일 가채점을 기반으로 대학별고사 응시 여부를 결정하는 최근의 대입전략 상 이러한 보도로 불의의 피해를 입는 수험생이 많을 것이다. 대입에 대한 언론의 몰이해가 이번 일의 근본적 원인인 것으로 보인다”라고 지적했다. 

<입시기관별 등급컷 적중률? 사실과 달라>
수능 모평 당일 시험이 끝나는 시간이면 수요자들은 물론이고 현장 교사, 전문가들까지 교육계의 관심이 집중되면서 검색어 순위를 다투는 주제가 있다. 입시기관들이 앞다퉈 내놓는 예상 등급컷이다. 수능 모평 주관기관인 한국교육과정평가원의 공식 성적발표는 통상 2~3주가 소요됨에 따라 수시 수능최저 충족 여부에서부터 정시를 겨냥한 수시 대학별고사 응시 포기 여부 등 쓰임새가 다양한 입시기관들의 등급컷에 쏠리는 관심은 실기간 검색어 1위에 오를 만큼 높을 수 밖에 없다. 

J일보는 20일 최근 3년간의 수능을 기준으로 매해 등급컷을 발표하는 입시기관 7곳의 정확도를 분석한 결과를 발표했다. 지난 3년간 입시기관들이 내놓은 수능 1등급컷과 2등급 예측값과 실제 수능 등급컷의 적중률을 분석한 결과 유웨이가 64%로 적중률이 가장 높았고, 진학사(61%), 종로하늘/비상교육/이투스(각 57%), 메가/대성(각 54%) 순이란 내용이었다. 7개업체의 지난 3년간 등급컷 적중률 평균은 58%로 제시됐다. 수능에선 한 문제로 등급이 갈리기도 하기에 등급컷을 정확히 맞히는 게 중요하다는 설명도 덧붙였다.

문제는 J일보의 발표에 신뢰할 수 없는 내용들이 섞여있다는 점이다. 당장 베리타스알파가 그간 수능/모평 당일이면 조사해온 등급컷과 차이가 컸다. J일보는 지난해 치러진 2017 수능에서 이투스가 3개, 진학사가 4개를 각각 적중했다고 발표했지만, 베리타스알파가 수능 당일 집계한 최초발표 등급컷 조사에 따르면 두 기관은 2개 적중에 그쳤다. 1등급컷만 비교했음에도 7개기관 중 2개기관에서 오류가 있었던 것이다.

2016 수능은 이보다 더 문제가 심각했다. 수능 당일의 최초등급컷 발표결과와 다른 결과값이 5개나 있었다. 전체 조사대상이 7개임을 고려하면 대부분의 집계가 잘못됐다는 얘기다. J일보가 4개 적중으로 발표한 유웨이는 3개, 대성은 2개 적중이었으며, 3개 적중이라던 비상 역시 1개 적중이었다. 실제 적중결과보다 결과가 부풀려져 있던 셈이다. 반면, 2개 적중으로 제시한 메가와 종로하늘은 각 3개 적중으로 실제 결과보다 오히려 등급컷을 덜 맞힌 것으로 발표돼 있었다. 

2015 수능 등급컷 집계도 문제가 많았다. 7개기관 중 4개기관 등급컷이 사실과 달랐다. 5개 적중으로 제시된 이투스 비상은 순서대로 3개 2개 적중에 불과했으며, 4개 적중이라던 진학사 역시 3개 적중에 불과했다. 2015 수능까지만 하더라도 종로학원과 하늘교육으로 분리돼있다가 하늘교육이 주체가 된 인수로 합쳐진 종로하늘 역시 어느 기관을 기준으로 보더라도 사실과 다르긴 마찬가지였다. 당시 종로학원은 4개, 하늘교육은 2개를 각각 맞혀 J일보가 집계한 5개와는 차이가 컸다. 

<왜 사실과 다를까? 등급컷의 특성 무시한 무분별한 집계 탓>
사실과 다른 보도가 이뤄진 배경은 명확하지 못한 집계 기준 때문으로 추정된다. 동일한 최초발표 등급컷을 활용했더라면, 이처럼 적중률 차이가 크게 벌어질 수 없다. 교육계에 따르면 J일보는 수능 당일 최초발표 등급컷을 활용하지 않은 것으로 밝혀졌다. 한 교육계 관계자는 “입시기관들의 얘기는 수능 다음날의 등급컷을 기준으로 집계했다고 한다. 계속해서 기관들이 등급컷을 수정해나간단 사실을 모르고 기사화한 것으로 보인다”라고 전했다. 

통상 등급컷을 기반으로 입시기관들의 분석력을 측정할 때는 최초 발표 등급컷을 기준으로 삼는다. 등급컷은 고정불변의 값이 아니라 실시간 계속해서 변하는 존재인 때문이다. 입시기관들은 시험 당일 수험생들의 채점 데이터, 자신들이 직접 풀며 측정한 난도, 학교 현장의 반응 등을 종합적으로 고려해 등급컷을 예측한다. 학원 보유 기관의 경우 자사 학원생 데이터 등도 활용한다. 보다 정밀한 측정을 위해 일정 수준 이상의 학생이 앞선 모평 등에서 받은 점수를 참고하는 경우도 있다. 

이처럼 갖은 방법을 통해 예측한 등급컷은 수능이나 모평 당일 저녁에 홈페이지를 통해 발표된 후 계속해서 조정과정을 거치게 된다. 채점 데이터, 현장반응, 학원생 데이터 등 취합 가능한 데이터가 늘어나면서 등급컷 예측값이 달라지게 되는 때문이다. 이 과정에서 최초 발표한 등급컷과 전혀 다른 값으로 변화하는 경우가 많다. 이번 J일보의 발표와 베리타스알파의 집계값이 다른 것도 이같은 등급컷의 성질 때문이다.

이러한 등급컷의 특성 상 입시기관들의 분석력 측정은 최초 발표 등급컷으로 이뤄져야 한다는 데 교육계는 이견이 없다. 한 입시기관 관계자는 “수능 이후의 가채점 등급컷으로 분석력을 측정한다는 것은 어불성설이다. 진정한 분석력을 보려면 수능 당일 최초 발표 등급컷을 활용해 입시기관별 예측값을 비교해야 한다. 하루하루 지날 때마다 충분한 채점 데이터 등을 확보하게 되면서 입시기관들의 예측이 서로 눈치보면서 비슷해지기 때문이다. 이러한 관점에서 볼 때 최초 등급컷을 활용하지 않은 J일보의 발표는 일고의 가치도 없다”고 말했다. 

<일관되지 못한 시기도 문제.. 수능 다음날 등급컷 집계로 볼 수 있을까>
물론 수능 이후의 등급컷 집계도 전혀 의미가 없는 것은 아니다. 충분한 채점 데이터를 확보할 수 있는 시점에서의 등급컷이 실제 수능 등급컷과 얼마나 차이가 있는지 알아보는 것도 일정 의미를 가질 수 있다. 수능으로부터 당장 이틀 후의 대학별고사 응시 여부를 결정해야 하는 수험생들 입장에선 하등의 도움이 되지 않는 자료지만, 한 주 이상 떨어진 대학별고사에 응시한다거나 하는 경우엔 해당 시점의 등급컷 적중률 자료가 도움이 될 수 있다. 

하지만, J일보의 보도는 이 같은 효용조차 찾기 어려울 전망이다. 일관된 기준이 존재하는 지 조차 의구심이 드는 때문이다. 입시기관 관계자들에 따르면, J일보가 명확한 수능 등급컷 산정기준을 밝히지 않은 탓에 기관별로 각기 다른 자료가 건네졌을 가능성이 높은 상태다. A입시기관 관계자는 “‘수능 이후 가채점 등급컷’에 대한 요청이 들어왔는데, 정확한 시기를 밝히지 않아 중간값을 건넨 상태”라고 증언했고, B입시기관 관계자는 “자료 기준점이 없는 것으로 보인다. 우리도 가채점 등급컷을 달라고만 해 수능 이후 등급컷 중 하나를 제공했는데 어느 시점에서의 등급컷이었는지는 불명확하다”라고 말했다. 입시기관별로 통일된 기준없이 자료를 받은 탓에 수능으로부터 어느 정도 지난 시점의 값인지 알수 없고 이마저도 기관마다 다른 시점의 값을 받았을 가능성도 있다는 얘기다. 

이처럼 중구난방으로 받은 등급컷을 기반으로 분석력을 측정하는 것은 불가능하다고 전문가들은 입을 모았다. 한 교육 전문가는 “등급컷은 시기가 중요하다. 수능 당일 최초 발표인지, 이후 수정된 등급컷인지, 수정됐다면 어느 시점에서의 등급컷인지 등 기준이 명확히 세워지지 않고는 기관별 분석력 측정의 도구로 사용될 수 없다. 이번 보도는 등급컷의 성질에 무지한 언론사의 실수”라며, “직접 언론사가 취재해 집계한 것이 아닌 피평가자인 입시기관들이 제공한 자료를 바탕으로 분석을 행했다는 것도 적절치 못해 보인다. 이미 적중 여부가 드러난 상황에서 추후 자료를 기반으로 보도할 내용을 짐작해 가장 실제 결과와 근접해있는 값을 줬을 수 있기 때문이다. 입시기관들의 대처에 따라 언론사가 휘둘리며, 잘못된 팩트를 다뤘을 가능성이 높다”라고 말했다. 

<실제 분석력 측정, 모평까지 전부 고려해야>
실제 입시기관들의 분석력 측정은 수능 당일 최초 발표 등급컷에 더해 모평도 포함돼야 한다는 게 교육계의 시각이다. 물론 ‘실전’은 어디까지나 수능이고, 모평은 ‘연습’ 격이지만, 시험의 성격 상 모평에서의 분석력 역시 중요하게 다뤄져야 하는 때문이다. 특히, 9월모평은 수시 원서접수를 고려하면 수능 못지않은 중요도를 보이기에 분석력 측정에서 빠져야 할 이유가 없다.

모평이 중요한 이유로는 ‘N수생(재수생)’을 꼽을 수 있다. 학원생 등이 주축이 되는 사설 모의고사, 고3만 치르는 학평과 달리 모평은 N수생이 전부 투입되는 시험이다. 그만큼 시험 응시인원이 많아 보다 정확한 표준점수/등급 측정이 가능하다. 

여기에 더해 시험을 주관하는 기관이 실제 수능을 주관하는 한국교육과정평가원이란 것도 중요도를 더욱 높이는 요인으로 자리한다. 수도권 교육청들이 돌아가며 주관하는 학평과 달리 모평은 평가원이 직접 주체로 나서면서 일종의 수능 ‘대리시험’의 성격을 띈다. 모평에서의 표점, 등급비율 등을 평가원이 실제 수능 출제에 반영한다는 것은 널리 주지된 사실이다. 

수시 원서접수를 고려하면, 모평을 기반으로 하는 분석력 측정의 중요도는 이루 말할 수 없이 높아진다. 현재 대입일정 구조 때문이다. 한 교육 전문가는 “현 대입일정은 9월모평 이후 수시 원서접수가 이뤄지는 구조다. 통상 9월모평 성적발표 전 수시 원서접수가 모두 종료된다. 때문에 입시기관별 가채점 등급컷이 유일한 수시 지원에 있어 기준점이 된다. 정시에서 합격 가능한 대학에는 지원할 이유가 없어 상향지원이 주를 이루는 수시 지원전략의 특성 상 모평 성적이 수시에서의 지원대학을 정하는 중요한 기준으로 활용되는 것이다. 9월모평의 실채점 결과가 나오지 않는 탓에 6월모평에서의 성적을 참고하는 경우도 있지만, 6월모평은 출제범위가 다소 제한돼있어 9월모평과는 성적 격차가 발생 가능하기에 9월모평을 기준점 삼아 수시 지원대학을 정하는 것이 일반적이다. 이처럼 중요한 모평을 입시기관별 분석력 측정에서 빼놓을 이유는 없다”라고 말했다. 

다만, 같은 전국단위 모의고사지만 학평은 분석력 측정에서 제외하고 보는 시각이 많았다. 수능과는 실질적인 차이가 큰 시험이란 점에서다. 한 입시기관 관계자는 “학평은 재수생이 치르지 않는 시험이란 점에서 수능과 차이가 클 수밖에 없다. 수능 직전 치러지는 10월학평을 제외하면 7월학평까지 출제범위도 전부 제한된다. 특히, 연초 치러지는 3월학평의 경우 과탐Ⅱ가 출제되지 않고, 나머지 학평도 10월을 제외하면 제2외국어/한문 시험이 치러지지 않는 등 실제 수능과 차이가 크다. 입시기관들의 분석력 측정에는 수능/모평만 활용하면 충분하다”라고 말했다. 

<수능 모평 기준 최근 4년간 등급컷.. 대성 종로하늘 이투스 순>
베리타스알파는 그간 수능은 물론이고 모평/학평 등 전국적인 모의고사가 치러질때면 꾸준히 입시기관들의 등급컷을 집계해왔다. 기관들에 요청한 등급컷이 아니라 홈페이지에 처음 발표한 등급컷을 집계함으로써 입시기관들의 ‘눈속임’에 속아넘어가지 않았음은 물론이다. 

2015학년부터 올해까지의 수능/모평은 총 열한 차례 있었다. 매년 수능 9월모평 6월모평이 치러졌고, 올해는 아직 수능 전이기에 모평 두 차례만 존재해 총 11회의 시험이다. 베리타스알파는 이 중 2017학년까진 1등급컷, 2018학년부턴 2등급컷을 기준으로 입시기관들의 분석력을 집계해오고 있다. 본래는 1등급컷만으로도 상위권 입시 지형을 나타내기 충분하다 판단했지만, 실제 등급컷이 가장 중요하게 활용되는 수능최저의 경우 2등급컷이 기준점인 경우가 많기에 측정 범위를 다소 늘렸다. 

11회의 시험동안 집계된 입시기관들이 예상한 등급컷의 총 개수는 58개다. 2015학년과 2016학년은 국어가 A형/B형으로 구분돼있어 수학 A형/B형에 영어까지 총 5개영역 등급컷이 예측될 수 있었다. 2017학년엔 국어 수준별 출제가 폐지되며 등급컷 예측영역이 4개로 줄었고, 올해 2018학년에는 영어 절대평가로 인해 3개영역으로 또 다시 등급컷 예측영역이 줄었지만, 등급컷 측정범위를 2등급컷까지로 늘리면서 총 6개영역을 집계하고 있는 상황이다. 

58개의 예측 가능한 등급컷 중 지난 11회의 시험에서 가장 많은 등급컷을 맞힌 곳은 대성이었다. 대성은 총 39개의 등급컷을 맞혀 67.2%의 적중률을 기록했다. 다음으로 종로하늘(63.8%) 이투스(58.6%)가 뒤를 따랐고, 메가/유웨이/EBS는 각 33개를 맞혀 56.9%의 동일한 적중률을 보였다. 진학사는 55.2%로 뒤에서 두 번째였으며, J일보가 집계대상에 포함시키지 않은 비타에듀는 50%로 가장 적중률이 저조한 모습을 보였다. 김영일교육컨설팅, 비상교육, 스카이에듀 등 여타 입시기관은 일부 자료가 집계되지 않은 시험이 있어 제외했다. 

수험생들은 올해 수능 당일 이같은 기관별 성과에 근거해 예상등급컷을 면밀히 따져봐야 한다. 한 교육 전문가는 “예를 들어 모 입시기관이 국어 2등급컷을 88점으로 제시한 상황에서 자신이 86점을 받아 수능최저를 충족하지 못했다고 판단해 고사에 응시하지 않는 것은 위험하다. 추후 실채점 결과에서 85점이 2등급컷으로 제시되면 괜시리 수시 지원기회만 한 차례 날린 꼴이 되는 때문이다. 반대로 자신의 성적이 예상보다 잘 나왔다는 생각에 정시를 노리겠단 생각으로 수시 대학별고사 응시를 포기했는데, 실채점 결과로는 평소와 다를 바 없는 성적이어서 다시금 응시하지 않은 대학별고사 실시 대학에 정시에서 어렵사리 지원해야 하는 경우도 생길 수 있다. 때문에 여러 입시기관의 등급컷을 기반으로 자신의 수능최저 충족 여부, 정시 지원여부 등을 판단하되 기관별 예측이 엇갈릴 때는 그간의 등급컷 적중률을 기반으로 판단하는 것이 방법”이라고 조언했다.