‘현장혼란’ 체감등급컷 메가스터디 ‘0점’.. 오차범위마저 '최대'

[베리타스알파=박대호 기자] 6월모평 당일 가장 뛰어난 분석력을 선보인 입시기관은 김영일교육컨설팅(김영일)인 것으로 확인됐다. 27일 발표된 6월 대학수학능력시험 모의평가(이하 6월모평) 통계자료를 기반으로 입시기관들이 시험 당일 발표한 등급컷의 적중 여부를 집계한 결과 김영일은 국어 수학(가) 수학(나)의 1~2등급컷 6개영역 가운데 4개영역의 등급컷을 정확하게 맞히는 데 성공했다.  이어 EBS 유웨이중앙교육(유웨이) 진학사 비상교육(비상)이 각 2개, 스카이에듀(스듀) 이투스교육(이투스) 대성학원/대성마이맥(대성)이 각 1개 등급컷을 적중했으며, 종로학원하늘교육(종로하늘)과 메가스터디(메가)는 1개영역도 맞히지 못한 것으로 드러났다. 

입시기관들의 분석력은 직전 치러진 4월학평에 비해 다소 저조한 양상을 보였다. 3월학평에서 최다적중이 2개에 그칠 정도로 저조한 모습을 보이던 입시기관들은 4월학평에서 3개 기관이 5개영역을 맞힐 정도로 크게 개선된됐지만, 6월모평에서는 4개 적중으로 분전한 김영일을 제외하고는 절반 이상을 맞힌 기관을 찾기 어려웠다. 

입시기관들의 저조한 분석력은 높은 시험 난도에서 비롯됐다. A입시기관 관계자는 “이번 6월모평은 상당히 어려웠다. 수학(가) 원점수 1등급컷이 85점에서 끊겼는데, 최근 3년간의 모평/학평/수능에서 이 정도로 낮은 점수가 나온 것은 드문 일이다. 지난해 3월 치러진 학평에서 84점의 1등급컷이 나온 적이 있지만, 모평에서 이토록 낮은 등급컷이 나온 것은 처음”이라며 “여기에 절대평가로 치러진 영어마저 상당히 어렵게 출제되면서 수험생들은 말 그대로 ‘멘붕’을 겪어야 했다. 시험 당일 데이터 수집이 쉽지 않았고 등급컷 분석도 어려울 수밖에 없던 배경”이라고 설명했다. 

또 다른 분석력 저하의 원인으로는 ‘애매한 구간’들이 지목된다. 소수 인원들만 포진하는 원점수 구간에서 등급컷이 끊긴 탓에 적중률이 전반적으로 낮아질 수밖에 없었다는 얘기다. B입시기관 관계자는 “수능을 비롯해 모평/학평 등에서는 복수의 원점수가 같은 표준점수로 묶이는 일이 자주 일어난다. 문제는 시험당일 분석 과정에서 이런 현상이 감지되는 경우 표본이 많은 점수대를 등급컷으로 지목할 수밖에 없다는 데 있다. 표본이 적은 구간을 등급컷으로 지목하는 것은 ‘모험’에 가깝기 때문이다. 이번 시험에서 대표적인 사례가 수학(나)다. 대다수 기관이 1등급컷으로 88점을 지목했지만, 실제 등급컷은 87점으로 확인됐다. 시험 당일에도 87점이 1등급컷이 될 수 있다고 봤지만, 워낙 적은 인원들만 받는 점수대여서 보다 수험생이 많은 88점을 등급컷으로 지목할 수밖에 없었다. 입시기관들은 84점을 예측했지만 85점에서 1등급컷이 끊긴 수학(가)도 마찬가지다. 4월학평에서는 구간들이 비교적 명확하게 구분되면서 적중률이 높았지만, 이번 시험은 운이 따라주지 않았던 상황”이라고 말했다. 

여러 요인들을 분석했을 때 가장 많은 등급컷을 맞힌 김영일의 반대편에는 메가스터디가 있다. 적중개수만 놓고 보면 종로하늘과 동일하지만, 실제 등급컷과의 오차범위는 종로하늘을 압도하며 ‘최악’의 모습을 보인 때문이다. 메가는 국어에서 4점, 수학(가)에서 4점의 오차를 낸 데 이어 수학(나)에서는 7점으로 총 15점의 오차를 내며 ‘망신살’을 샀다. 6월모평 당일 ‘체감 등급컷’이란 명목으로 시험이 끝나기도 전에 수험생 ‘이목끌기’ 용으로 성급히 등급컷을 공개하며 실시간 검색어까지 올랐지만 실제 등급컷의 정확도는 꼴찌였던 셈이다. 수학(나) 1등급컷을 보더라도 88점을 지목한 입시기관들은 분석력에 문제가 없었지만 다소 운이 따르지 않았던 경우인 반면, 메가의 92점은 심각한 분석력문제라는 게 업계의 평가다. 

6월모평에서 가장 뛰어난 등급컷 적중률을 보인 기관은 4개를 맞힌 김영일교육컨설팅이었다. 반면 모평 당일 체감등급컷으로 '현장혼란'을 초래한 메가는 최악의 성적표를 받아들었다. /사진=베리타스알파DB

<2019학년 6월모평 등급컷 적중.. 김영일 ‘1위’>
6월모평이 실시된 7일 오후 입시기관들이 발표한 최초 추정 등급컷과 이번에 발표된 채점결과를 기반으로 한 실제 등급컷을 비교한 결과 김영일이 가장 뛰어난 분석력을 보인 것으로 나타났다. 김영일은 국어 1등급컷에 이어 국어 수학(가) 수학(나)의 2등급컷을 모조리 맞히며 4개영역을 적중하는 데 성공했다. 

김영일의 이번 등급컷 적중률은 독보적인 성과로 보인다. 4월학평에서 5개 영역 적중 사례가 나왔던 것과 비교하면 저조하다고 볼 수 있겠지만, 상대적인 관점에서 보면 의미가 다르기 때문이다. 4월학평의 경우 5개적중 3개기관, 4개적중 4개기관 등 전반적으로 입시기관들의 성적표가 나았던 반면, 6월모평에서는 김영일 다음으로 적중개수가 많은 곳조차 2개에 그칠 만큼 격차가 컸다.

오차범위를 놓고 보더라도 김영일의 성과는 뛰어났다. 시험 당일 등급컷을 발표한 주요 10개 입시기관 중 가장 적은 3점의 오차를 내는 데 그친 때문이다. 국어는 1~2등급컷을 전부 적중해 오차가 없었고, 수학(가)에서 1점, 수학(나)에서 2점의 오차가 난 게 전부였다. 수학(나) 1등급컷을 실제 등급컷에 비해 다소 높게 잡은 점, 수학(가)에서 1점의 오차가 난 점 등이 다소 아쉬운 대목이었다. 

<2개 적중, EBS 유웨이 진학사 비상.. EBS 오차범위 ‘최소’>
김영일의 뒤를 이어 좋은 분석력을 보인 곳은 EBS 유웨이 진학사 비상의 4개기관이었다. 이들 기관은 2개영역에서 등급컷을 맞히는 데 성공했다. 다만, ‘성적’에 있어서는 아쉬움이 다소 컸다. 김영일을 제외한 여타 기관에 비해서는 좋은 적중률이었지만, 6개 영역 가운데 절반도 채 맞히지 못한 때문이다. 

4개기관이 등급컷을 맞힌 영역은 모두 동일했다. 국어 1등급컷과 2등급컷의 분석이 정확했다. 나머지 수학(가)와 수학(나) 1~2등급컷은 모두 실제 등급컷과 차이가 있었다. 

가장 아쉬움을 남긴 곳은 EBS였다. 오차범위가 다른 기관들에 비해 가장 적었기 때문이다. EBS는 수학(가)와 수학(나) 1~2등급컷에서 각 1점으로 전체 오차가 4점에 불과했다. 데이터 분석 이후 최종 등급컷 결정 과정에서 다소 실수가 있었던 셈이다.

나머지 기관들 중에서는 완전히 같은 등급컷을 내놨던 유웨이와 진학사의 오차범위가 그나마 적은 편이었다. 수학(가)와 1등급컷과 수학(나) 1~2등급컷에서는 각 1점, 수학(가) 2등급컷에서는 3점의 오차로 전체 6점이 빗나갔다. 

동일한 2개영역 적중 기관이지만, 오차까지 고려하면 비상의 분석력이 다소 낮은 것으로 풀이된다. 수학(가) 1등급컷 3점, 수학(나) 1등급컷과 수학(가) 2등급컷 각 5점, 수학(나) 2등급컷 2점 등 총 15점으로 오차가 다른 입시기관들에 비해 다소 큰 편이었다. 

<1개 적중, 스듀 이투스 대성.. 국어 1등급컷만 정확>
스듀와 이투스 대성은 이번 6월모평에서는 1개영역을 적중하는 데 그쳤다. 세 기관 모두 국어 1등급컷만 맞히는 데 성공했다. 나머지 영역의 예측은 모두 빗나갔다. 

이번 결과는 다소 의외로 다가온다. 대성과 스듀가 4월학평에서 5개영역을 적중했고, 이투스도 4개영역을 적중했다는 점 때문이다. 특히, 대성은 그간 적중률 1위를 자랑해온 입시기관으로 올해도 3월과 4월 치러진 두 차례의 학평에서도 모두 1위를 차지했던 곳이다. 이투스도 지난해 전체 2위를 차지하는 등 뛰어난 분석력을 보여온 곳이기에 이번 결과가 낯설게 받아들여질 수밖에 없다. 스듀 역시 최근 들어 분석력이 급증, 좋은 성과를 내던 곳인 만큼 이들 기관의 저조한 분석력은 다소 충격적이다.

오차범위는 세 기관 모두 대동소이했다. 수학(가)와 수학(나) 1등급컷에서 각 1점의 오차를 냈고 국어와 수학(나) 2등급컷도 마찬가지로 1점의 오차를 내는 데 그쳤다. 수학(가) 2등급컷에서만 스듀와 이투스는 1점, 대성은 2점으로 오차 범위가 달랐다. 영역별 오차가 크지 않은 점을 볼 때 차후 있을 7월학평과 9월모평 10월학평 등을 통해 다시 위상을 되찾을 가능성이 높아 보인다. 

<‘최악’ 메가 ‘빵점’에 ‘최다 오차범위’까지.. 현장혼란 낳은 체감등급컷 원인>
6월모평에서 가장 최악의 모습을 보인 입시기관은 메가였다. 메가는 종로하늘과 더불어 단 1개 영역도 맞히지 못해 ‘0점’의 성적표를 받아든 것도 모자라 비상과 더불어 ‘최다 오차범위’까지 기록했기 때문이다. 수학(가) 1등급컷에서는 1점, 국어 1~2등급컷과 수학(나) 2등급컷에서는 각 2점, 수학(가) 2등급컷에서는 3점이 빗나간 데 더해 수학(나) 1등급컷은 무려 5점이나 차이가 났다. 메가가 낸 전체 오차는 15점에 달했다.

이번 6월모평은 여러 원점수가 한 표준점수에 수렴되는 현상으로 인해 입시기관들이 다소 애를 먹을 만큼 등급컷을 적중하기 어려운 시험이었지만, 메가의 저조한 분석력은 단순히 ‘운이 없다’고만 치부할 수 없었다. 대표적으로 수학(나)의 경우 대부분의 기관들이 88점을 예측한 상황에서 전국적으로 몇 명 되지 않는 87점이 등급컷으로 정해진 ‘불운’한 사례였지만, 메가는 크게 빗나간 92점을 1등급컷으로 예측한 상태였다. 분석력의 한계가 명확했던 셈이다. 국어 1등급컷도 홀로 가장 많은 2점의 오차를 내는 등 영역마다 좋지 못한 모습이 드러났다.

온라인 강의 업계에서 ‘선구자’ 격인 메가가 이토록 저조한 분석력을 보인 것은 ‘체감등급컷’ 때문으로 보인다. 메가는 최근 시험이 끝나기도 전인 오후4시30분경 홈페이지에 제대로 된 분석이 이뤄지지 않은 체감등급컷을 발표하고 있다. 등급컷이 궁금한 수험생/학부모 등 교육 수요자들의 발길을 붙잡기 위해서다. 6월모평 당일에는 교육수요자들의 눈길을 사로잡는 데 성공, 검색어 1위에 오르면서 접속자가 폭주해 트래픽 증가로 홈페이지가 불통이 되는 일까지 발생했을 정도다. 

마케팅 면에서 보면 접속자 폭주로 홈페이지가 불통이 되는 일은 ‘성공 사례’겠지만, 교육의 관점에서는 결코 긍정적으로 바라보기 어렵다. 덮어놓고 발표부터 하는 것이 아닌 면밀한 분석을 거쳐 신중하게 등급컷을 내놓는 게 우선이 돼야 하기 때문이다. ‘실전’인 수능의 경우 잘못된 등급컷 발표로 돌이킬 수 없는 일이 발생할 수도 있고, 일단 발표하고 이후 나몰라라 하는 입시기관의 행태로 인해 발생하는 현장혼란도 만만치 않은 만큼 신중한 발표가 요구되는 상황이다. 

메가가 체감등급컷을 포기하지 않고 유지하는 한 이처럼 저조한 분석력은 계속해서 이어질 가능성이 높아 보인다. 우연의 일치로 어쩌다 적중하는 경우가 나올 수야 있겠지만, 시험이 끝나기도 전에 내놓는 등급컷이 제대로 된 분석의 결과일 수는 없기 때문이다. 한 업계 관계자는 “이전에도 몇몇 입시기관들이 시험이 끝나기 전 체감등급컷이니 실시간등급컷이니 하는 것을 내놓았지만 지금은 전부 철회했다. 성급한 발표로 인해 무너지는 신뢰도를 회복하기가 어렵다고 판단했기 때문”이라며 “당장 검색어 1위를 맛본 메가 입장에서는 체감등급컷을 포기하기 어렵겠지만, 계속된 ‘무리수’는 결국 스스로의 발목을 붙잡는 일이 될 수밖에 없다는 것을 기억해야 한다”고 꼬집었다.  

<등급컷 적중률 왜 조사하나? 입시기관 신뢰도 잣대>
베리타스알파가 입시기관들의 등급컷을 조사하는 목적은 수요자들에게 신뢰할만한 입시기관이 어디인지를 알리려는 데 있다. 무책임하게 발표하는 등급컷을 사후 검증함으로써 입시기관들의 분석력을 면밀히 측정함으로써 참고할만한 입시기관이 어디인지 이정표를 제시하려는 것이다. 특히 올해는 수시 원서접수 전 시행되는 9월모평 성적발표가 원서접수 이후로 예정돼 있어 당일 발표되는 입시기관들의 등급컷이 수시 지원전략의 기준이 될 가능성이 높다. 기관별 신뢰도를 따지는 일이 한층 중요해진 상황이다. 

우리나라 교육계에서 입시기관들은 필수불가결한 존재다. 공교육 정상화를 목적으로 한 학종이 몸집을 불리면서 영향력이 다소 줄긴 했지만, 대입의 한 축을 이루고 있는 수능중심 정시에서는 축적된 노하우를 바탕으로 수요자들에게 가이드라인을 제시하는 입시기관들의 비중이 막강하다. 그나마 평가원이 본래 올해부터 ‘가채점 등급컷’을 발표하기로 해 입시기관들의 영향력이 다소 줄어들 것이란 예상도 있었지만, 여건 상의 어려움을 이유로 사실상 무산되면서 다시 입시기관들이 활개를 치는 형국이다. 6월모평에서 나타난 대표적 ‘부정적 사례’인 메가의 체감등급컷처럼 등급컷을 한낱 마케팅의 수단으로 여기는 입시기관들도 존재한다. 

입시기관의 영향력에서 자유로울 수 없고, 부정적인 사례들도 존재한다면 신뢰도를 중심으로 입시기관들의 ‘옥석’을 가려내야만 한다. 수능은 물론 모평 학평까지 전국단위 모의고사 전반의 등급컷 적중률과 공개된 분석 데이터의 정확도 등을 따져보면 비교적 정확하게 입시기관들의 분석력을 가늠해볼 수 있다. 

특히 수요자들이 주의깊게 봐야 할 부분은 입시기관들이 시험 직후 내놓는 최초등급컷이다.  기관별 분석력을 가장 뚜렷하게 나타내는 잣대인 때문이다. 최초등급컷은 채점서비스에 참여한 수험생 표본, 기관별로 보유하고 있는 학원과 인터넷 강의 사이트 수강생들의 응시데이터, 채점결과 등에 기반해 입시분석기법과 노하우까지 더해지는 기관별 분석력의 ‘정수’다. 기관들이 계속해 등급컷을 수정하고 그 과정에서 점수가 엇비슷하게 보정되는 경우가 많아 최초 발표된 등급컷을 기반으로 분석력을 따지는 것이 가장 바람직하다. 

 
본 기사는 교육신문 베리타스알파의 고유 콘텐츠입니다.
일부 게재 시 출처를 밝히거나 링크를 달아주시고 사진 도표 기사전문 게재 시 본사와 협의 바랍니다.
저작권자 © 베리타스알파 무단전재 및 재배포 금지