'최저' 종로하늘 1개.. '분석력 한계 드러나'

[베리타스알파=박대호 기자] 4월학평 등급컷을 가장 많이 맞힌 입시기관은 대성마이맥/대성학원(대성) 유웨이중앙교육(유웨이)  김영일교육컨설팅(김영일)이었다. 경기교육청이 10일 발표한 4월학평 성적 통계를 기반으로 11개 입시기관이 4월학평 당일 예측했던 1~2등급컷을 분석한 결과 대성 유웨이 김영일은 국어 수학(가) 수학(나)의 1~2등급컷 총 6개 중 4개를 정확히 맞힌 것으로 나타났다. 이어 이투스교육(이투스) 스카이에듀 비상교육 진학사 비타에듀 EBS 각 3개, 메가스터디(메가) 2개 순이었다. 종로학원하늘교육(종로하늘)은 수학(나) 1등급컷만 맞혀 가장 분석력이 저조한 기관으로 분류됐다. 

단연 눈길을 끄는 입시기관은 '김영일'이다. 3월학평에서 1개 등급컷을 맞히는 데 그쳤지만, 4월학평에서 4개를 맞히며 순위를 한껏 끌어올린 때문이다. 김영일과 함께 4개를 맞힌 대성은 그간의 누적 등급컷을 기준으로 볼 때 가장 분석력이 뛰어났던 기관이었기에 이례적인 결과라 보긴 어려웠다. 유웨이도 그간 여타 입시기관에 비해 뒤지지 않는 분석력을 보여왔다. 

가장 저조한 분석력을 보인 종로하늘은 한계를 여실히 드러냈다는 평가다. 한 교육 전문가는 “경쟁업체에서 등급컷 분석 업무를 담당하던 관계자를 스카우트해가며 종로하늘이 분석력을 끌어올리는 데 매진했음에도 4월학평에서 겨우 1개영역을 맞히는 데 그친 것은 의외다. 전반적인 분석 시스템에 문제가 있다는 반증”이라며, “최근 펼치는 무리한 마케팅도 부족한 분석력을 가리려는 것에 불과해 보인다”고 말했다. 

전반적인 입시기관들의 분석력은 3월학평과 비슷한 수준이다. 최다 적중 기관이 4개를 맞힌 점이나 최저 적중 기관이 1개를 맞힌 점, 1등급보다는 상대적으로 2등급 분석력이 저조한 점이 3월학평과 동일했다. 3월학평에서는 수학(가) 2등급컷을 맞힌 기관이 없었으나, 4월학평에서는 수학(나) 2등급컷을 맞힌 기관이 없다는 차이 정도였다. 3월학평에서 입시기관들이 고전했던 수학(가) 2등급컷은 4월학평에서 이투스가 유일하게 맞혀 체면치레를 했다. 학평은 모평/수능과 달리 재수생이 시험을 치르지 않아 분석하기 쉽지 않은 배경이다. 그럼에도 6개영역 중 4개영역을 맞힌 입시기관이 다수 나와 전반적인 분석력의 신뢰도를 높혔다. 

입시기관들이 전국단위 모의고사인 학평/모평이나 수능 당일 발표하는 원점수 기준 예상등급컷은 시험을 마친 수험생과 학부모 등 교육 수요자 뿐만 아니라 학교 교사, 대학 관계자 등 교육계 전반의 뜨거운 관심대상이다. 특히, 수능최저 충족 여부를 가늠할 수 있는 기준점으로 작용, 수시 지원전략 수립의 기반이 된다는 점에서 예상등급컷의 중요도는 높다. 시험의 난이도를 가장 간명히 나타낸다는 점도 중요도를 높이는 요소다. 

그럼에도 일부 입시기관들은 수요자들의 관심도에만 집중, 등급컷을 신중히 따지기보다는 성급히 발표해 현장에 혼란을 야기하는 경우가 많았다. 베리타스알파는 입시기관들이 최초 발표한 원점수 기준 추정 등급컷의 정확도를 따져 입시기관 분석력의 옥석을 가려왔다. 입시기관들에게 신중한 발표를 당부함과 동시에  입시공력을 낱낱이 따져 교육수요자들에게 기관별 신뢰도의 잣대를 제공하려는 목적이다. 

올해 3월학평 등급컷 적중여부를 따진 입시기관은 지난해 수능, 올해 3월학평과 동일하다. EBS 김영일 대성 메가 비상교육 비타에듀 스카이에듀 유웨이 이투스 종로하늘 진학사의 11개기관이다. 등급컷 적중 여부를 따진 범위는 국어와 수학(가) 수학(나)의 2등급까지다. 지난해에는 1등급까지 적중 여부를 따진 적이 많았지만, 올해는 2등급까지로 범위를 넓혔다. 최고 대학인 서울대도 수시 지균에서 2등급 3개를 수능최저학력기준으로 두는 등 2등급을 수능최저로 활용하는 대학이 많기 때문이다. 특히, 올해처럼 9월모평과 수시 원서접수까지의 일정이 촉박한 경우 2등급까지 적중도를 판단해야 막판 수시 지원전략 수립에 도움을 받을 수 있을 전망이다. 

입시기관들의 적중여부 판단은 대성과 이투스 등 일부 입시기관의 도움을 받아 1~2등급 구분 표준점수와 표준점수별 도수분포표 등 공개된 통계자료를 활용해 원점수를 역산하는 방식으로 진행했다. 6월모평이나 9월모평, 수능은 평균/표준편차가 공개되지 않아 기관별로 원점수 등급컷이 다를 수 있지만, 학평은 평균/표준편차가 공개돼 등급컷이 다른 경우가 많지 않다. 

4월학평 등급컷을 가장 많이 맞힌 입시기관은 유웨이 대성 김영일이었다. 3개 기관은 국어 수학(가) 수학(나)의 1~2등급컷 총 6개 중 4개를 정확히 맞힌 것으로 나타났다. 반면, 종로하늘은 수학(나) 1등급컷만 맞혀 가장 분석력이 저조한 기관으로 분류됐다. /사진=베리타스알파DB

<최다 적중 유웨이 대성 김영일.. 4개 적중>
4월학평에서 가장 뛰어난 분석력을 보인 입시기관은 유웨이와 대성, 김영일이었다. 3개 입시기관은 1등급컷을 모두 맞힌 데 더해 국어 2등급컷까지 맞히며 4개 영역 등급컷을 정확히 예상해냈다. 총 6개영역 중 4개영역을 맞혀 적중률은 66.7%를 기록했다. 

1등급컷을 모두 맞혔음에도 수학에서 2등급컷을 맞히지 못한 점은 아쉬웠다. 85점이 2등급컷인 수학(가)의 경우 김영일이 87점, 유웨이와 대성이 88점, 81점이 2등급컷인 수학(나)의 경우 대성이 83점, 유웨이와 김영일이 84점을 예측하며 적중하는 데는 실패했다. 등급이 낮아질수록 예측이 어려운 등급컷 분석 구조 때문으로 보인다. 

단연 눈길을 끄는 것은 김영일이었다. 1달 새 분석력을 크게 끌어올린 때문이다. 3월학평에서 1개 등급컷을 맞히는 데 그쳤던 김영일은 4월학평에서 가장 많은 등급컷을 맞히는 기관으로 탈바꿈했다. 11개 기관 중 가장 늦은 오후7시41분 등급컷을 발표하며 신중에 신중을 거듭한 결과로 보인다. 

그밖에 대성과 유웨이는 언제든 등급컷을 최다적중 할 수 있는 기관이란 점에서 상대적인 관심이 덜했다. 특히, 대성은 지난해 9월모평까지 최근 3년간의 수능/모평에서 73.7%의 높은 적중률을 보여온 기관인만큼 누구나 예상 가능한 성적표를 받아든 모습이다. 유웨이도 그간 대성에 비해서는 낮다고 하나 뛰어난 분석력을 보여온 기관인만큼 이례적인 결과는 아니었다. 

<이투스 스카이에듀 비상교육 진학사 비타에듀 EBS.. 3개 적중>
이투스 스카이에듀 비상교육 진학사 비타에듀 EBS의 6개 입시기관은 각각 3개 등급컷을 맞혔다. 전체 등급컷 영역이 국어 수학(가) 수학(나)의 1~2등급컷으로 총 6개란 점을 고려하면 ‘반타작’을 하는 데 성공한 모습이다. 다소 아쉬운 결과긴 하나 학평이 모평/수능보다 예측이 어려운 모의고사란 점을 고려하면 선전했다는 평가다. 

6개 입시기관은 모두 1등급컷 2개, 2등급컷 1개를 맞혔지만 적중 영역은 차이를 보였다. 이투스는 수학(가) 수학(나) 1등급컷과 수학(가) 2등급컷, 스카이에듀 비상교육 진학사 EBS는 국어 수학(나) 1등급컷과 국어 2등급컷, 비타에듀는 국어 수학(가) 1등급컷과 국어 2등급컷을 각각 맞혔다. 

동일한 3개 적중이지만, 세부내용까지 들여다보면 가장 뛰어난 분석력을 보인 기관은 이투스였다. 적중하지 못한 국어 1등급컷과 국어 수학(나) 2등급컷 모두 1점의 오차만 발생한 때문이다. 여타 기관들은 영역별로 많게는 3점까지 오차를 보였다. 

<메가 2개.. 3월학평과 동일>
메가는 3월학평에 이어 4월학평에서도 2개 등급컷을 맞히는 아쉬운 모습을 보였다. 메가는 수학(가), 수학(나) 1등급컷만 맞히는 데 성공했다. 국어 1등급컷은 94점으로 실제 등급컷인 93점과 1점의 차이가 있었으며, 2등급컷은 전부 빗나갔다. 

연이은 2개 적중은 메가가 기존에 보여왔던 분석력과 다소 차이가 있는 모습이다. 메가가 2014년 ‘실시간 성적 분포 및 등급컷 추정방법’이라는 이름으로 성적 추정에 따른 등급컷 분석 방법을 특허출원하는 등 그간 나쁘지 않은 분석력을 보여왔기에 이례적인 결과란 평이다. 한 교육 전문가는 “등급컷 추정은 많은 표본을 모을 수 있는 기관일수록 유리한 구조다. 아무리 뛰어난 분석방법을 가지고 있다 하더라도 표본이 적으면 정확한 결과를 낼 수 없다. 기존 메가는 명실상부한 업계 1위 기관이었다. 다만, 최근 업계 판도가 재편되면서 메가의 분석력도 예전만 못한 모습”이라고 설명했다. 

<‘최저’ 종로하늘.. 분석력 한계 드러내나> 
4월학평 등급컷 분석 결과 종로하늘은 분석력 ‘최저’ 기관이 됐다. 종로하늘은 수학(나) 1등급컷만 맞혔을 뿐 모든 영역에서 등급컷을 정확히 예측해내는 데 실패했다. 실제 등급컷과 비교해보면 국어 수학(가) 1등급컷과 2등급컷은 각각 1점, 수학(나) 2등급컷은 2점의 오차가 있었다. 

이번 결과는 종로하늘의 분석력 한계를 여실히 드러냈다는 평가다. 대입과는 거리가 멀던 입시기관이 대입에 뛰어들다보니 가지고 있는 태생적 한계가 드러난 것으로 보이는 때문이다. 한 교육 전문가는 “종로하늘은 고입, 경시대회 등에 집중하던 하늘교육이 대입 재수학원으로 명성이 높던 종로학원을 인수하며 만들어진 곳이다. 대입에 뛰어드는 과정에서 종로학원을 인수했다고는 하나 시작이 고입이었던 탓에 대입 분석력 기반이 제대로 구축돼있지 않다. 그간 수능 당일 말바꾸기 등으로 교육계에 물의를 빚었던 임성호 대표이사 등의 발언도 이런 배경에서 나온 것”이라며, “종로하늘은 종로학원 인수 외에도 이투스에 있던 평가이사까지 영입해가며 대입 분석력을 높이는 데 공을 들였다. 당시 해당 평가이사가 이투스에서 등급컷 분석 업무를 전담했다는 점을 고려하면 영입 이유를 알 수 있다. 정작 종로하늘은 가장 낮은 분석력을 보이고 있고, 이투스는 이후 절치부심해 순조롭게 등급컷을 분석하는 것은 아이러니하다. 개인 능력 이상으로 기관별 분석 베이스가 중요하다는 반증”이라고 말했다. 

사교육업계에서는 종로하늘이 저조한 분석력을 가리기 위해 무분별한 마케팅을 펼치는 것이라고 지적하기도 했다. 실제 그간 자료분석 실수, 보도자료 베끼기 등으로 물의를 빚어온 종로하늘은 최근 국어에서 1문제를 틀린 수험생을 두고 ‘수능 만점자’라는 무리한 마케팅을 펼쳐 다시금 도마 위에 오르기도 했다. 한 업계 관계자는 “무리한 마케팅은 업계 전반의 신뢰도 저하로 이어지기 마련”이라 불만을 토로하며, “가장 먼저 해야 할 일은 내실을 키우는 것이다. 지금처럼 저조한 분석력을 보이면서 마케팅에만 집중하는 것은 결국 과장광고로 수험생들에게 접근하겠다는 얘기밖에 되지 않는다. 사교육기관도 ‘교육’기관이란 인식을 갖고 교육윤리가 무엇인지 생각해보길 바란다”고 조언했다. 

<등급컷 적중이 가지는 의미.. 입시기관 신뢰도의 잣대>
입시기관들의 등급컷을 조사하는 목적은 기관별 분석력을 면밀히 측정하려는 데 있다. 무책임한 양상으로 발표하는 등급컷을 사후 검증해 기관별 신뢰도를 판가름 하려는 것이다. 난립양상인 교육업계에서 신뢰할만한 입시기관이 어디인지 교육 수요자들에게 알리는 이정표 역할이다.

학평 뿐만 아니라 모평, 수능 등 전국단위 시험이 치러지는 날에는 입시기관들의 추정 등급컷이 인터넷 포털사이트 검색어 순위에 오르내리곤 한다. 학생/학부모를 비롯한 교육계 전반의 관심거리인 때문이다. 교육수요자들은 가채점을 통한 원점수로 자신의 위치를 가늠해 수시/정시 지원전략을 세우고 공부방법을 되돌아보곤 한다. 교사들도 진학지도, 시험난이도 가늠 등의 목적으로 등급컷에 주목하는 일이 잦다. 시험 당일 발표되는 등급컷의 중요도와 관심 정도는 높을 수밖에 없다. 

입시기관들이 시험 직후 내놓는 ‘최초’ 등급컷은 입시기관들의 분석력을 가장 뚜렷하게 나타내는 지표다. 채점서비스 참여데이터, 자사 학원생들의 응시데이터 등 기초자료와 각자 지닌 입시분석기법을 활용해 예측/추정한 수치인 때문이다. 분석력과 분석의 베이스가 되는 기관별 데이터의 위력 등 입시기관들의 생생한 분석력을 평가할 수 있는 유일한 잣대인 셈이다. 

최초 등급컷을 활용해야만 하는 이유는 시간의 흐름에 따른 등급컷의 변화 때문이다. 기관들이 최초 발표한 추정 등급컷은 추후 보정 과정을 거치며 엇비슷하게 변경돼 분석력을 따지는 지표로 활용되기 어렵다. 모의 지원자/표본 수가 누적됨에 따라 데이터가 바뀌는 경우가 많으며, 타 기관의 분석을 참고하는 과정에서 수치가 조정되기도 한다. 시험을 주관한 평가원/교육청이 내놓는 수험생 채점/통계자료가 나오는 순간부터 등급컷 예측은 의미를 잃는다. 이미 엇비슷하던 등급컷은 데이터가 공개되는 순간 사실상 같은 값으로 고정돼 비교수단으로 삼을 수 없게 된다. 

베리타스알파는 교육수요자들에게 영향력이 큰 입시기관의 신중하고 냉철한 대응을 당부하는 차원에서 2014 수능부터 기관별 추정 등급컷의 신뢰도를 따져왔다. 상당수 입시기관들이 언론과 수요자들의 관심을 끌기 위해 신중하고 정확하게 수치를 내기보다는 빨리 발표하는 데만 매몰돼있는 행태를 방지하기 위해서다. 물론 입시기관 중 신뢰할 만한 곳이 어디인지 수요자에게 판단할 수 있는 정보를 제공하려는 목적도 더해진다. 앞으로도 학평과 모평, 수능 당일 입시기관들이 최초 발표한 등급컷의 신뢰도를 꾸준히 측정해 수요자들이 활용 가능한 이정표를 제시할 예정이다. 

 

 
본 기사는 교육신문 베리타스알파의 고유 콘텐츠입니다.
일부 게재 시 출처를 밝히거나 링크를 달아주시고 사진 도표 기사전문 게재 시 본사와 협의 바랍니다.
저작권자 © 베리타스알파 무단전재 및 재배포 금지