강사풀이 의존한 ‘실시간 분석’ 메커니즘 탓.. '신중한 발표 계기되야'

[베리타스알파=박대호 기자] 입시기관들의 ‘6월 모평’ 분석을 두고 성토의 목소리가 높다. 시험 중에는 ‘작년 수능보다 쉽다’ ‘작년 수능과 비슷한 난이도’라며 한 목소리를 내던 입시기관들이 정작 시험이 끝난 후에는 ‘작년 수능보다 어렵다’고 밖에 해석할 수 없는 등급컷을 내놓았기 때문이다. 극심한 ‘말바꾸기’로 인해 수요자들과 고교 현장에서 느끼는 피로감과 혼란은 컸다. 

현재 대다수 입시기관들은 시험 중에는 ‘실시간 분석’이라 불리는 영역별 난도 분석을 내놓고 있다. 수요자들에게 인지도가 높은 11개 주요 입시기관 중 이번 모평에서 실시간 분석을 내놓지 않은 기관은 김영일교육컨설팅과 비타에듀 EBS 뿐이었다. 시험 종료 후에는 국어 수학 영어 탐구 등 과목 전반의 난도 분석을 통한 총평이 나오며 이후에는 기관별 데이터 기반의 ‘등급컷’이 발표되는 수순으로 이어진다. 입시기관들이 손바닥 뒤집듯 분석내용을 바꿔 현장 혼란을 야기했다는 비판을 받는 것은 실시간분석과 등급컷의 괴리에서 비롯됐다. 

8개 기관이 우후죽순처럼 내놓은 실시간 분석 내용은 대부분 ‘쉽다’와 ‘비슷하다’로 채워졌다. 수학(가)에서 종로하늘이 ‘어렵다’, 스카이에듀가 ‘다소 어렵다’는 분석을 내놓은 것 외에는 쉽거나 비슷하다는 분석이 줄지어 나왔다. 국어는 ‘쉽다’는 의견이 주를 이뤘으며, 수학(가)는 ‘비슷하다’, 수학(나)는 ‘비슷하다’와 ‘쉽거나 약간 쉽다’는 의견이 대부분이었다. 

하지만, 등급컷이 나온 결과 입시기관들의 실시간 분석은 무용지물이 됐다. 쉽거나 비슷하다는 기존 분석내용이 손바닥 뒤집히듯 바뀐 때문이다. 모평 종료 직후 입시기관들이 내놓은 원점수 1등급컷을 집계한 결과 국어 수학(가) 수학(나) 모두 88점을 1등급컷으로 지목한 기관이 가장 많았다. 88점은 지난해 수능 1등급컷이었던 92점보다 4점씩 하락한 점수다. 1등급컷의 하락은 고득점자 감소를 의미하는 징표로 시험의 난도가 상승했다는 것을 의미한다. 쉽거나 비슷하다던 입시기관들의 분석과는 정반대 결과였다. 결국 입시기관들은 ‘불수능’으로 회자될만큼 변별력이 강했던 지난해 수능보다도 무려 4점이나 떨어진, 난도가 높은 모평을 놓고 ‘쉽다’ ‘비슷하다’는 분석만 내놓은 셈이었다. 

실시간 분석과 등급컷이 뜻하는 결과가 상이해 시험 당일 현장혼란을 야기했던 것은 이번이 처음이 아니다. 2016학년 수능에서도 종로하늘이 영어 수학 1등급컷이 모두 100점일 것이라며 실시간 분석을 내놨다가 정작 등급컷을 96점, 92점 등으로 밝히며 꼬리를 내린 것이 대표적인 사례다. 다만, 당시에는 종로하늘등 일부 입시기관들의 잘못에 그친 반면 이번 6월 모평은 대부분의 입시기관들이 틀린 예측으로 시험 당일의 혼란을 증폭시켰다는 차이가 있다. 

입시기관들은 실시간 분석이 아무런 의미를 지니지 못한다고 설명했다. 한 사교육기관 관계자는 “실시간 분석은 짧은 시간 강사들이 모여 문제를 풀어본 후 논의한 결과물이다. 여기에 지난해 수능을 경험해본 N수생들에게 난도를 물어 반영하는 방법 정도가 더해진다. ‘주먹구구’식으로 분석이 이뤄진다고 봐도 무방하다. 실제 수험생/채점 등의 데이터에 기반한 등급컷과 차이를 보이는 것은 이러한 메커니즘 때문”이라며, “우리도 이번에 실시간 분석을 냈지만, 주먹구구식의 자료를 내고 이를 보도하는 것이 무슨 의미가 있나 싶을 정도다. 수익을 위한 회사 차원의 요구로 실시간 분석을 내고 있지만, 회의감이 크다”고 말했다. 

한 교육기관 관계자도 본인의 SNS를 통해 “이번 6월 모평의 입시기관들 난이도 예측이 유난히 빗나갔다. 이에 대한 비판이 도처에서 와글와글하다. 언제까지 이 불편한 난도 평가를 해야 할까”라며, “속보 경쟁, 언론에 언급되려는 욕심으로 평가 멘트들은 점점 세게 나가고 근거가 불명확한 수치도 언급한다. 이 모든 것이 실은 매출증대가 목표”라고 털어놨다. 

일각에서는 입시기관들의 ‘실시간 분석’을 금지시켜야 하는 것이 아니냐는 극단적인 의견을 개진하기도 했다. 실제 금지로 이어질 가능성은 희박하지만, 현재와 같은 혼란이 실제 수능에서 발생하지 않도록 신중을 기해야 한다는 경각심이 배경이다. 한 업계 관계자는 “지금처럼 일단 실시간 분석을 내고 추후 등급컷 발표 시 말바꾸기에 돌입하는 것은 위험하다. 실시간 분석내용을 보고 낙심한 수험생이 극단적인 선택을 하는 경우 누가 책임질 것인가. 시간 경쟁을 해서 될 문제가 아니다. 금지가 불가능하다면, 충분한 시간을 들여 분석한 결과만 내보내는 최소한의 윤리라도 회복해야 한다”고 말했다. 

입시기관들의 ‘6월 모평’ 분석을 두고 성토의 목소리가 높다. 시험 중에는 ‘작년 수능보다 쉽다’ ‘작년 수능과 비슷한 난이도’라며 한 목소리를 내던 입시기관들이 정작 시험이 끝난 후에는 ‘작년 수능보다 어렵다’고 밖에 해석할 수 없는 등급컷을 내놓았기 때문이다. 극심한 ‘말바꾸기’로 인해 수요자들과 고교 현장에서 느끼는 피로감은 컸다. /사진=베리타스알파DB

<6월 모평 내내 ‘쉽다’는 분석 이어져>
6월 모평 당일 입시기관들의 실시간 분석을 전제로 ‘쉽다’는 분석이 포털을 통해 지속적으로 전파됐다. 그간 뛰어난 분석력을 보여온 대성은 물론이거니와 잘못된 분석과 발언으로 물의를 빚어온 종로하늘까지 입시기관들 모두 ‘쉽다’는 견해를 유지했다. 수험생들에게 인지도가 높은 11개 주요 입시기관 중 실시간 분석을 내놓지 않은 곳은 김영일교육컨설팅 비타에듀 EBS의 3개기관 뿐이었다. 

8개 기관 모두 현장 혼란을 야기했다는 책임에서 자유롭기 어려웠다. 물론 정도의 차이는 존재했다. 국어에서 크게 엇나간 분석을 내놓은 종로하늘이 부정적인 사례의 대표 격이다. 종로하늘은 모평이 진행되는 상황에서 국어에 대해 ‘쉽다’ 수학(가)에 대해 ‘어렵다’ 수학(나)에 대해 ‘비슷하다’는 실시간 분석을 내놨다. 모두 지난해 수능과 대비해 측정한 난도들이다. 특히, 종로하늘의 임성호 대표는 국어를 두고 “극단적으로 어려운 출제 문제는 없었던 것으로 보여 상위권 고득점 학생들이 많이 발생할 수 있을 것”이라고 말하기도 했다. 

메가는 모든 영역이 쉽다는 분석을 내놓은 입시기관이었다. 메가는 국어에 대해서는 ‘쉽다’, 수학(가)와 수학(나)는 ‘약간 쉽다’는 실시간 분석을 내놨다. 국어와 수학 모두 비슷하다는 의견조차 없이 전부 쉽다는 의견으로만 채워졌다. 

스카이에듀는 수학(가)에 대해서는 ‘다소 어렵다’는 의견을 내놓은 반면, 수학(나)는 ‘쉽다’고 분석했다. 국어는 ‘비슷하거나 다소 쉽다’는 여러 각도에서 해석 가능한 분석을 내놨다. 

이투스는 일관되게 지난해 수능과 ‘비슷하다’라는 의견을 내놨다. 국어의 경우 처음 ‘쉽다’는 의견을 내놨다가 ‘비슷하다’로 분석을 변경했다. 이투스 관계자는 “국어의 경우 처음 강사진들이 문제를 풀어본 결과 쉬운 것이 아니냐는 의견이 우세했으나, 이후 현장 반응 등을 살펴 결코 쉽지 않다는 결론에 이르렀다. 지난해 수능 국어의 변별력이 상당했기 때문에 그 정도 수준이 될 것으로 판단했다”고 설명했다. 

나머지 입시기관들은 과목에 따라 쉽다와 비슷하다는 분석을 오갔다. 유웨이는 국어와 수학(나)는 쉬웠지만 수학(가)는 비슷하다고 분석했으며, 진학사는 국어는 쉽고 수학(나)는 다소 쉬우며 수학(나)는 비슷하다는 의견을 내놨다. 비상교육은 국어가 쉽고 수학(가) 수학(나)는 비슷했다고 봤으며, 대성은 국어와 수학(나)는 약간 수비고 수학(가)는 비슷한 수준이라고 발표했다. 

<시험 종료 후 나온 등급컷 '어려웠다'.. 기관들의 손바닥 뒤집기>
실시간 분석이 대부분 ‘쉽다’와 ‘비슷하다’로 점철됐던 것과달리 모평이 끝난 후 발표된 등급컷은 시험이 분명 어려움을 나타냈다. 입시기관들의 무책임한 손바닥 뒤집기식 ‘말바꾸기’가 벌어진 셈이다. 

시험 종료 후 11개 입시기관이 내놓은 1등급컷은 국어의 경우 최저 88점에서 90점, 수학(가)는 87점에서 88점, 수학(나)는 88점에서 92점으로 집계됐다. 수학(나) 1등급컷을 지난해와 동일한 92점으로 예측한 사례가 있었지만, 단 1개 입시기관의 예측에 불과했다. 대다수 기관들이 예측한 수학(나) 1등급컷은 88점이었다. 국어 수학(가)도 가장 기관별 의견이 가장 많이 모인 지점은 88점이었다. 

지난해 수능 1등급컷은 국어 수학(가) 수학(나) 모두 92점이었다. 가장 많은 입시기관이 지지한 88점을 1등급컷으로 놓고 보면 3개 과목 모두 1등급컷이 4점 하락했다. 통상 1등급컷 하락은 난이도가 높았음을 증명하는 지표로 분석된다. 고득점자가 줄면서 1등급 비율인 상위4% 내에 들기 위한 점수가 낮아졌다고 봐야 하는 때문이다. 결국 입시기관들이 내놓은 1등급컷은 국어 수학(가) 수학(나) 모두 지난해 수능보다 내려앉으며 상당히 어려운 시험이었다는 점을 증명하고 있다. 시험 중 내놓은 실시간 분석과는 정반대 결과였다. 

업체 대표까지 나서 국어 고득점 학생들이 많이 발생할 것이라던 종로하늘은 정작 시험 종료 후 국어 1등급컷을 90점으로 예상했다. 종로하늘의 등급컷대로라면 1등급컷이 2점 하락한 결코 쉽지 않은 국어였던 셈이지만, 말을 바꾸는 데 한치의 주저함도 찾아보기 어려웠다. 그나마 수학(가) 1등급컷이 88점, 수학(나) 1등급컷이 92점으로 발표되며 ‘실시간 분석’과 일치하는 모습을 보인 것이 위안거리였다. 

나머지 입시기관들도 등급컷을 통해 말바꾸기에 동참한 것은 마찬가지였다. 스카이에듀가 수학(가)에서 다소 어렵다는 실시간 분석을 내놓은 후 1등급컷을 87점으로 발표한 것이 그나마 분석과 등급컷이 일치한 사례였다. 다만, 5점의 등급컷이 하락한 것을 두고 ‘다소 어렵다’고 표현한 것은 논란의 여지가 존재했다. 

<현장 혼란 극심.. 신중한 발표 이뤄져야>
아침 다르고 오후 다른 ‘조변석개’와 같은 입시기관들의 분석에 현장에서 볼멘 소리가 터져나오는 것은 당연했다. 특히, 수험생들을 중심으로 반향이 거셌다. ‘쉽다’는 입시기관들의 분석을 도무지 믿을 수 없던 때문이다. 92점의 1등급컷을 보인 지난 수능이 ‘6년만의 불수능’으로 불릴만큼 변별력이 높다는 평가를 받는 와중에 이보다 낮은 88점의 1등급컷이 형성된 6월 모평을 두고 ‘쉽다’는 분석을 내놓는 행태를 이해하기 어려웠던 것으로 보인다. 

한 재수생은 “대체 무슨 과목이 쉬웠다는 것인지 모르겠다. 체감상으로도 지난해 수능보다는 분명 어려운 시험이었다. 주변에서는 국어에서 시간이 부족하다는 얘기도 많았다”며, “정작 시험이 끝나고 보니 전부 쉽거나 비슷하다는 결과 일색이어서 수능 대비를 잘못한 것이 아닌가 하는 낙담마저 들었다. 잘못된 분석결과를 내놓을 거라면 차라리 발표를 하지 않았으면 한다”고 말했다. 

이처럼 입시기관의 달라진 분석으로 현장 혼란이 야기되는 근본적인 이유는 시험 중 이뤄지는 ‘실시간 분석’과 시험 종료 후 이뤄지는 ‘등급컷 발표’의 메커니즘이 다르다는 데 있다. 실시간 분석 발표는 강사들이 시험을 풀어보고 받은 인상이나 학원생들의 체감, 지역 교사진들의 의견 등에 크게 의존하는 반면, 등급컷은 수험생들의 실제 채점 데이터를 기반으로 해 측정하는 통계값이다. 강사 의견 등에 크게 의존하는 실시간 분석이 실제 난도를 맞히는 것은 ‘소 뒷걸음질’에 지나지 않는다는 것이 교육계의 중론이다. 전체 내용을 꿰뚫고 있는 강사들이 문제를 풀어 느끼는 난도는 쉬운 개념이라 하더라도 문제 형태가 달라진 ‘신유형’ 문항에 오답자가 속출하곤 하는 수험생들의 체감 난도나 실제 채점결과와 크게 다를 수밖에 없다. 일각에서는 영어 절대평가 적용이 예고된 현 수험생들의 '학력저하'를 이유로 들기도 하나 국어 수학에서 난도 분석이 틀렸다는 점에서 유효한 지적으로 보긴 어렵다. 

교육 전문가들은 입시기관들의 신중한 발표와 언론의 자성이 전제돼야만 이번 모평처럼 ‘말바꾸기’로 인한 현장 혼란이 사라질 수 있다고 조언했다. 입시기관들의 옥석을 잘 가려 말바꾸기를 일삼아 온 기관들이 ‘입조심’을 하도록 해야 한다는 당부도 뒤따랐다. 

한 교육 전문가는 “가장 먼저 선행돼야 할 것은 입시기관들의 신중한 분석결과 발표다. 지금처럼 개별 강사의 의견 등에 의존하는 방식으로는 현장 혼란만 키우기 쉽다. 홍보를 위한 ‘시간싸움’ 대신 다소 발표가 늦더라도 신중하게 데이터를 모아 난도 분석 결과를 내놓는 것이 바람직해 보인다”며, “언론도 문제가 크다. 자체적인 난도 측정을 할 수 없는 언론들이 입시기관의 분석을 가감없이 보도하면서 현장 혼란을 더욱 증폭시킨다. 그나마 등급컷은 나와있는 결과들을 해석해 볼 여지라도 존재하지만, 시험 중 이뤄지는 실시간 분석은 검증방법이 전무한 상황이기에 잘못된 결과를 보도하는 행태가 이어지고 있다. 대중이 관심을 가지는 소식을 전달해야 하는 언론의 특성 상 입시기관들의 분석결과를 기사화하지 않는 것은 상상하기 어렵다. 입시기관들이 보다 신중히 분석에 나선다는 전제 하에 언론들도 신중하게 입시기관들의 자료를 받아들여야 한다. 특히, 그간 ‘말바꾸기’로 물의를 빚어온 입시기관의 분석인 경우 한번 더 생각하고 보도함으로써 혼란을 줄일 수 있을 것”이라고 조언했다.  

 
본 기사는 교육신문 베리타스알파의 고유 콘텐츠입니다.
일부 게재 시 출처를 밝히거나 링크를 달아주시고 사진 도표 기사전문 게재 시 본사와 협의 바랍니다.
저작권자 © 베리타스알파 무단전재 및 재배포 금지