요즘 ‘변별력’이라는 낱말이 변별 없이 오용되고 있어 바로 잡으려고 한다. 변별력은 교육평가분야에서 주로 사지선다형(四肢選多型), 4개의 답지 중에서 맞는 답 하나를 골라내는, 소위 객관식 문항에서 주어진 문항이 공부 잘하는 학생과 못하는 학생을 얼마나 잘 가려낼 수 있느냐의 변별도와 혼동되고 있다.

통계적으로 처리한 지수를 사용하는데, 해당문항을 통과한 학생의 퍼센트와 전체 점수와 통과 도는 실패와의 상관계수(相關係數 r)로 나타낸다. 한 예로, 객관식 문항 50문항 중에서 어떤 문항에서 통과한 학생이 전체 학생의 상위 50%에 들어가게 되면 그 문항의 변별도는 높은 편이 된다. 이때 실패한 학생은 하위 50%에 들어가야 함은 물론이다.

변별력이 낮은 문항은 아주 어려워서 한명도 맞추지 못했거나 너무 쉬워서 모두 맞았을 경우에 나타난다. 조금 복잡한 통계방식에 문항별로 상관계수를 계산하는 것은 생략한다. 다만 상관계수 r이 0.7 정도만 되어도 변별력이 높은 문항이 된다.

한마디로 변별력은 객관식 문항에서 문항분석을 하려고 사용하는 용어이다. 통상적으로 문항 변별도는 0.4에서 0.7 사이를 괜찮은 편으로 본다. 이런 문항분석은 좋은 검사 도구를 제작할 때 꼭 활용한다. 즉, 좋은 문항과 나쁜 문항을 가려내기 위해서 하는 것이다. 주로 여러 가지 표준화 검사(지능, 적성, 학력(TOEFL) 등의 능력검사) 제작 등에서 실시한다.

여기서 주의할 것은 학력고사, 학업성취도 등의 문항제작자(수능시험출제자)가 변별도를 미리 고려하여 문항을 작성하지 못한다는 것이다. 순전히 해당 과목에 전문적 지식과 경력을 갖고 있다고 판단되는 대학교수와 고등학교 재직 기간, 특히 고3 지도 경력이 많으며 문항제작에 창의력이 뛰어난 사람에 의존하여 제작한다.

선택지 4개 중에서 정확히 알고 있는 약 10~ 20% 학생이 정답지 하나를, 그럴듯한 답지에 즉, 약 60~70%가 함정에 빠질 답지 하나를, 조금 밖에 알고 있지 못하면서 다른 꼼수(운으로)로 맞추려는 학생 20~30%가 선택할 답지 하나를, 끝으로 10% 정도가 눈 깜 땡감으로 그냥 찍어버릴 답지를 만든다.

사실 이런 짓(일)을 하다가 삐끗하여 정답이 두 개가 될 경우가 발생한다. 양심에 호소하건데 어느 교수가, 어느 고등학교 교사가 의도적으로 이런 실수를 저지를까 되새겨보아야 한다. 출제위원들이 일 안하고 세금만 축내는 정치꾼들이 아닌 바에는 그럴 이가 없다. 아울러 주관식 문항에서 변별도는 통계적으로 계산할 수 없음을 밝힌다.

2014년도에 실시한 수능시험에 4% 정도의 만점자가 나올 것이라며 변별력이 떨어진다고 비평한다. 이때 ‘변별력이 떨어진다’는 말은 5개 과목의 총점으로 9개의 등급을 매겼을 때, 각 등급에 들어갈 학생들의 분포는 최상, 최하 4%, 나머지 7개 등급은 20%를 중심으로 17, 12, 7%의 정상분포(스테나인(Stenine) 분포)를 나타내야 하는데, 이런 분포를 보이지 않고 오른쪽 상위점수로 편중(偏重)될 것을 말한다.

엄격히 말하면 ‘한 줄로 줄 세우기’를 할 수 없다는 말이다. 줄 세우기를 잘할 최선책은 수능평가문항을 지금의 배로 늘리는 것이다. 정치꾼들이 애들 잡으려 한다고 난리를 칠 것이다. 아마 황우여 장관은 과거 무상급식, 반값등록금 정책을 입안했으니 이번에는 무시험 추첨 입학 제도를 연구해야 한다며 안동 하회탈 웃음을 웃을 것이다.

<박해룡 철학박사>