“25번 문항의 정답률은 9%로 매우 낮습니다.”
“변별력 지수와 point biserial지수는 얼마인가요?”
“각각 0.1 와 0.05입니다.”
“25번 문항을 학생들의 시험 성적에 포함시키기 전에 그 문항에 오류가 있거나 학생들에게 오해를 일으킬 만한 부분이 있는지 검토해야겠습니다.  또 이 문항에서 평가하려고 한 내용이 잘 가르쳐 졌는지도요.”

우리학교는 모든 시험에서 채점 후 학생들에게 시험성적을 공지하기 전에 교육 부학장 주재로 시험성적기준 평가회의(standards setting meeting)를 열어서 시험 성적을 확정짓는다.  이 회의에서 담당과목 교수는 학생들이 시험의 각 문항(item)에 대해 어떤 성적을 내었는지 분석해서 발표한다.  이 문항 분석(item analysis)의 목적은 개별 문항의 질을 검토하고 이에 따라 각 문항을 시험전체 성적에 포함시킬지를 결정하는 것이다.  만약 문항의 질에 문제가 있다는 것이 발견되면 그 문항은 전체 성적 계산에서 제외한다.

시험은 학생들의 학업성취도를 정확하게 측정해야 한다. 따라서 이 목적을 달성할 수 있도록 시험에 출제되는 문항들이 디자인되고 쓰여져야 한다. 우리학교는 크게 세 가지 정책을 통해 양질의 문항이 시험에 출제되도록 하고 있다.  첫째, 출제자는 워크샵 등을 통해 과학적 연구 결과에 근거한 출제방법을 습득한 뒤 문항을 출제하도록 하고 있다.  둘째, 문항이 시험에 최종적으로 출제되기 전에 적어도 두 명의 교수가 그 문항을 검토한다.  세째, 시험 후 결과를 학생들에게 공지하기 전에 문항분석을 하여 양질로 입증된 문항만으로 시험성적을 계산하도록 확정하는 것이다.

문항의 양질 여부를 평가하기 위해 몇 가지 지표가 사용된다. 난이도, 변별력 지수, point biserial 등이 그것이다. 난이도(difficulty)는 정답률, 즉 몇 퍼센트의 학생들이 그 문항을 정확하게 맞추었느냐를 말한다.  흔히 난이도가 높으면 학업성취도가 높은 학생들과 그렇지 않은 학생들을 잘 변별할 수 있다고 생각하는 것 같다.  하지만 꼭 그렇지는 않다.  왜냐하면 난이도가 높다는 것, 즉 정답률이 낮다는 것은 학업성취도가 높은 학생들조차도 그 문항을 맞추지 못했을 가능성이 높기 때문이다.  뿐만 아니라 정답을 맞춘 학생들의 수가 너무 적으면 이들이 제대로 알고 맞추었는지 운좋게 찍어서 맞추었는지 알기 어렵다. 그래서 변별력을 판별하기에 좀 더 적절한 지표는 난이도보다 변별력 지수와 point biserial지수이다.

변별력 지수(discrimination index)는 학생들을 전체 시험 성적 기준으로 상위와 하위 그룹으로 나누고 이 두 그룹 학생들의 그 문항에 대한 정답률의 차이를 구한 것이다 (보통 상위 27%, 하위 27%를 선택한다).  예를 들어, 상위 그룹 학생들의 정답률이 70%이고 하위 그룹은 30%라면 변별력 지수는 0.4 ( = 0.7–0.3)이다.  따라서 변별력 지수가 높을수록 문항의 변별력은 높다.  반면 변별력 지수가 음수이면 하위 그룹이 상위 그룹보다 그 문항을 더 많이 맞추었다는 것을 의미하므로 문항의 질을 의심해야 한다.

Point biserial지수는 특정 문항 성적과 전체 시험 성적간의 상관관계를 나타낸다.  즉 특정 문항을 맞춘 학생들이 그렇지 못한 학생들보다 전체 시험 성적이 더 높다면 그 문항은 변별력이 높다고 볼 수 있다.  반면, 특정 문항을 맞춘 학생들이 그렇지 못한 학생들보다 전체 시험 성적이 더 낮으면 – 즉 학업성취도가 낮은 학생들이 그 문항을 더 많이 맞추었다면 - 문항의 질을 의심해야 한다.

일반적으로 문항의 난이도, 즉 정답률이 0.45-0.75이고 변별력 지수와 point biserial지수가 각각 0.2이상이면 시험성적으로 포함되기에 적합한 정도의 변별력을 갖춘 양질의 문항으로 간주한다 (우리나라에서 말하는 킬러문항, 준킬러문항은 모두 양질의 문항이 아니다.  또, 대학수학능력고사, 약사고시 등 아주 중요한 시험의 경우 문항의 변별력 지수와 point biserial은 0.3이상이어야 한다).  

만약 문항분석 지표가 이보다 낮으면 그 원인을 찾아야 한다.  문항자체가 이해하기 어렵거나 혼동되기 쉽게 쓰여졌다면 학업성적도가 우수한 학생들도 틀릴 가능성이 높다.  또 수업시간에 충분히 강조하지 않았거나 학생들에게 충분히 연습할 수 있는 기회를 주지 않은 내용을 문항이 평가한다면 이는 학생들에게 공정(fair)하지 않다 (이런 문항들은 학업성적도가 우수한 학생들도 어려워하기 때문에 변별력이 낮다).  따라서 이러한 문항들은 학생들의 학업성취도를 정확하게 측정한다고 볼 수 없기 때문에 전체시험성적에서 제외해야 한다.

이상과 같이 우리학교는 학생들의 학업성취도를 정확하게 측정하기 위해 시험에 출제된 문항들의 변별력을 중요하게 여긴다. 그렇다면 시험의 본질은 공정한 변별력일까?

이에 대한 답은 시험의 목적과 관계가 있다고 생각한다.  시험의 목적이 학생들을 성적순으로 줄세우기라면 변별력 자체가 시험의 본질일지도 모른다.  반면 학생들이 최소한의 학업성취의 기준에 도달했는지를 평가하는 것이 시험의 목적인 경우 변별력은 문항이 양질이었는지 확인하는 수단일 뿐이다.  그리고 적어도 약대와 같이 건강관련 전문직역을 길러내는 학교의 경우 후자가 시험의 목적이다.  

학교가 배출할 모든 약사들이 환자를 안전하게 돌보는 것을 담보하기 위해 학교는 학생들이 이에 관해 최소한으로 요구되는 능력을 갖추도록 해야 한다.  따라서 시험은 학생들이 이런 능력을 갖추었는지를 평가하는 것이다.  그리고, 이런 시험을 통과한 학생들은 성적에 따라 따로 줄을 세울 필요가 없다. 요구되는 능력을 갖춘 것으로 확인되었기 때문이다.  반면 시험을 통과하지 못한 학생들은 재교육과 재시험을 통해 그 능력을 갖출 기회를 다시 주어야 한다.  그래서 우리학교는 A, B, C, D, F학점을 사용하지 않고 통과(pass)/불통과(no pass)로 성적을 처리한다.  그리고 불통과 판정을 받은 학생들에게 재교육과 두 번의 재시험 기회를 제공한다.

교육적인 관점에서 볼 때 학생들을 시험 성적순으로 줄세우는 것은 문제점이 많다.  첫째, 다른 학생들을 협력할 동료라기 보다 경쟁자로 보기 쉽다.  그런데 사회에 나가면 다른 사람들과 협력해서 일해야 하는 경우가 대부분이므로 학생때부터 협력하는 방법을 배우는 것이 성공적인 사회생활을 위해 중요하다. 둘째, 배움보다 성적이 더 중요하게 된다.  학교를 다니는 목적은 배우기 위한 것이지 성적을 내기 위한 것이 아니다.  그런데, 성적순으로 줄을 세우면 학교를 다니는 목적은 좋은 성적을 받는 것으로 바뀌기 쉽다.  그래서 배우는데 촛점을 맞추기 보다는 좋은 점수를 따는 전략, 예를 들어 효율적으로 문제푸는 방법 등에 더 집중하게 된다.  또 성적에만 초점을 두게 되면 단기암기에 집중하기 쉬워지고 시험이 끝나면 공부한 내용을 바로 잊기 쉽다.  이런 식으로 공부하게 되면 졸업 후 사회에 나가서 배운 것을 이용하고 적용하기 어렵다.  마지막으로 시험 성적은 학생이 성공적인 사회생활에서 필요한 여러가지 요소 중 일부 (지식)만을 보여줄 뿐이다.  가령 약사나 의사가 아무리 지식이 많더라도 환자와 효과적으로 소통할 줄 모르면 그 많은 지식은 환자치료에 별로 소용이 없을 것이다.

이와같이 시험의 본질은 학생들이 최소한의 학업성취의 기준에 도달했는지를 평가하는 것이라는 근본적인 사고의 전환이 필요하다.  학교는 교육을 시키는 곳인데 비교육적인 방법을 써서야 되겠는가? 사회에 나가면 학교 때 무슨 성적을 받았는지 아무도 물어보지 않는다 (환자가 의사나 약사에게 학창시절 A 받았느냐고 물어보지 않는다).  마지막으로 시험 성적은 학생의 전체 능력의 일부일뿐이다.

시험은 교습자가 세운 학습목표(learning objectives)를 학생들이 달성했느냐 – 학업성취도 - 를 평가하는 것이다. 그래서  우리학교는 모든 수업에 교수가 설정한 학습목표를 학생들에게 미리 공지하고 교수는 학습목표에 따라 강의, 수업 자료를 만든다. 뿐만 아니라 교수가 시험 문제를 출제할 때 각 문항은 어떤 학습목표를 평가하는지 명시해야 하며 학생들에게 교부하는 시험성적표에 이를 포함시키고 있다.

이처럼 학습목표는 중요하기 때문에 수업시간에 강조되어야 하지만 수업시간의 제약으로 충분히 다루지 못했을 수 있다.  또, 학습목표에 관련된 내용이 복잡하여 학생들에게 충분한 공부의 기회 (예를 들어, 자습문제)를 주어야 했음에도 불구하고 그렇지 못한 경우가 발생했을 수 있다.  이런 경우 학생들이 그 학습목표를 달성했는지 평가하는 것은 학생들에게 공정 (fair)하지 않다. 그래서 이런 이유로 문항의 난이도가 높거나 변별력 지표가 낮은 경우 그 항목은 전체 시험 성적에서 제외한다.

<필자소개>
-서울대 약학대학, 대학원 졸업
-University of Florida Doctor of Pharmacy-University of Miami Jackson Memorial Hospital  Pharmacy Practice Residency
-Universityof Florida Cardiovascular PharmacogenomicsFellowship
-현 University of California San Francisco 임상약학과 교수