[CBC뉴스] 국가교육위원회가 대학수학능력시험(수능)에 서·논술형 평가 도입을 검토하면서, 인공지능(AI) 자동채점 기술의 활용 가능성에 대한 논의가 이어지고 있다.

AI 채점 기술은 대규모 답안을 빠르게 처리하고 채점자 간 점수 편차를 줄일 수 있다는 기대를 받고 있다. 그러나 한국교육과정평가원 연구진이 최근 발표한 이슈페이퍼에 따르면, 현재 AI 기술로는 채점의 공정성과 신뢰성을 충분히 보장하기 어렵다는 한계가 지적됐다.

연구진은 AI가 어떤 근거와 과정을 거쳐 점수를 산출하는지 설명이 어려운 '블랙박스' 문제가 대표적이라고 밝혔다. 미국 교육평가원(ETS) 역시 사람 채점자와 일치도가 높은 자동 채점 모델을 개발했지만, 점수 산출의 근거를 설명하기 어렵다는 이유로 실제 채점에는 도입하지 않은 사례가 있다고 전했다. 수험생이나 학부모가 점수에 이의를 제기할 경우, 그 근거를 밝히기 어렵다는 점이 문제로 지적됐다.

또한, 생성형 AI가 점수 산출에 대해 구체적인 설명을 제공하더라도 실제 점수 산출 근거와 일치하지 않을 수 있다는 점도 한계로 언급됐다. AI가 논리 구조나 근거의 질보다는 글자 수 등 표면적 특징에 의존해 점수를 매길 위험이 있다는 지적도 나왔다. 이로 인해 사고력과 논증 능력 등 서·논술형 평가의 본래 취지를 제대로 반영하지 못할 수 있다는 우려가 제기됐다.

채점의 일관성과 재현성 역시 문제로 지적됐다. 생성형 AI는 입력된 문맥을 토대로 확률적으로 결과를 생성하기 때문에, 프롬프트나 답안 입력 순서, 모델 버전, 세부 설정 등에 따라 결과가 달라질 수 있다. 동일한 답안과 채점 기준을 입력해도 매번 같은 점수와 평가가 나오지 않을 수 있다는 것이다.

이와 관련해 연구진은 수능처럼 학생 진학과 선발에 큰 영향을 미치는 고부담 평가에서는 AI의 역할을 보조적 수단으로 제한하고, 인간의 검토를 강화해야 한다고 제언했다. "AI는 점수를 결정하는 주체가 아니라 교사의 판단을 지원하는 보조 체계로 위치해야 한다"며, 해석 가능성이 높은 채점 방법을 우선 적용할 필요가 있다고 강조했다.

한편, 대학입학제도 특별위원회를 이끄는 차정인 국가교육위원회 위원장은 AI 채점이 서·논술형 평가의 채점 문제를 해결할 수 있다고 주장하고 있다.

★ 네티즌 어워즈 투표하러 가기 ▶
★ 전 세계 팬덤의 결집, cbcglobe.com ▶
★ 돈돈돈, 남몰래 혼자 보는 – 돈 되는 뉴스 ▶

▮ CBC뉴스ㅣCBCNEWS 하영수 기자