인공지능 서술형 평가 자동 피드백 시스템

솔깃하지 않을 수가 없었다. 거의 모든 일이 협업으로 이루어지는 시대에 살고 있지 않은가? 의사소통능력이 핵심 역량 중 하나로 손꼽히는 이유이다. 자신의 아이디어를 잘 정리하고 효과적으로 전달하는 능력은 서술형 평가를 통해 길러질 수 있다. 하지만 서술형 평가는 교사 입장에서 시간이 많이 걸리고, 학생 입장에서는 빠른 피드백이 어려우며, 채점자 간 결과가 상이할 수 있어 평가 자체의 신뢰도 및 타당도 확보가 어려울 수 있다는 문제가 존재한다. 게다가 (이전엔 이 부분을 미처 생각치 못했는데) 교사의 피드백이 감정적으로 불편한 학생이 있을 수 있다는 지적도 있다. 그런데 세상에, 서술형 평가를 인공지능이 대신 해준다고?! 이것은 혁신이다!!!

 

2020년은 모든 에너지를 원격 수업에 쏟아부었던 해였다. 수업의 모습을 흉내 내는 것이 아니라 학생들에게 진짜 배움과 성장이 일어나도록 온라인 교육과정을 실현하기 위해 동학년 선생님들과 함께.. 고생이 심했다. 평가에 대한 고민도 컸다. 카훗이나 띵커벨, 패들릿, Zoom을 활용한 평가를 실시하기도 했지만, 객관식이나 짧은 글만으로 학생들이 배운 지식을 정확하게 이해하고 적용하는 수준에까지 이르렀는지를 평가하기는 어려웠다. 배움공책에 쓴 학생들의 글을 통해 어느 정도 파악하는 데 도움이 되었으나, 그조차도 학생들이 등교하는 날에만 볼 수 있어 피드백이 일주일 뒤에나 이루어진다는 문제가 있었다. 20개의 배움공책에 일일이 피드백을 써주는데만도 3시간 이상 걸렸다.

 

출처: ResearchGate

인공지능 평가도구들의 위력은 대단했다. 인공지능 웹 평가도구인 EvoGrader가 학생 700명의 서술형 시험지(4개 문항, 9개 개념 요소)를 평가하는데 걸리는 시간은 단 5분이다. 게다가 학생들의 응답을 바로 분석하여 결과를 제시해준단다. 결과 그래프를 보는 순간 수학 서술형 평가에 이 시스템을 도입하면 얼마나 좋을까 상상했다. 일단 시험지 안 걷어도 돼, 빨간펜 안 꺼내도 돼. "몇 번이 어려웠나요~ 17번 문제 틀린 사람 손 들어 보세요~ 실수였나요~ 몰라서 틀렸나요~ 어디서부터 막혔나요" 이런 말 다 안해도 돼!! 너무 좋아, 꺄♡ 도대체 시간을 얼마나 아낄 수 있는거야. 물론 그러려면 풀이과정을 컴퓨터에 입력해야 한다... 키보드는 답이 아닌 것 같다... S펜의 무궁한 발전을 기원합니다 :D

 

PEG Writing은 무려 1966년부터 시작된 에세이 평가 엔진이다. '스펠링과 문법, 적절한 단어 및 표현에 대한 즉각적인 피드백은 물론 에세이의 형식과 구조까지 평가한다. 교사는 단순 교정 시간을 절약하여 더 높은 단계의 에세이 쓰기에 집중할 수 있게 된다.'는 것이 엔진을 개발한 MI(Measurement Incorporated)사의 설명이다. 내 말이 그 말이다! 문단 세 개로 된 글을 처음 써보는 초등학교 3학년 학생들의 글을 첨삭하려면 몇 개나 짚어주어야 학생이 실망하지 않을지부터 고려해야 하는 경우가 흔한 일이다. 그런데 미국 델라웨어 주 대학에서 초등학교 3~5학년 학생들의 PEG Writing 활용 사례를 연구해보니, 학생들은 컴퓨터가 즉각 피드백해주는 방식이 마치 게임하는 것처럼 느껴졌다고 한다. 하긴 내가 쓴 글을 누군가가 평가한다고 하면 마음이 조마조마하고 불안해지지 않는가. 그런데 사람보다 인공지능에게 들키는 건 좀 나은 것 같다. 남들은 몰라도 한편의 글을 쓸 때 인공지능 선생님의 지적하는 횟수가 줄어든다면 글 쓰기 자신감도 향상되겠지. 한국어로 된 에세이 자동 첨삭 시스템도 누군가 꼭 개발해주세요.

 

AACR 그룹은 대학용 서술형 평가의 자동 채점을 연구한다. 현재까지 생물학, 통계학의 서술형 평가 자동 채점 프로그램을 개발하였다. 사이트 이름이 'Beyond Multiple Choice', 제목 곧 내용이네. 그래, 인공지능아! 객관식을 넘어선 평가를 부탁한다! 문제를 살펴보니 피드백이 어떻게 올지 궁금해졌다. 로그인을 해야 답을 할 수 있다길래 호기롭게 회원가입도 했는데, 승인 보류 중이라 다음을 기약한다.

 

 

강원대학교 하민수 교수님께서 개발한 WA³I (Web-based Automated Assessment using Artificial Intelligence), 줄여서 "와이"라고 한다. 구성주의에서는 효과적인 교수학습을 위해 학생들의 선행지식을 파악하고, 수업 후 배운 내용을 확인하여 피드백을 제공하고 그 결과를 토대로 다음 수업을 계획하는 일련의 과정을 강조한다. 이 때 학생들이 진정으로 이해하고 있는지 확인하기 위해서는 객관식이 아닌 서술형 평가를 실시해야 한다. 하지만 서술형 평가를 채점하고 피드백을 하는 데 매우 많은 시간과 노력이 필요해 교사의 부담을 가중시킨다. 와이시스템은 이런 문제점을 해결해준다.

학생들의 응답에서 키워드를 검색한 결과이다. 키워드가 두 가지인 경우 서로 다른 색으로 표시된다. 당장 맨 아래 학생이 보라색 키워드를 사용하지 않았음이 보인다.

 

"부력"이라는 키워드로 검색한 Biagram tree 결과이다. 가장 높은 빈도를 보인 단어일수록 크다. 크게 보이는 단어를 차례로 읽으면 학생들의 응답을 대략적으로 구조화할 수 있다. 문장을 빠르게 요약하여 논리적 흐름을 확인하는 데 유용한 분석도구이다.

 

 

서술형 평가의 답이 두 개일 때, 학생들이 응답한 키워드와 단어를 빠르게 분석할 수 있는 분석기능이다. 무슨 글씨인지 알 수 없지만 가운데 하트 모양으로 모인 응답은 뭐였을지 궁금하다.

 

이미 개발된 문항을 활용해 시험지를 생성할 수도 있고, 내가 직접 문항을 개발할 수도 있다. 이런 건 하루 빨리 널리 퍼져야하는데.. 선생님들 중에는 기본적으로 나도 누군가에게 도움이 되었으면 하는 마음이 세팅되있는 분들이 아주 많아, 어쩌면 개발된 평가문항을 선택하는데 시간을 할애해야 할 상황이 올지도 모르겠다. 학생이 정답을 입력할 수 있는 기회는 단 한 번이다. 이후 [과제] 시간이 주어지고, 도움말 등을 통해 보충 학습하며 2차, 3차 답안을 작성해야 한다. 교사는 학생들의 개념이 변화하는 과정을 너무도 빠른 시간 안에 확인하고 분석하여 다음 수업을 계획할 수 있다. 과정중심평가에도 제격인 와이시스템이 하루 빨리 현장에 도입되길! 교수님, 힘내세요!!

 

▶ 와이시스템(WA3I) 바로가기 http://wai.best/

▶ 와이시스템(WA3I)을 소개하는 유튜브 채널 youtu.be/om0jt5YRunE

 

출처: WA3I 유튜브채널