CBT学力調査の記述式問題を自動採点するAIシステム

プロジェクトの背景

お客様は、CBT（コンピュータを使った試験）による学力調査を自治体から受託しています。調査には記述式の問題があり、その採点には答案の量に応じてコストと時間がかかります。そのため、記述式問題を含む商品を増やしにくい状況でした。

本プロジェクトは、当社ホームページへのお問い合わせから始まりました。

導入前の精度検証

開発の前に、教科や学年の異なる実際の答案を使い、AIの判定とお客様の採点を比べました。多くの問題で高い水準で一致しました。

食い違った答案の多くは、採点基準があいまいで、採点者の判断に頼る部分でした。人の採点のほうが基準と矛盾していた答案もありました。ここから、「採点基準のあいまいな部分をなくし、漏れや重複のない基準に磨いていくことが、精度を上げる鍵になる」という方針を確認しました。お客様はこの結果をもとに導入を決められています。

システムの特長

採点根拠の可視化

記述式の採点をAIに任せるうえで、いちばんの論点は「なぜその点数になったのかを説明できるか」でした。学校から問い合わせがあったときに、「AIがそう判断したから」では答えになりません。

本システムでは、お客様が定めた採点基準をAIが判定できる形で定義し、答案ごとに「どの基準をどう判定したか」を記録します。点数とあわせて根拠を確認できるため、答案一つずつについて結果を説明できます。

採点基準の精緻化

採点基準はお客様の社内で作られています。ただ、丁寧に作った基準でも、実際の答案で採点してみると、あいまいな部分や判定のブレが見つかります。人の手で採点していたときは、基準を直すたびに、それまでに採点した答案を採点し直す必要がありました。そのため、修正を採点結果に反映するまでに多くの時間がかかっていました。

本システムでは、基準を直せばすぐにAIが採点し直すため、修正と確認を短い間隔でくり返せます。そのうえで、採点を2段階に分けました。

1. プレ採点：一部の答案を初期の採点基準で採点し、人の採点と食い違った答案から、基準のあいまいな部分を見つけて直す。食い違いの傾向をAIが分析し、直し方を提案する機能もある
2. 本採点：精緻になった採点基準で、CBTシステムからの依頼を受けて全件を採点する

基準の修正から採点のやり直しまでを、教科担当のスタッフが画面上で行えます。エンジニアの手を借りずに、何度でも基準を直して確かめられることを重視しました。

採点品質を担保する仕組み

AIは、判断の難しい答案で判定が揺れたり、もっともらしい誤りを返したりすることがあります。そこで、AIの出力をそのまま使わない仕組みにしています。

• 出力を検証してから使う：AIの回答が採点基準に照らして成り立つかをプログラムで確かめ、ありえない結果は採用しない
• 答案と指示を分ける：答案に書かれた文によって、採点の指示が書き換えられないようにする
• 別のAIが検証する：採点後に別のAIが判定を見直し、異議のあった答案にだけ印を付ける。人はその答案を重点的に確認すればよい

運用を始めてからも、お客様からのご報告をもとに、これらの仕組みを改善し続けています。

開発・導入の進め方

要件定義の段階から動く試作品を用意し、毎週の定例会でお客様に触っていただきながら、画面と機能を決めていきました。CBTシステムを開発する会社とも連携し、三者で連携の仕様をすり合わせています。テストと操作マニュアルの整備を経て納品し、現在は運用・保守を行っています。