https://youtu.be/Iq2if4gW0Zo
●AI評価の得意分野とその限界
AIを使えば、作文評価は簡単にできます。
特に間違いを指摘したり、悪いところを直したりすることはAIの得意分野です。
なぜなら、間違い直しや欠点探しは、AIがこれまでに習得した知識が答えとして豊富にあるからです。
難しいのは、良い文章をより良くするためにどうしたらいいのかという評価をすることです。
なぜなら、より良い文章というのは答えがないからです。
●欠点の修正より長所の伸長が重要な理由
間違いを直すとか欠点を直すとかいうのは、小学校低学年の作文や外国人の日本語作文に当てはまることです。
普通に文章を書く実力のある中学生や高校生には、欠点を直すという評価自体が不要です。
中学生や高校生の文章で大事なことは、欠点を直してもらうことではなく、良い文章を書くためにはどうしたらいいかということについてアドバイスしてもらうことです。
●AI評価の揺れとブラックボックス問題
また、AIによる作文評価の弱点は、常に多少の揺れがあることです。
同じ作文を別の日に評価させたとしたときに、全く同じ評価ということはありません。
また、異なる人間が同じような作文を書いた場合も、その評価は微妙に異なります。
そして、更に重要なことは、その評価の背景がブラックボックスになっていることです。
これは人間が行う作文評価と同じで、評価される側はなぜその評価になったのかがわからないまま評価されているのです。
これは、教育ではありません。単なるランク付けです。
●作文検定の評価の特徴と意義
言葉の森の作文検定は、作文の模擬試験や添削サービスとはこの二つの点で異なります。
第一は、欠点を直すことよりも長所を伸ばすことを中心に評価していることです。
普通に文章力のある生徒であれば、直すような欠点などありません。
第二に、評価の基準を、AIではなく独自のアルゴリズムによって行っていることです。
そのために評価の理由がオープンであり、また評価そのものが固定したものになっているのです。
独自のアルゴリズムとは、作文中の語彙を品詞や働き、表現の種類ごとに分類し、その出現頻度やバランスをもとに文章の質を評価する仕組みです。
人間の評価と高い一致度を持つことが確認されており、その手法は特許を取得しています。
