コンピュータは子供の作文を採点できるか?


現在ビジネス
------------------------------------------------
 米国で、学生の作文(essay)を
コンピュータに採点させる試みが始まっている。

●"Essay-Grading Software Offers Professors a Break"
 The New York Times, April 4, 2013

 上の記事によれば、
ハーバード大学とMIT(マサチューセッツ工科大学)が
共同で設立した「EdX」という非営利団体が
先頃、実際にそのようなAI(人工知能)プログラムを開発した。
それを今後、どの大学でも利用できるように
ウエブ上で公開する予定という。

 全国共通テストのような択一式問題を
コンピュータに採点させるのは、今や当たり前のことだが、
学生が書いた文章をコンピュータが理解し、
正しく採点することが果たして可能なのか。
このような懸念から、米国では教育関係者を中心に
物議を醸しているようだ。
「作文の上達を早める」と業者は主張

 しかし実は大学が始める前から、
既に一部の中学校や高校などで、
生徒の作文をコンピュータが採点していた。
背景には、米国における慢性的な教師不足がある。
これまで一人の教師が何人もの生徒(子供)の
作文を採点していたため、教師に大きな負担がかかると共に、
子供が採点結果を知るまでに長い時間がかかった。

 しかしコンピュータが作文を採点すれば、
教師の負担が減る上に、
すぐに採点結果が出る(たとえば「e-Rator」というシステムを使うと、
毎秒800本の作文を採点できるという)。
従って、子供は「作文を提出しては、
採点結果を参考に書き直す」という作業を短期間に繰り返して、
作文の上達を早めることができる。

 肝心の子供やその親、さらには教育関係者らが、
それに同意できるか否かはさておき、
少なくとも、この種の採点システムを
提供する業者はそう主張している。

 彼らはまた、「あらかじめ教師(つまり人間)と
コンピュータに同じ作文を何本も採点させたが、
採点結果は人間とコンピュータで
ほとんど差が見られなかった
(つまりコンピュータによる採点システムは
正しく動作している)」とも主張する。

 が、これとは正反対のことを言う専門家もいる。
それによれば、コンピュータ(採点システム)は
ある種の評価基準を機械的に適用するだけなので、
この評価基準に従って書かれてさえいれば、
作文の内容が全くのナンセンスであったり、
事実と違っていても高得点を稼ぐことができる、という。
無意味な文章にも高得点が与えられる

 そうした評価基準は幾つかあるが、
たとえば文章の長さである。
コンピュータは、短い作文よりも
長い作文に高得点を与える傾向がある。
またセンテンス(一つの文)自体も短いよりは長い方がよく、
接続詞などを多用した複雑な構造のセンテンスに
高い得点を与える。

 さらに同じ意味でも、日常的に使われる短くて簡単な単語より、
めったに使われない長くて難しい単語
(英語では「big word」と総称される)の方に
高得点を与える傾向があるという。

 これらの評価基準に従ってさえいれば、
たとえば「1945年に始まった日本の南北戦争では、
全世界で多数の戦死者と一般市民の犠牲者を出したが、
スペイン軍の知略と奮闘によって
1938年に漸く終戦を迎えた」というような、
滅茶苦茶な内容であっても高得点を稼いでしまうという。

 逆に、そうした評価基準に合致しなければ、
どれほど秀逸な文章を書いても得点は低くなってしまう。
実は教師の採点基準を映し出す鏡

 ここで興味深いのは、コンピュータ(採点システム)が
どのようにして、上記のような評価基準を得たのか、という点だ。
これは実は、「機械学習」という方法によって、
コンピュータが自習しているのである。

 この種の採点システムを提供する業者は、
あらかじめ同一のテーマについて
何本もの作文を用意し、
これをまず多数の教師(人間)に採点させる。
そして、それら大量の作文と採点結果を
コンピュータに読み込ませるのだ。
コンピュータはこれらを統計的に処理し、
どのような作文が教師から高い得点を
貰う傾向があるかを学習するのである。

 コンピュータが子供の作文を採点するための評価基準は、
その過程で確立される。
逆に見れば、「短い文章よりは長い文章がいい」とか
「よく使われる簡単な単語よりは、
普段あまり使われない難しい単語の方がいい」などは、
実は教師自身が普段、生徒の作文を採点するとき、
(恐らく無意識のうちに)使っている評価基準なのだ。

 従って、業者が「コンピュータと教師(人間)とで、
採点結果にほとんど違いは無かった」
と言うのも当然なのである。
コンピュータはある意味で
教師から採点の仕方を学んでいるからだ。

 もちろん教師の中には、
「私はそんな機械的な採点の仕方はしない。
ちゃんと作文の中身を自分なりに理解して評価している」
と言う人もいるだろう。
いや、恐らく、そう主張する教師の方が多いだろう。
しかし実際には、コンピュータが
大量のデータ(作文と採点結果)を統計的に処理する過程で、
人間による採点プロセスに込められた
各教師の個性や主観は平均して相殺されてしまう。

 そして最後に残るのは「文章の長さ、短さ」とか
「単語の使用頻度の高さ、低さ」といった
統計的に処理できる数値データになってしまうのだ。
実際、これらの点に一定の傾向が現れることは
事実として認めねばなるまい。

 作文の採点システムに反対する専門家が、
その理由として挙げるのが、まさにこの点なのである。
つまり子供はいずれ、こうした採点システムの仕組みを見抜く。
そうなると恐らく、自分の文章力を磨こうとするよりは、
コンピュータの採点基準に沿った
(奇妙な)文章を書こうとするだろう。
つまり子供(人間)がコンピュータを相手に、
なるべく高い点を取ろうとするゲームになってしまうのだ。
教師の補助システムに限定されるべき

 恐らくチェスや将棋のような本物のゲームであれば、
人間対コンピュータという図式は成立し得る。
ある時点で、どちらが強いかを決めることには、
科学的、社会的、あるいは歴史的に何らかの意義があろう。

 しかし作文では、そうした図式は成立しない。
なぜなら人間が書く文章は、
あくまでも別の人間に読んでもらうためにあるからだ。
ひどく当たり前の結論だが、
子供の作文は教師(人間)が採点すべきだろう。

 もしも採点システムに何等かの意義(役割)があるとすれば、
それは教師の補助ツールとしての役割かもしれない。
つまり多数の作文を一旦コンピュータに評価させた後、
最終的に教師が採点を下すという方法だ。
それによって教師の負担はある程度、軽減されるし、
最後は人間がチェックするから
「全くのナンセンスだが高得点」といった、
コンピュータならではのバイアスは排除できる。
------------------------------------------------
保育士新卒 保育士転職