分類の成績として正解率が示されると、高い数字ほど安心したくなります。しかし、二つの種類の件数が大きく偏っている場合、その数字だけでは重要な誤りが見えません。
百件の架空例で考える
通常の記録が99件、要確認の記録が1件あるとします。すべてを通常と答える仕組みでも、正解は99件になります。正解率は99%ですが、見つけたかった要確認の1件は見逃しています。これは仕組みの性能を説明するための仮の例です。
Googleの機械学習教材でも、分類を評価する際に正解率、適合率、再現率などの役割を分けています。どの指標を重視するかは、何を見つけたいか、どんな誤りが問題になるかと関係します。
間違いの内訳を求める
結果表を読むときは、全体の件数だけでなく、それぞれの種類について当たりと外れが何件あったかを確認します。見逃しと誤検出は別の間違いなので、一つの合計にすると事情が隠れます。
高い正解率を直ちに否定する必要はありません。評価対象の構成と、実際の用途に必要な判断が合っているかを問いましょう。要約では「99%だった」に加えて、どの集団で何を分類したのかを残します。数字の印象から一歩進み、その成績がどの仕事に役立つのかを考えるための読み方です。

