コンフュージョンマトリクスと精度リコールのトレードオフ

混同行列

戻りそうな顧客に、余計な砂糖立方体を与えることを考えているとします。しかし、もちろん不必要に製糖キューブを出さないようにしたいので、モデルに少なくとも 30% 還元する可能性が高い顧客にのみ渡します。

新しい客が通り過ぎたら……。

…回帰モデルを使用して返品する可能性を予測できます…

…30% 以上の可能性を持つ顧客を “返品する” として分類し、砂糖キューブを提供することを決定しました:

モデルの正確性をよりよく理解するために、すでにあるデータポイントにモデルを適用して、顧客が最終的に戻ったかどうかをすでに把握することができます。

…およびデータの精度を評価…

… その後、これを次のカテゴリに分類します。

• ; 真陽子: モデルによって「Will return」と分類され、実際は「リターン」していた。
• ; 偽陽性: モデルによって「帰る」と分類されるが、実際は「帰らなかった」と現実に分類される。
• 真陰性：モデルによって「Won’t return」と分類され、実際には「Diddn’t return」と現実に分類されています。
• 偽陰性：モデルによって「戻らない」と分類されましたが、実際には「返却済」でした。

最後に、このすべての作業を正確さとリコールにまとめることができます。

精度:

• “Will return” に分類された人のうち、実際に行った割合はどのくらいだったのか。
• 真陽性 / (真陽性 + 偽陽性)

リコール:

• リコール：実際に「返却済」だったもののうち、そのように分類された割合は？
• 真陽性 / (真陽性 + 偽陰性)

より優れたモデルでは、精度とリコールの値が多くなります。

• 94%の精度のモデル（ほぼすべてが「Will return」と認識されている）と97%のリコール（ほぼ全員が「Returned」を同定した）を想像できる。
• 弱いモデルの精度は 95% ですが、50% のリコール (誰かが “Will return” であると特定した場合、それはほとんど正しいですが、実際に “Return” を行った人の半分は “Won’t return” と誤記されます)。
• または、モデルの精度が 60% で、リコールが 60% なのかもしれません。

これらの数値は、実際に予測を行いたくない場合でも、モデルの精度に良い意味を持つ必要があります。

精度 vs. リコール曲線

任意の 1 つのモデル内で、精度またはリコールを強調することもできます。おそらく、砂糖キューブがとても短く、自信が強い人にだけ渡したいと思うので、（30％ではなく）60％が戻りそうな顧客だけに渡すことにします。

本当に誰かが「戻ってくる」と自信があるときだけ製糖キューブを手渡すことになるので、当社の精度が上がります。最終的に「復帰」し、砂糖の立方体を与えるほど自信が持てなかった人が多くなるため、私たちの思い出しは下降します。

精度：   62%   —>   80%
リコール:        60%   —>   30%

あるいは、砂糖キューブが豊富なと感じている場合は、少なくとも復帰者になる可能性が10%ある人なら誰にでも出せるだろう。

精度:   62%   —>   40%
リコール:        60%   —>   90%

このチャートを使用すると、精度とリコールの間のトレードオフをトレースできます:

精度とリコールの良い組み合わせを表すポイントをチャート上で選択し、その時点におけるモデルの精度を把握すると便利です。

FAQ