コンフュージョンマトリクスと精度リコールのトレードオフ

混同行列

戻りそうな顧客に、余計な砂糖立方体を与えることを考えているとします。しかし、もちろん不必要に製糖キューブを出さないようにしたいので、モデルに少なくとも 30% 還元する可能性が高い顧客にのみ渡します。

新しい客が通り過ぎたら……。

…回帰モデルを使用して、顧客が戻ってくる可能性を予測できます。

…さらに、少なくとも 30% の確率を持つ顧客を “Will return” として分類し、砂糖キューブを付与することを決定します。

ただし、モデルの精度をより正確に把握するために、すでに設定しているデータポイントにモデルを適用することができます。データポイントでは、その顧客が最終的に戻ったかどうかがわかっています。

…データの精度を評価…

…さらに、それを以下のカテゴリに分類します。

• ; 真陽子: モデルによって「Will return」と分類され、実際は「リターン」していた。
• ; 偽陽性: モデルによって「帰る」と分類されるが、実際は「帰らなかった」と現実に分類される。
• 真陰性：モデルによって「Won’t return」と分類され、実際には「Diddn’t return」と現実に分類されています。
• 偽陰性：モデルによって「戻らない」と分類されましたが、実際には「返却済」でした。

最後に、この作業すべてを正確さとリコールにまとめることができます。

精度:

• “Will return” に分類された人のうち、実際に行った割合はどのくらいだったのか。
• 真陽性 / (真陽性 + 偽陽性)

リコール:

• リコール：実際に「返却済」だったもののうち、そのように分類された割合は？
• 真陽性 / (真陽性 + 偽陰性)

より優れたモデルでは、精度とリコールの値が多くなります。

• 94%の精度のモデル（ほぼすべてが「Will return」と認識されている）と97%のリコール（ほぼ全員が「Returned」を同定した）を想像できる。
• 弱いモデルの精度は 95% ですが、50% のリコール (誰かが “Will return” であると特定した場合、それはほとんど正しいですが、実際に “Return” を行った人の半分は “Won’t return” と誤記されます)。
• または、モデルの精度が 60% で、リコールが 60% なのかもしれません。

これらの数値は、実際に予測を行いたくない場合でも、モデルの精度に良い意味を持つ必要があります。

精度 vs. リコール曲線

任意の 1 つのモデル内で、精度またはリコールを強調することもできます。おそらく、砂糖キューブがとても短く、自信が強い人にだけ渡したいと思うので、（30％ではなく）60％が戻りそうな顧客だけに渡すことにします。

本当に誰かが「戻ってくる」と自信があるときだけ製糖キューブを手渡すことになるので、当社の精度が上がります。最終的に「復帰」し、砂糖の立方体を与えるほど自信が持てなかった人が多くなるため、私たちの思い出しは下降します。

精度:   62%   →   80%
リコール:        60%   —>   30%

または、砂糖の立方体が豊富に感じている場合は、少なくとも帰還者となる可能性が10%ある人にあげることができます。

精度：   62%   →   40%
再現率:        60%   —>   90%

このチャートでは、精度と再呼出のトレードオフを追跡できます。

精度とリコールの良い組み合わせを表すポイントをチャート上で選択し、その時点におけるモデルの精度を把握すると便利です。

FAQ