ダッシュボード・ウィジェットにおける有意性検定

スイート
Customer Experience Employee Experience Strategy & Research
製品
Qualtrics

このページの内容

ダッシュボード・ウィジェットにおける有意性検定について

ダッシュボードは、時系列またはグループ間で見られる違いが統計的に有意であり、したがって重要なビジネス上の意思決定を推進する価値があるかどうかを理解するのに役立ちます。例えば、次のような疑問を抱いたことがあるかもしれない:

  • 今月は本当にNpsが上がったのか、それともデータのノイズに過ぎない小さな変化なのか?
  • 実際、中西部グループの満足度は西部グループよりも高いのだろうか?
  • 私の5つの細分化されたセグメントのうち、このスコアリングが一般的なものよりも高いもの、低いものはどれか?

有意性検定では、どのデータの変更が最も重要かを発見することができます。

利用可能なウィジェットおよび指標

有意性検定は、現在、以下のウィジェットで、以下のパラメータで利用できる。これらについては、次のセクションで詳しく説明する。

ウィジェット

Qtip:有意性テストは、CX、EX、BX、結果ダッシュボードなど、上記のウィジェットをサポートするあらゆるタイプのダッシュボードとも互換性があります。

指標

  • 平均
  • NPS
  • トップ/ボトムボックス
  • サブセット率
    Qtip: 有意性検定を行うには、分子は分母に選んだ値の部分集合でなければならない。さらに、その比率は1以下でなければならない。
  • カスタム指標
Qtip:期間をまたいで有意性を検定する場合、X軸/Y軸ディメンションは日付フィールドでなければなりません。値間の有意性を検定する場合、x軸/y軸ディメンションは日付以外のフィールドでなければならない。
Qtip:いくつかのレガシー・ウィジェットでは、カスタム・メトリクスの1つのタイプが有意性検定で使用できます:1つのフィールドを除数とする比例カスタム・メトリクスです。比例カスタム・メトリクスは、(A + B) / C という一般的な形式に従っており、A、B、C はそれぞれ異なるデータフィールドです。A / Bも、被除数が1つのフィールドだけなので、うまくいく。この目的のためにカスタム・メトリクスを作成する場合は、以下のようにカウント数のみを使用できます。例えば、(A + 5) / Bのように、方程式の中に静的な数を入れることはできない。

しかし、プロポーショナル・カスタム・メトリクスを含むカスタム・メトリクスは、新しく作成されたウィジェットの大部分ではサポートされていません

線グラフと棒グラフの設定

Metricsの次へ、Addをクリックします。
対象となる指標を1つ選んでください。
メトリックのフィールドを選択します。
X-Axisの次へ、Addをクリックします。
選択肢のフィールドを追加します。
Qtip:2つの期間を比較したい場合は、日付フィールドを選択してください。2つの値を比較したい場合は、日付以外のフィールドを選択してください。
指標をクリックしてください。
有意性検定を有効にする。

これらの各オプションの詳細については、有意性検定の設定を参照のこと。

テーブルセッティング

Metricsの次へ、Addをクリックします。
対象となる指標を1つ選んでください。
」の次へ、「追加」をクリックする。
選択肢のフィールドを追加します。
Qtip:2つの期間を比較したい場合は、日付フィールドを選択してください。2つの値を比較したい場合は、日付以外のフィールドを選択してください。
指標をクリックしてください。
有意性検定を有効にする。

これらの各オプションの詳細については、有意性検定の設定を参照のこと。

有意性検定の設定

線グラフ、棒グラフ、表を設定し、有意性検定をオンにすると、いくつかのオプションから選択できるようになる。

重要性をどのように決定するかを決める。
  • 現在の期間を以前の期間と比較する:変化の重要性を判断する際、各期間を過去の各期間と比較する。このオプションを使用するには、X 軸ディメンジョンまたは行が日付フィールドである必要があります。
    例: 今月の総合スコアは先月より高いか?今月のスコアは昨年の今頃より高いのか?
  • 特に高い値や低い値を特定する:時間や日付を伴わないデータで最も一般的な選択。
    例: ブラジルのスコアは他の南米諸国に比べて高いか?
  • 現在の値を別の値と比較する:変更の重要性を判断する際に、各値を他の値と比較する。このオプションを使用するには、X 軸ディメンジョンが日付以外のフィールドである必要があります。
    例: ブラジルのスコアはベネズエラのスコアより高いか?ブラジルのスコアはコロンビアより高いのか?ベネズエラはコロンビアより高いのか?
現在の期間と以前の期間を比較する」を選択した場合は、オフセットを選択します。このオプションは、有意性を判断するためにどの期間を使用するかに影響する。利用可能なオプションは以下の通り:
  • 前の期間:各期間を前の期間と比較する。
  • 1年:各期間を1年前の期間と比較する。
例: このウィジェットは、1年のオフセットで、四半期ごとにグループ化された平均CSATを表示します。矢印は、2019年第1四半期から2020年第1四半期への値の増加が統計的に有意であることを示している。
信頼レベル を選択します。信頼区間についての詳細は、Understanding Significance Testingを参照してください。

多次元にわたる有意性の比較

メトリックX軸データ系列を追加することで、複数の次元にわたって有意性を比較することができます。これが機能するためには、次のことを確認する必要がある:

  • X軸フィールドは日付フィールドである。
  • データシリーズフィールドは非日付フィールドである。
例: このウィジェットは、毎年異なる部門の平均CSATを表示します。指標は平均 CSAT、X 軸は日付、データ系列は部門である。

現在の期間と以前の期間を比較する]を選択すると、各部門の期間における重要度が比較される。

現在の値を別の値と比較する」を選択すると、各期間内で部門間の有意性を比較することもできる。

有意性検定の理解

信頼区間 は、分析によって生成された結果が一般母集団と一致することの信頼度を示します。信頼レベルが高いと、しきい値が上がり、差が統計的に有意であると見なされます。つまり、最も明確な差のみが統計的に有意であるとマークされます。

有意性テストを有効にすると、ウィジェットに上向きと下向きの矢印が表示されます。これらの矢印は統計的に有意な値を示す。

矢印の上にカーソルを置くと、その値が有意とみなされる理由と、その検定の信頼区間を知ることができる。

例: ここでは、2019年第1四半期のCSATスコアの次へ青い矢印にカーソルを合わせる。ツールチップは、この値が典型的な値よりも高く、信頼区間は95%であることを示している。

例: ここでは、2020年1月~2020年6月のNPSスコアの矢印にカーソルを合わせています。ツールチップは、この6ヶ月間の値が前回の6ヶ月間(2019年7月~2019年12月)より低く、その信頼区間は80%であることを教えてくれる。

有意性検定に関するテクニカル・ノート

チャートの種類や比較のタイプ(経時的なものなど)にかかわらず、あるNPSスコアと別のNPSスコアを比較する場合は、以下のプロセスを使用する:

以下の方法でNPSスコアを再コード化する新しいデータ列を作成する:
  • 推奨者 = 100
  • ニュートラル = 0
  • 批判者 = -100
両側Welchの独立サンプルT検定を行う。

チャートの種類や比較の種類(経年比較など)にかかわらず、あるトップボックスのスコアを別のトップボックスのスコアと比較する場合、以下のプロセスを用いる:

未加工スコアがトップボックスの基準を満たしているかどうかによって、TRUEまたはFALSEに再コード化する新しい列のデータを作成する。
2つの割合の差について両側z検定を行う。

FAQs

Why are my metrics adding up to 99 or 101 instead of 100?

当サポートサイトの日本語のコンテンツは英語原文より機械翻訳されており、補助的な参照を目的としています。機械翻訳の精度は十分な注意を払っていますが、もし、英語・日本語翻訳が異なる場合は英語版が正となります。英語原文と機械翻訳の間に矛盾があっても、法的拘束力はありません。

この記事は役に立ちましたか

いただいたフィードバックはこのページの改善の目的のみに利用します。

素晴らしい! フィードバックありがとうございます!

フィードバックありがとうございます!