回答の品質
このページの内容
回答品質について
ExpertReviewの回答品質は、収集したデータの分析を開始する前に、その全体的な品質をチェックするクアルトリクスプラットフォームの機能です。可能な限り最高の品質のデータを回収するため、アンケートの改善方法について最善の提案をします。回答を分析する際に表示される可能性のあるエラーメッセージと、それぞれの解決方法を以下に示します。
［データと分析］でのExpertReviewの使用方法については、回答品質機能を参照してください。
ヒント： インポートされた回答は、回答の品質が有効になっているアンケート調査で分析されます。唯一の例外は、回答時間、完了率、機密データ、ボット検出、重複検出を判断する場合です。
アンケートのプレビュー、テスト回答、合成回答は、すべての分析から除外されます。
回答者が異常に早くアンケートを完了しました
アンケートへの回答が早すぎる回答者には、スピード違反者としてフラグが立てられます。これは、質の高い回答を提供する代わりに、アンケートを早く終わらせるために回答者がランダムに回答を選択したことを示唆しています。
回答者のアンケート所要時間の中央値から標準偏差が2以上離れている場合に回答にフラグが付けられます。また、アンケートで100件以上の回答を収集している必要があります。スクリーニングで除外された回答、プレビュー回答、テスト回答は、100件の回答数にはカウントされません。
注意：スピード違反は、他の回答者がアンケートを完了するまでにかかった時間との比較で判断されるため、より多くの回答を収集するにつれて、スピード違反者と見なされる対象が変化する場合があります。最高品質のデータを確保するため、データ収集が完全に完了する まで、回答速度が速すぎる回答者をフィルターしたり削除したりしないことをお勧めします。
ボットの可能性
ヒント：アンケートオプションでボット検出を選択した場合にのみ、回答にボットとしてフラグを立てることができます。
Googleの invisible reCaptcha テクノロジーを使用することで、回答が人間ではなくボットによるものである可能性を検出できます。 ボット検出が有効な場合、埋め込みデータフィールド「Q_RecaptchaScore」で各回答者にスコアが割り当てられ、回答がボットから送信された可能性が示されます。このスコアが 0.5 未満の場合、回答はボットとしてフラグ付けされます。
ヒント： インポートされた回答はボット検出と互換性がなく、ボットの可能性があるかどうかのチェックは行われません 。
ヒント： キャプチャの質問とボット検出はどちらもGoogle reCAPTCHAテクノロジーを使用しますが、その使用方法は大きく異なります。Captchaの質問では、回答者は、続行するために、正しく対応していくつかの課題に回答する必要があります。一方、［ボットの検出］では、reCAPTCHA V3を使用して、人またはボットの可能性で回答にフラグが設定されます。これによって回答者による操作は不要になりますが、回答者がボットであった場合に、その進行をブロックすることはありません。（ただし、ユーザーはアンケートフローに分岐を追加して、ボットである可能性に基づいて回答者をアンケートから除外することができます。）
ボットの防止
ボットがアンケートを通過する可能性を低減させる方法はいくつかあります。
- Q_RecaptchaScoreを分岐ロジックで使用して、ボットをアンケートの最後に誘導するか、完全に除外します。
- アンケートの冒頭でキャプチャ認証の質問を使用します。
- パネルに配信する場合は、認証機能またはパスワードを使用して、アンケートにアクセスできる人を制限します。
- アンケートのセキュリティオプションを調整してみてください。
回答者が複数回アンケートに回答しました
ヒント: 重複の可能性がある 回答にフラグを立てることができるのは、アンケートオプションで次のうち少なくとも1つを選択している場合のみです。
ユーザーが複数回アンケートに回答しようとすることがあります 。調査の目的に応じて、重複した回答は、繰り返し回答する人のフィードバックに結果が偏ることで、データの質を低下させる可能性があります。
有効にしているアンケートオプションに応じて、回答が重複としてフラグ付けされる方法は2つあります。
- 重複検出が「回答にフラグを付ける」に設定されています。Q_DuplicateRespondentフィールドが「true」と等しくなります。
- 「複数回答の防止」が「回答にフラグを立てる」に設定されている場合： Q_BallotBoxStuffingフィールドが「true」と 等しい。
繰り返しの回答を禁止する
アンケートの設定方法によっては、データ収集を開始する前に重複回答を防ぐことができます。
回答者がわかっている場合は、回答者にアンケートをメールで送信します。
ヒント：匿名リンクを誰も使用できないようにするには、アンケートへのアクセスを招待者のみに変更します。
- 回答者の情報がわかっている場合や、組織でシングルサインオン(SSO)を使用している場合は、[再度回答]オプションを無効にした認証機能を使用します。
匿名リンクで 複数回答の防止を使用する場合は、アンケートの終了またはリダイレクトオプションを選択してください。
ヒント：匿名リンクを使用する場合、重複検出 を有効にしても重複が即座に削除されるわけではありませんが、データ収集の終了後に重複を削除できるようになるため、データ品質を強化できます。
低い合計完了率
回答者がアンケートを開始してから24時間以内に完了しなかった場合、その回答者がアンケートを完了するために戻ってくる可能性は低いと考えられます。このような状況が頻繁に発生する場合、アンケートの記述方法や形式に、回答者が離脱する原因がある可能性が高くなります。
完了率が低いとフラグ付けされるのは、完了した回答を 100 件以上集めてからになります。（これには不完全な回答と進行中の回答は含まれません）。また、過去24時間以内に開始された回答がない場合、完了率が低いことはフラグ付けされません。(これには、完了した回答、不完全な回答、進行中の回答が含まれます。)これにより、調査が数か月前に回答の収集を停止した場合に、完了率が低いという誤った判定がなされるのを防ぎます。
24時間以内の完了率にフラグが付けられた場合
アンケートの完了率が低いかどうかは、以下を計算して判断されます。
(現在時刻から 24 時間以内に開始され、完了したアンケート調査の数) / (現在時刻から 24 時間以内に開始されたアンケート調査の数 )
- 軽度: 過去24時間以内に開始された回答のうち、未完了のものは1～9%のみです。
- 中程度：過去24時間以内に開始された回答の10～20%が未完了です。
- 深刻：過去24時間以内に開始された回答 の21%以上が完了していません。
アンケートの修正
完了率が低い場合は、アンケートの作成方法に問題がある可能性があります。回答率を向上させるためにアンケートを修正する際は、iQ Score ExpertReviewが最初にアンケートに割り当てたスコアを考慮することが重要です。以降のページでは、ExpertReviewがフラグを付けたすべての問題に関するアドバイスを記載しています。
低い合計完了率
アンケートの完了率が低いほど、アンケートの記述方法や形式が原因で回答者が離脱している可能性が高くなります。
完了率が低いとフラグ付けされるのは、完了した回答を 100 件以上集めてからになります。(これには、インポートされた回答、不完全な回答、進行中の回答は含まれません。)
総合的な完了率にフラグが付けられた場合
アンケートの完了率が低いかどうかは、以下を計算して判断されます。
(完了したアンケート回答の合計数) / (記録された回答の合計数 + 進行中の回答の合計数)
ヒント：この場合、分子（アンケートの完全回答）は、回答者がアンケートの最後までクリックして終了した回答を指します。手動で終了された進行中の回答はカウントされません。手動でクローズされた進行中の回答は、分母に含まれます。
- 軽度: 過去24時間以内に開始された回答のうち、未完了のものは1～9%のみです。
- 中程度：過去24時間以内に開始された回答の10～20%が未完了です。
- 深刻：過去24時間以内に開始された回答 の21%以上が完了していません。
アンケートの修正
完了率が低い場合は、アンケートの作成方法に問題がある可能性があります。回答率を向上させるためにアンケートを修正する際は、iQ Score ExpertReviewが最初にアンケートに割り当てたスコアを考慮することが重要です。以降のページでは、ExpertReviewがフラグを付けたすべての問題に関するアドバイスを記載しています。
機密情報を含む回答
回答には、回答者に関する機密情報が含まれている場合があります。電話番号から社会保障番号まで、あらゆるものが該当します。どの組織にも、機密と見なされるコンテンツに関する独自の基準があります。回答者が提供した情報が機密性が高すぎて分析に含めることができないという理由で、このデータをデータセットから除外したい場合があるかもしれません。
ブランドの設定によっては、回答から機密情報が編集 される場合もあります。この場合、機密情報はアスタリスクに置き換えられ、元の機密情報を復元する方法はありません。墨塗りされた情報を含む回答を分析に含めるかどうかは、お客様次第です。
ヒント: 編集によって伏せ字にされた情報は機密コンテンツとしてフラグ付けされないため、ExpertReviewのフィルターには含まれません。 インポートされた回答も編集の対象外となります。
機密データの収集を防止する
回答者が自由回答で自発的に機密情報を提供することはありますが、機密データに関する違反を防ぐ最善の方法は、個人情報を尋ねないようにすることです。アンケートからこの種のリクエストを削除する方法の詳細については、機密データの問題の解決を参照してください。
ブランド管理者の方は、機密データポリシーに墨消しを追加することを検討してください。これにより、アンケート作成者が回答者の機密情報にアクセスできないようにすることができます。機密性の高いトピックのうち、どれを墨塗りし、どれを墨塗りしないかを選択できます。
あいまいなテキスト
注意: この機能は現在、一部のお客様のみに提供されています。
自由回答欄に曖昧なテキストを入力した回答者は、フラグ付きとなります。あいまいなテキストには、「意味不明な文字列」や、回答者が質問に答えるためにランダムな文字や記号を入力した場合などが含まれます。あいまいなテキストは、英語(米国、英国)、 スペイン語(スペイン、スペイン-スペイン)、フランス語(フランス、フランス-カナダ)、ドイツ語(ドイツ)、ポルトガル語(ポルトガル、ポルトガル-ブラジル)、およびイタリア語(イタリア)で検出できます。他の言語で提供された回答や頭字語(例: CX)を含む回答は、フラグ付けされません。
あいまいな回答の防止
この行動を完全に防ぐ方法はありませんが、自由回答形式の質問に対して、より質の高い回答をするよう回答者に促す方法はあります。
すべての回答者に当てはまるとは限らない質問を非表示にする：質問の内容が自分に関係ないにもかかわらず回答が必須になっていると、回答者は曖昧なテキストを入力することがあります。例えば、一般の人々を対象にアンケートを実施しているにもかかわらず、回答者にお子様に関する質問をし始めた場合、アンケートに回答している人の中には、これらの質問が当てはまらない人がいる可能性があります。まず一般的な質問(お子様はいらっしゃいますか？)から始め、回答者の答えに応じて後続の質問に分岐、表示、またはスキップのロジックを設定することで、世帯内のお子様に関する質問を非表示にできます。
質問が一般的すぎないようにする：回答者に自由回答フィールドを提供する場合、どのようなデータを求めているかについてのガイダンスが必要になることがよくあります。プロンプトが広範すぎると、回答者はどのように回答すればよいか分からなくなる可能性があります。
例：「他にコメントはありますか？」という質問は、「サポートのエクスペリエンスについて、他にフィードバックはありますか？」という質問ほど具体的ではありません。後者は、製品や会社に関する一般的なフィードバックではなく、サポートチームとの特定のエクスペリエンスに関するフィードバックを求めていることを明確にするものです。
該当する場合、回答が特定の形式に沿っていることを必須にする：例えば、メールアドレスを尋ねる場合、質問にコンテンツの検証を追加できます。
あいまいなテキストを含む回答のフラグ設定
ExpertReviewは、デフォルトではこの種の回答にフラグを付けませんが、以下の手順でこの機能を有効にすることができます。
［データと分析］タブの［データ］セクションが表示されていることを確認します。
回答の品質をクリックします。
あいまいなテキストまでスクロールします。
この機能を有効化します。
このメトリックに基づいて回答にフラグを付けたくない場合は、同じ手順でこの設定を無効にできます。この分析を有効にすると、アカウント内のすべてのアンケート調査ではなく、現在作業中のアンケートのみが対象となるため、必要に応じて回答品質分析をカスタマイズできます。
曖昧な回答のある質問を特定する
回答にフラグが付けられたかどうかにかかわらず、回答に曖昧なテキストがあったかどうか、また、影響を受けた具体的な質問に関する詳細情報を取得できます。クアルトリクス内でデータを直接表示するには：
- Q_AmbiguousTextPresent: アンケート回答に曖昧なテキストが含まれていたかどうか。これは、アンケート内の自由回答形式の質問に対する回答です。0 は「いいえ」、1 は「はい」を示します。
- Q_AmbiguousTextQuestions: あいまいな回答が寄せられた具体的な質問。これは編集可能な質問番号ではなく、内部 QID として指定されます。 ヒント: QID を見つけるには、内部 ID 番号を使用して質問に自動で番号を付けます。後でいつでも番号付けを元に戻したり、これらの変更を公開しないように選択したりすることができます。
ヒント：上記の手順に従わなくても、Q_AmbiguousTextPresentとQ_AmbiguousTextQuestionsはデータエクスポートに含まれます。これらのフィールドを使用してデータをフィルターすることもできます。
未回答の質問のパターンはありません
注意: この機能は現在、一部のお客様のみに提供されています。
回答者が多くの質問を閲覧したにもかかわらず回答しなかった場合、その回答にフラグが付けられます。回答の30%以上の質問が未回答のままだった場合にフラグが付けられます。これにより、些細なミスや、無関係な質問を1つ意図的にスキップする選択はフラグ付けの対象になりません。
ヒント：分岐、表示、またはスキップロジックによって非表示にされたために回答者が回答しなかった質問に基づいて、回答にフラグが付けられることはありません。回答が未完了の場合、回答者が閲覧しなかったアンケートのページにはフラグが付けられません。
未回答の質問パターンの防止
回答者が質問をスキップする傾向があるとフラグ付けされた場合、以下の原因が考えられます。
- 質問が回答者にとって無関係である：調査を実施する上で、サンプルを選択することは非常に重要なステップです。アンケートを非常に広範な対象者に配信すると、回答者が答えようのない質問をしてしまう可能性があります。例えば、ワークスペースのエルゴノミクス（人間工学）について母集団を調査する場合、現在失業中の回答者はおそらく含めるべきではありません。配信サンプルを管理できない場合は、スクリーニングを設定して無関係な回答者を除外することを検討してください。
- 質問が明確でない：質問内容は適切かもしれませんが、回答者にとっては少し分かりにくい表現になっている可能性があります。これらの質問をできるだけ短く、明確になるように書き換えてみてください。受動態ではなく能動態を使用してください。
回答者が意図的にアンケートをできるだけ早く終わらせようとしている：これは、曖昧なテキストの使用や一本調子の回答によっても示される場合があります。回答者がすべてのアンケートの質問に回答するように促すには、質問に検証を追加することを検討してください。回答者に各質問への回答を強制したり、アンケートのページを終了する際に未回答の質問に戻るようメッセージでリクエストしたりできます。
ヒント：回答者の疲労が要因であるかどうかも考慮することが重要です。
未回答の質問がパターン化している回答にフラグを立てる
ExpertReviewは、デフォルトではこの種の回答にフラグを付けませんが、以下の手順でこの機能を有効にすることができます。
［データと分析］タブの［データ］セクションが表示されていることを確認します。
Click Response Quality.
未回答の質問までスクロールします。
設定を有効化します。
このメトリックに基づいて回答にフラグを付けたくない場合は、同じ手順でこの設定を無効にできます。この分析を有効にすると、現在表示しているアンケートのみが対象となり、アカウント内のすべてのアンケート調査が対象となるわけではありません。そのため、必要に応じて回答品質分析をカスタマイズできます。
回答者が回答しなかった質問を特定する
回答にフラグが付けられているかどうかにかかわらず、どの質問がスキップされたか、またアンケート内の質問のうち未回答のものの割合について、より具体的な情報を得ることができます。クアルトリクス内でデータを直接表示するには：
- Q_UnansweredPercentage: 回答者がアンケートで回答しなかった質問の割合。この値には、回答者が閲覧した質問のみがカウントされます。これは比率として表示されます。例えば、100% は 1、66.7% は 0.667 となります。
- Q_UnansweredQuestions: 回答されなかった特定の質問です。This is given as an internal QID, not the editable question number. ヒント：QIDを確認するには、アンケートエディターで［ツール］ドロップダウンをクリックし、［内部IDを表示］を選択します。
ヒント：上記の手順に従わなくても、Q_UnansweredQuestionsとQ_UnansweredPercentageはデータエクスポートに含まれます。これらのフィールドを使用してデータをフィルターすることもできます。
連続同一回答
注意: この機能は現在、一部のお客様のみに提供されています。
直線回答とは、マトリックス表の質問に対して同じ回答を続けて選択し、素早く回答を終えようとする行為のことです。例えば、回答者がどのように感じているかにかかわらず、すべての記述に対して常に最初の回答を選択する場合があります。
回答者は、特にスピード回答者やボットではなく、アンケートの冒頭での回答が正常であった場合、疲労のために一本線回答を行うことがあります。
直線的な回答が含まれる回答にフラグを立てる
ExpertReviewは、デフォルトではこの種の回答にフラグを付けませんが、以下の手順でこの機能を有効にすることができます。
［データと分析］タブの［データ］セクションが表示されていることを確認します。
Click Response Quality.
「一本線回答」までスクロールします。
Enable the setting.
このメトリックに基づいて回答にフラグを付けたくない場合は、同じ手順でこの設定を無効にできます。この分析を有効にすると、現在表示しているアンケートのみが対象となり、アカウント内のすべてのアンケート調査が対象となるわけではありません。そのため、必要に応じて回答品質分析をカスタマイズできます。
回答者が一貫した回答（ストレートライン）をした質問を特定する
直線回答としてフラグ付けされるには、回答者が次の両方の条件を満たしている必要があります。
- 少なくとも 3 つのリッカート形式のマトリックス表 (個々の項目ではなく、設問全体) で直線的な回答があった
- アンケートのマトリックス表の 80% で直線的な回答が見られました
ただし、より詳細な分析を行いたい場合は、直線回答のマトリックスの数と、どの質問が直線回答されたかを確認できます。クアルトリクス内で直接データをざっと確認するには：
- Q_StraightliningCount: 回答者が一本線回答したマトリックス形式の質問の数。
- Q_StraightliningPercentage: 回答者が直線的に回答したアンケート内のマトリックステーブルの割合。This is presented as a ratio. For example, 100% is 1, and 66.7% is 0.667.
- Q_StraightliningQuestions: 直線回答された特定の質問。This is given as an internal QID, not the editable question number. Qtip: To find QIDs, auto number your questions with Internal ID Numbering. You can always switch the numbering back later, or elect not to publish these changes.
ヒント：上記の手順に従わなくても、Q_StraightliningCount、Q_Straightlining_Percentage、およびQ_StraightliningQuestionsはデータエクスポートに含まれます。これらのフィールドを使用してデータをフィルターすることもできます。
素晴らしい！ フィードバックありがとうございます！
フィードバックありがとうございます！