ETLワークフローの構築
このページの内容
ETLワークフローの構築について
Qualtrics Workflows プラットフォームには、サードパーティの宛先から Qualtrics へのデータのインポートや、Qualtrics からサードパーティ宛先へのデータのエクスポートを支援する一連のタスクが含まれています。これらのタスクは、抽出、変換、ロード (ETL) フレームワークに従います。ETLタスクを使用すると、サードパーティのソースからクアルトリクスにデータを取り込んだり、クアルトリクスからサードパーティの宛先にデータをエクスポートしたりするスケジュールされた自動化ワークフローを作成できます。
ETLワークフローを作成するには、1つ以上のエクストラクタタスクと1つ以上のローダータスクを作成する必要があります。1つのワークフロー内のタスクの全体的な上限によってのみ制限されます。
ヒント：ETLタスクの実行には最大24時間かかる場合があります。タスクが 24 時間以内に成功しない場合、タスクは失敗します。
ヒント：ETLワークフローは、一度に1つのワークフローしか実行できません。同時に実行されているワークフローが失敗する可能性があります。
エクストラクタータスクとローダータスクの一般設定
ヒント：ワークフローの使用に関する一般的なガイドについては、ワークフローの基本概要を参照してください。
スタンドアロンのワークフローページ、またはプロジェクトのワークフロータブから、ワークフローを作成をクリックします。
抽出、変換、読み込み (ETL)データを選択します。
ETLワークフローは通常、定期的なスケジュールで実行されます。ワークフローのスケジュールを選択します。ワークフローのスケジュール設定に関する詳細は、スケジュール設定済みワークフローを参照してください。
［保存］をクリックします。
データソース (ETLエクストラクタ)をクリックして、使用するエクストラクタタスクを選択します。使用できるタスクの一覧については、利用可能なエクストラクタタスクを参照してください。1つのワークフローに複数のエクストラクターを追加できます。
データをロードする前に変換する場合は、 データ変換をクリックします。この手順は省略できます。詳細については、変換タスクを参照してください。
データ宛先を追加をクリックして、使用するローダータスクを選択します。使用できるタスクのリストについては、利用可能なローダータスクを参照してください。1つのワークフローに複数のローダーを追加できます。
このステップは任意ですが、ワークフローに問題が発生した場合にアラートを通知するのに役立ちます。設定に移動してワークフロー通知を設定すると、ワークフローが失敗した場合に通知を受け取ることができます。
ワークフローの構築が完了したら、公開します。
ヒント: ワークフローを設定した後、［すぐに実行］をクリックしてETLワークフローをテストし、正常に機能することを確認します。
ヒント：ETLワークフローにタスクを追加できます。例えば、ウェブサービスタスクを追加してウェブフックに投稿します。
データの再読み込み中
相互に依存するETLタスク間で設定変更があった場合、新しい設定ですべてのデータを再読み込みするためのボタンが表示されます。古いデータを再処理する場合は、データを再読み込みをクリックします。
注意: これにより、編集されたタスクからすべてのデータが再読み込みされます。通常、ETLワークフローは前回の実行以降の新しいデータのみを処理します。ただし、このオプションを選択すると、次回ワークフローが実行される際に、ワークフローの作成以降のすべてのデータが処理されます。
例：アンケートから回答を抽出するタスクが通常どおり実行されると、前回の実行以降の新しい回答のみが処理されます。ただし、データが再読み込みされると、次回ワークフローが実行される際に、アンケート内のすべての回答が処理されます。
指定した日付範囲からのデータ抽出
特定のETLワークフローでは、特定の日付範囲からデータを抽出できます。以前に抽出されたデータを再処理したり、設定が機能しているかテストしたりするのに最適な方法です。
特定の範囲からデータを抽出しても、他のスケジュールされた実行には影響しません。
例：チケットはワークフローですでに処理されています。しかし、それ以降、そのデータは変更されています。チケットを再処理するには、この機能を使用します。
ヒント：この機能は、スケジュールされたETLワークフローでのみ利用可能です。
サポートされているエクストラクタタスク
以下のいずれかのタスクを使用する場合に限り、指定した日付範囲のデータを抽出できます。
ヒント：日付範囲の抽出は、ワークフローにサポートされている抽出タスクが1つしかない場合にのみ機能します。
カスタムの日付範囲でワークフローを実行する
選択した期間のデータのみを抽出するには、次の手順に従ってください。
ヒント: 選択できる最も早い開始日は1970年1月1日です。
ヒント: 選択できる最も遅い終了日時は現在の日時です。有効化されている限り、ワークフローはスケジュール通りに実行され続け、将来のデータを抽出します。
実行のトラブルシューティング
ワークフローの実行履歴に移動します。抽出タスクをクリックして JSON を表示します。出力では、CDAP_DateRangeExportフィールドに選択した日付範囲が反映されます。（一方、CDAP_Workerフィールドには、テストを実行した日時が表示されます。）
利用可能なエクストラクタータスク
現時点で利用可能なエクストラクタータスクの一部を以下に示します。
- Qualtrics File Serviceタスクからデータを抽出：Qualtrics File Serviceに保存したデータを取得し、XM Directoryなどプラットフォーム内の別の場所に保存します。
- SFTPファイルからデータを抽出するタスク：SFTPサーバーからデータを抽出し、クアルトリクスにインポートします。
- Salesforceタスクからのデータ抽出：Salesforceインスタンスからデータを抽出し、クアルトリクスにインポートします。
- Google Driveタスクからデータを抽出：Google Driveアカウントからデータを抽出し、クアルトリクスにインポートします。
- アンケートタスクから回答を抽出：クアルトリクスのアンケート調査からデータを抽出し、SFTPなどの別の場所にアップロードします。
- HRISタスクから従業員を抽出：Workdayなどの一般的なHRISから従業員データを抽出し、クアルトリクスEX Directoryにインポートします。
- データプロジェクトタスクからデータを抽出：クアルトリクスのインポートデータプロジェクトからデータを抽出し、自社の外部データベースなど、他の場所にアップロードします。
- SuccessFactorsからの従業員データ抽出タスク：SuccessFactorsインスタンスから従業員データを抽出し、クアルトリクスにインポートします。
- SuccessFactorsタスクから採用データを抽出：SuccessFactorsから採用データを抽出し、クアルトリクスにインポートします。
- Snowflakeからデータを抽出するタスク：Snowflakeに保存されているデータを抽出し、クアルトリクスにインポートします。
- Amazon S3タスクからのデータ抽出：Amazon S3に保存されているデータを抽出し、クアルトリクスにインポートします。
- ワークフロータスクから実行履歴レポートを抽出：過去のワークフロー実行に関するレポートを抽出し、SFTPなどにインポートします。
- チケットタスクからデータを抽出：クアルトリクスのチケットデータを抽出し、SFTPなどの別のソースにインポートします。
- Discoverタスクからデータを抽出：Discoverアカウントからデータを抽出し、クアルトリクスにインポートします。
- Salesforce Extractorタスク：Salesforceからデータを抽出し、クアルトリクスにインポートします。このタスクでは、Salesforceオブジェクト、メール、レポートデータをインポートできます。
- Genesysタスクからのデータ抽出：Genesysからチャットとメールのデータを抽出し、クアルトリクスにインポートします。
- Zendeskタスクからデータを抽出：Zendeskからライブチャットデータを抽出し、クアルトリクスにインポートします。
ヒント：左側のサイトメニューからエクストラクターのリストを表示することもできます。
利用可能なローダータスク
現時点で利用可能なローダータスクの一部を以下に示します。
- XMDタスクにコンタクトとトランザクションを追加：インポートしたデータとトランザクションをXM Directoryに保存します。
- EX Directoryへのユーザー読み込みタスク：インポートした従業員データをEX DirectoryまたはEXプロジェクトに保存します。
- CX Directoryへのユーザー読み込みタスク：インポートされたCXユーザーデータを保存します。
- データプロジェクトタスクへのデータの読み込み：データ抽出タスクからインポートしたデータをインポートデータプロジェクトに保存します。
- データセットタスクへの読み込み：インポートしたデータをデータセットに保存し、マージタスクで使用します。
- SFTPタスクへのデータの読み込み：インポートしたデータをSFTPサーバーに保存します。
- Amazon S3へのデータ読み込みタスク：インポートしたデータをAmazon S3バケットに保存します。
- アンケートタスクへの回答の読み込み：インポートしたデータをクアルトリクスアンケートのデータセットに保存します。
- SDSタスクへの読み込み: インポートしたデータをクアルトリクスの補助データソースに保存します。
- 場所のディレクトリタスクへのデータ読み込み：インポートしたデータをクアルトリクスの場所のディレクトリに保存します。
- Discoverタスクへのデータの読み込み：インポートしたデータをDiscoverに保存します。
- 会話分析にデータを読み込む：チャットとメールのデータをチャットデータプロジェクトまたはメールデータプロジェクトに読み込み、クアルトリクス内で分析します。
ヒント: 左側のサイトメニューを使用して、ローダーのリストを表示することもできます。
利用可能なデータ変換タスク
ETLワークフローで処理するデータを変換するために、以下のタスクを利用できます。
- 変換タスク：文字列と日付の形式の変更、日付の差の計算、数値フィールドでの演算機能の実行などを行います。
- マージタスク: 複数のデータセットを 1 つのデータセットに結合します。
- データ編集・置換タスク：正規表現または置換ルールに基づいてワークフロー内のデータを編集します。
ワークフローの制限
ETLワークフローの実行には、以下の制限があります。
- 各実行で最大200個のファイルを処理できます
- 各実行で合計最大 10GB のデータを処理できます
- タスクでは、最大 5GB のサイズのファイルを処理できます
ヒント：各実行には、ワークフロー内で実行されているすべてのタスクが含まれます。
使用している特定のタスクのドキュメントも必ず確認してください。タスクによっては、より小さい制限が設けられている場合があります。
データ抽出および読み込みタスクのトラブルシューティング
注意: ETLワークフローは、過去13日間に以下のいずれかの基準に該当した場合、自動的に無効化されます。
- 実行の試みはすべて失敗しました。
- 10回以上失敗しました。
- すべての実行が同じ理由で失敗しています。
- 初回と最終の実行間隔が 10 日以上空いています。
未完了のワークフロー
データエクストラクタータスクとローダータスクは、一緒に使用する必要があります。設定に不足している部分がある場合、ワークフローエディターがアラートで通知します。
例：この例では、データローダータスクがありません。ワークフローエディターで、「インポートタスクに現在、宛先がありません」というアラートが表示されています。
例：この例では、データ抽出タスクがありません。タスクエディターに「データソースのタスクを1つ以上追加する必要があります」というアラートが表示されます。
失敗したワークフロー
タスクが失敗したり、適切に実行されなかったりする場合は、まずワークフローのレポートと履歴を確認してください。これには、ワークフローが作動した日時と、そのワークフローの結果に関する情報がすべて含まれます。
レポートと履歴では、ワークフローの各要素に個別のエントリーが作成されるため、問題が発生した箇所を簡単に特定できます。
例：以下の例では、SFTPファイルからデータを抽出するタスクとXMDに連絡先とトランザクションを追加するタスクを使用しています。エクストラクタータスクは失敗しましたが、ローダータスクは成功したことがわかります。これは、エクストラクタータスクの設定が間違っているものの、ローダータスクは正常に動作していることを意味します。
問題を特定した後、「詳細」の下にある表示をクリックすると、問題の修正方法を診断するのに役立つ詳細情報を確認できます。これにより、タスクのJSONペイロードがプルアップされます。下にスクロールしてタスク出力セクションでエラーを確認します。
例：この例では、SFTPファイルからのデータ抽出タスクの接続に無効なパラメーターがあったため、タスクが失敗したことがわかります。
ワークフローを編集して問題を修正した後、レポートと履歴に戻り、再試行をクリックしてワークフローを再実行できます。
FAQs
ワークフローテンプレートで利用可能なすべての拡張機能にアクセスできますか？
ワークフローテンプレートで利用可能なすべての拡張機能にアクセスできますか？
すべてのワークフローのイベントとタスクへのリンクはありますか？
すべてのワークフローのイベントとタスクへのリンクはありますか？
ワークフローテンプレートとは何ですか？
ワークフローテンプレートとは何ですか？
ワークフローとは？ / アクションはどこにありますか？
ワークフローとは？ / アクションはどこにありますか？
今回の更新の一環として、ワークフローの機能に変更はありません。
素晴らしい！ フィードバックありがとうございます！
フィードバックありがとうございます！