ETLワークフローの構築

ETLワークフローの構築について

Qualtrics Workflows プラットフォームには、サードパーティの宛先から Qualtrics へのデータのインポートや、Qualtrics からサードパーティ宛先へのデータのエクスポートを支援する一連のタスクが含まれています。これらのタスクは、抽出、変換、ロード (ETL) フレームワークに従います。ETLタスクを使用すると、サードパーティのソースからクアルトリクスにデータを取り込んだり、クアルトリクスからサードパーティの宛先にデータをエクスポートしたりするスケジュールされた自動化ワークフローを作成できます。

ETLワークフローを作成するには、1つ以上の抽出タスクと1つ以上のローダータスクを作成する必要があります。1つのワークフローに含まれるタスクは、全体の上限によってのみ制限されます。

エクストラクターとローダーのタスクの一般的なセットアップ

1. スタンドアロンの「ワークフロー」ページまたはプロジェクトの「ワークフロー」タブから、「ワークフローの作成」をクリックします。
2. ETL（データの抽出、変換、ロード）を選択します。
3. ETLワークフローは通常、定期的なスケジュールで実行される。ワークフローに合わせたスケジュールを選択します。ワークフローのスケジュール設定については、「スケジュールされたワークフロー」を参照してください。
   
4. ［保存］をクリックします。
5. データソース(ETL抽出)を クリックして、使用する抽出タスクを選択します。使用できるタスクのリストについては、使用可能な抽出タスクを参照してください。1つのワークフローに複数の抽出器を追加できます。
   
6. データを読み込む前にデータを変換したい場合は、データ変換をクリックします。この手順は省略できます。詳細は基本的な変形タスクを参照。
7. Add a data destinationを クリックして、使用するローダータスクを選択する。使用できるタスクのリストについては、使用可能なローダータスクを参照してください。1つのワークフローで複数のローダーを追加できます。
8. このステップはオプションですが、ワークフローに何か問題が発生した場合にアラートを出すのに便利です。設定」からワークフロー通知を設定し、ワークフローが失敗した場合に通知を受け取ることができます。
   
9. ワークフローをオンにすることをお忘れなく。

Qtip:ワークフローを設定した後、Run ImmediatelyをクリックしてETLワークフローをテストし、ワークフローが機能していることを確認します。

リローディングデータ

互いに依存しているETLタスク間で設定変更があった場合、新しい設定ですべてのデータをリロードするボタンが表示されます。古いデータを再処理したい場合は、Reload the dataを クリックしてください。

指定した日付範囲からデータを抽出する

特定のETLワークフローでは、特定の日付範囲からデータを抽出することができます。これは、以前に抽出されたデータを再処理したり、セットアップが機能しているかをテストしたりするのに最適な方法である。

特定の範囲からデータを抽出しても、他のスケジュールされた実行には影響しません。

サポートされる抽出タスク

指定した日付範囲からデータを抽出できるのは、以下のいずれかのタスクを使用した場合のみです：

• チケットからデータを抽出するタスク
• Discoverタスクからのデータ抽出

カスタム日付範囲でのワークフロー実行

以下の手順に従って、選択した日付範囲からデータのみを抽出してください。

1. サポートされている抽出タスクを使用して、完全なETLワークフローを作成します。
   
2. すぐに実行」をクリックする。
3. 詳細設定をクリックします。
   
4. カスタム日付範囲でワークフローを実行を選択します。
5. ［次へ］をクリックします。
6. 開始日時を選んでください。
   
   Qtip:1970年1月1日が最も早い開始日です。
7. 終了日時を選択してください。
   Qtip:選択できる最新の終了日時は現在のものです。ワークフローが有効化されている限り、ワークフローはスケジュール通りに実行され、将来のデータを抽出します。
8. タイムゾーンを選択してください。
9. はい」をクリックして確定する。

走行のトラブルシューティング

ワークフローの実行履歴にアクセスします。抽出タスクをクリックし、JSONを表示します。出力では、CDAP_DateRangeExport フィールドに選択した日付範囲が反映されているはずです。(一方、CDAP_Workerフィールドは、いつテストを実行したかを示します)。

利用可能な抽出タスク

現在利用可能なエクストラクタスクの一部を紹介する：

• クアルトリクスファイルサービスからデータを抽出するタスクです：クアルトリクスファイルサービスに保存したデータを、XM Directoryなどプラットフォームの別の場所に保存します。
• Sftpファイルからデータを抽出するタスクです：Sftpサーバーからデータを抽出し、クアルトリクスにインポートします。
• Salesforceタスクからデータを抽出します：Salesforceインスタンスからデータを抽出し、クアルトリクスにインポートします。
• Google Driveタスクからデータを抽出します：Google Driveアカウントからデータを抽出し、クアルトリクスにインポートします。
• Salesforceレポートデータのインポートタスクです：Salesforceレポートからデータを抽出し、クアルトリクスにインポートします。
• アンケート調査タスクから回答を抽出します：クアルトリクスのアンケート調査からデータを抽出し、Sftp などの別の場所にアップロードします。
• HRISタスクから従業員を抽出します：Workdayのような一般的なHRISから従業員データを抽出し、クアルトリクスEXディレクトリにインポートします。
• データプロジェクトからデータを抽出するタスク：クアルトリクスにインポートされたデータプロジェクトからデータを抽出し、外部データベースなどにアップロードします。
• SuccessFactorsタスクから従業員データを抽出します：SuccessFactorsインスタンスから従業員データを抽出し、クアルトリクスにインポートします。
• SuccessFactorsタスクから採用データを抽出します：採用データをSuccessFactorsから抽出し、クアルトリクスにインポートします。
• Snowflakeタスクからデータを抽出する：クアルトリクスにインポートするために、Snowflakeに保存されているデータを抽出する。
• Amazon S3タスクからデータを抽出する：Amazon S3に保存されているデータを抽出し、クアルトリクスにインポートします。
• ワークフローのタスクから実行履歴レポートを抽出します：過去のワークフロー実行に関するレポートを抽出し、Sftp などの別の場所にインポートします。
• チケットタスクからデータを抽出します：クアルトリックスのチケットデータを抽出し、Sftpなどの別のソースにインポートします。
• Discoverタスクからデータを抽出します：Discoverアカウントからデータを抽出し、クアルトリクスにインポートします。

利用可能なローダータスク

現時点でのローダータスクの一部を紹介する：

• 連絡先やトランザクションをXMDタスクに追加：インポートしたデータとトランザクションをXM DIRECTORYに保存します。
• EXディレクトリタスクにユーザーをロードします：インポートされた従業員データをEXディレクトリまたはEXプロジェクトに保存します。
• CXディレクトリタスクにユーザーをロードします：インポートしたCXユーザーデータを保存します。
• データプロジェクトタスクにデータをロードする：データ抽出タスクからインポートされたデータをインポートされたデータプロジェクトに保存します。
• データセットにロードするタスク：インポートしたデータをデータセットに保存し、マージタスクで使用する。
• SFTP タスクにデータをロードします：インポートしたデータを SFTP サーバーに保存します。
• Amazon S3タスクにデータをロードする：インポートしたデータをAmazon S3バケットに保存します。
• アンケートタスクに回答をロードする：インポートしたデータをクアルトリクスのアンケートデータセットに保存します。
• SDSタスクにロードする：インポートしたデータをクアルトリクス補足データソースに保存する。
• データをLoad to location directoryタスク：インポートしたデータをクアルトリクスロケーションディレクトリに保存します。
• Discoverタスクにデータをロードする：Discoverにインポートしたデータを保存します。

利用可能なデータ変換タスク

ETLワークフローで処理するデータの変換には、以下のタスクが利用できます：

• 基本的な変換タスク：文字列や日付の書式変更、日付の差の計算、数値フィールドの演算機能など。
• マージタスク：複数のデータセットを1つのデータセットに統合する。

ワークフロー制限

ETLワークフローの実行には以下の制限があります：

• 1回の実行で200ファイルまで処理可能
• 1回の実行で合計10GBまでのデータを処理できる
• タスクは最大5GBまでのファイルを処理できる。

タスクによっては制限値が小さいものもあるので、使用するタスクのドキュメントも確認してください。

データ抽出と読み込みタスクのトラブルシューティング

不完全なワークフロー

データ抽出タスクとローダータスクは一緒に使用しなければならない。もしセットアップの一部が欠けていれば、ワークフローエディターが警告を発します。

例この例では、データローダータスクがない。ワークフローエディターが、”インポートタスクには現在、宛先がありません “と警告する。

例この例では、データ抽出タスクがありません。タスクエディターは “少なくとも1つのデータソースタスクを追加する必要があります “と警告する。

失敗するワークフロー

タスクが失敗したり、うまく発火しなかったりする場合、最初に見るべき場所は次の通りだ。 ワークフロー レポート＆履歴とは異なります。これには、ワークフローが起動するたびに、そのワークフローの結果に関する情報が含まれます。

レポート＆履歴では、ワークフローの各パーツにそれぞれの項目があり、どこで問題が発生したかを簡単に特定することができます。

例以下の例では、Sftpファイルからのデータ抽出タスクと、XM DirectoryへのB2Bアカウントデータのロードタスクを使用しています。エクストラクタ・タスクは失敗したが、ローダー・タスクは成功したことがわかる。これは、エクストラクタ・タスクが誤って設定されていることを意味するが、ローダー・タスクは問題ない。

問題を特定した後、「詳細」で「表示 」をクリックすると、問題の解決方法を診断するための詳細情報を見ることができます。これはタスクのJSONペイロードをプルアップする。タスク出力セクションまでスクロールダウンし、エラーを見つける。

例この例では、Sftpファイルからデータを抽出するタスクで、接続に無効なパラメータがあったため、タスクが失敗したことがわかります。

ワークフローを編集し、問題を修正した後、レポート & 履歴に戻り、Retryをクリックしてワークフローを再実行することができます。

よくある質問