ETLワークフローの構築

スイート

Customer Experience Employee Experience Strategy & Research

製品

Qualtrics

このページの内容

ETLワークフローの構築について

Qualtrics Workflows プラットフォームには、サードパーティの宛先から Qualtrics へのデータのインポートや、Qualtrics からサードパーティ宛先へのデータのエクスポートを支援する一連のタスクが含まれています。これらのタスクは、抽出、変換、ロード (ETL) フレームワークに従います。ETLタスクを使用すると、サードパーティのソースからクアルトリクスにデータを取り込んだり、クアルトリクスからサードパーティの宛先にデータをエクスポートしたりするスケジュールされた自動化ワークフローを作成できます。

ETLワークフローを作成するには、1つ以上の抽出タスクと1つ以上のローダータスクを作成する必要があります。1つのワークフローに含まれるタスクは、全体の上限によってのみ制限されます。

Qtip:ETLタスクの実行には24時間かかることがあります。24時間以内にタスクが成功しなければ、タスクは失敗する。

Qtip: ETLワークフローは一度に1つのワークフローしか実行できません。同時に実行されているワークフローが失敗する可能性があります。

エクストラクターとローダーのタスクの一般的なセットアップ

Qtip:ワークフローの一般的な使い方については、ワークフローの基本的な概要をご覧ください。

スタンドアロンの「ワークフロー」ページまたはプロジェクトの「ワークフロー」タブから、「ワークフローの作成」をクリックします。

ETL（データの抽出、変換、ロード）を選択します。

ETLワークフローは通常、定期的なスケジュールで実行される。ワークフローに合わせたスケジュールを選択します。ワークフローのスケジュール設定については、「スケジュールされたワークフロー」を参照してください。

［保存］をクリックします。

データソース(ETL抽出)を クリックして、使用する抽出タスクを選択します。使用できるタスクのリストについては、使用可能な抽出タスクを参照してください。1つのワークフローに複数の抽出器を追加できます。

データを読み込む前にデータを変換したい場合は、データ変換をクリックします。この手順は省略できます。詳細は基本的な変形タスクを参照。

Add a data destinationを クリックして、使用するローダータスクを選択する。使用できるタスクのリストについては、使用可能なローダータスクを参照してください。1つのワークフローで複数のローダーを追加できます。

このステップはオプションですが、ワークフローに何か問題が発生した場合にアラートを出すのに便利です。設定」からワークフロー通知を設定し、ワークフローが失敗した場合に通知を受け取ることができます。

ワークフローをオンにすることをお忘れなく。

Qtip:ワークフローを設定した後、Run ImmediatelyをクリックしてETLワークフローをテストし、ワークフローが機能していることを確認します。

Qtip:ETLワークフローにタスクを追加することができます。例えば、ウェブフックにポストするウェブサービスタスクを追加します。

リローディングデータ

互いに依存しているETLタスク間で設定変更があった場合、新しい設定ですべてのデータをリロードするボタンが表示されます。古いデータを再処理したい場合は、Reload the dataを クリックしてください。

注意: これは編集されたタスクからすべてのデータをリロードします。通常、ETLワークフローは前回の実行以降の新しいデータのみを処理する。ただし、このオプションが選択された場合、次へワークフローが実行されると、ワークフローが作成されてからの全てのデータが処理されます。

例: 通常、アンケート調査から回答を抽出するタスクを実行すると、前回の実行以降の新しい回答のみが処理されます。ただし、データが再ロードされた場合、次へワークフローを実行すると、アンケートのすべての回答が処理されます。

指定した日付範囲からデータを抽出する

特定のETLワークフローでは、特定の日付範囲からデータを抽出することができます。これは、以前に抽出されたデータを再処理したり、セットアップが機能しているかをテストしたりするのに最適な方法である。

特定の範囲からデータを抽出しても、他のスケジュールされた実行には影響しません。

例: チケットはすでにワークフローで処理されています。しかし、それ以来、そのデータは変化している。チケットを再処理するには、この関数を使用します。

Qtip:この機能はスケジュールされたETLワークフローでのみ利用可能です。

サポートされる抽出タスク

指定した日付範囲からデータを抽出できるのは、以下のいずれかのタスクを使用した場合のみです：

Qtip:日付範囲抽出は、ワークフローにサポートされている抽出タスクが1つある場合にのみ機能します。

カスタム日付範囲でのワークフロー実行

以下の手順に従って、選択した日付範囲からデータのみを抽出してください。

サポートされている抽出タスクを使用して、完全なETLワークフローを作成します。

すぐに実行」をクリックする。

詳細設定をクリックします。

カスタム日付範囲でワークフローを実行を選択します。

次へをクリックします。

開始日時を選んでください。

Qtip:1970年1月1日が最も早い開始日です。

終了日時を選択してください。

Qtip:選択できる最新の終了日時は現在のものです。ワークフローが有効化されている限り、ワークフローはスケジュール通りに実行され、将来のデータを抽出します。

タイムゾーンを選択してください。

はい」をクリックして確定する。

走行のトラブルシューティング

ワークフローの実行履歴にアクセスします。抽出タスクをクリックし、JSONを表示します。出力では、CDAP_DateRangeExport フィールドに選択した日付範囲が反映されているはずです。(一方、CDAP_Workerフィールドは、いつテストを実行したかを示します)。

利用可能な抽出タスク

現在利用可能なエクストラクタスクの一部を紹介する：

クアルトリクスファイルサービスからデータを抽出するタスクです：クアルトリクスファイルサービスに保存したデータを、XM Directoryなどプラットフォームの別の場所に保存します。
Sftpファイルからデータを抽出するタスクです：Sftpサーバーからデータを抽出し、クアルトリクスにインポートします。
Salesforceタスクからデータを抽出します：Salesforceインスタンスからデータを抽出し、クアルトリクスにインポートします。
Google Driveタスクからデータを抽出します：Google Driveアカウントからデータを抽出し、クアルトリクスにインポートします。
Salesforceレポートデータのインポートタスクです：Salesforceレポートからデータを抽出し、クアルトリクスにインポートします。
アンケート調査タスクから回答を抽出します：クアルトリクスのアンケート調査からデータを抽出し、Sftp などの別の場所にアップロードします。
HRISタスクから従業員を抽出します：Workdayのような一般的なHRISから従業員データを抽出し、クアルトリクスEXディレクトリにインポートします。
データプロジェクトからデータを抽出するタスク：クアルトリクスにインポートされたデータプロジェクトからデータを抽出し、外部データベースなどにアップロードします。
SuccessFactorsタスクから従業員データを抽出します：SuccessFactorsインスタンスから従業員データを抽出し、クアルトリクスにインポートします。
SuccessFactorsタスクから採用データを抽出します：採用データをSuccessFactorsから抽出し、クアルトリクスにインポートします。
Snowflakeタスクからデータを抽出する：クアルトリクスにインポートするために、Snowflakeに保存されているデータを抽出する。
Amazon S3タスクからデータを抽出する：Amazon S3に保存されているデータを抽出し、クアルトリクスにインポートします。
ワークフローのタスクから実行履歴レポートを抽出します：過去のワークフロー実行に関するレポートを抽出し、Sftp などの別の場所にインポートします。
チケットタスクからデータを抽出します：クアルトリックスのチケットデータを抽出し、Sftpなどの別のソースにインポートします。
Discoverタスクからデータを抽出します：Discoverアカウントからデータを抽出し、クアルトリクスにインポートします。
Salesforce Extractorタスク：Salesforceからデータを抽出し、クアルトリクスにインポートする。このタスクでSalesforceオブジェクトとメールをインポートできます。
GENESYSタスクからデータを抽出します：GENESYSからチャットとメールのデータを抽出し、クアルトリクスにインポートする。

Qtip:左のサイトメニューを使用して抽出器のリストを表示することもできます。

利用可能なローダータスク

現時点でのローダータスクの一部を紹介する：

連絡先やトランザクションをXMDタスクに追加：インポートしたデータとトランザクションをXM DIRECTORYに保存します。
EXディレクトリタスクにユーザーをロードします：インポートされた従業員データをEXディレクトリまたはEXプロジェクトに保存します。
CXディレクトリタスクにユーザーをロードします：インポートしたCXユーザーデータを保存します。
データプロジェクトタスクにデータをロードする：データ抽出タスクからインポートされたデータをインポートされたデータプロジェクトに保存します。
データセットにロードするタスク：インポートしたデータをデータセットに保存し、マージタスクで使用する。
SFTP タスクにデータをロードします：インポートしたデータを SFTP サーバーに保存します。
Amazon S3タスクにデータをロードする：インポートしたデータをAmazon S3バケットに保存します。
アンケートタスクに回答をロードする：インポートしたデータをクアルトリクスのアンケートデータセットに保存します。
SDSタスクにロードする：インポートしたデータをクアルトリクス補足データソースに保存する。
データをLoad to location directoryタスク：インポートしたデータをクアルトリクスロケーションディレクトリに保存します。
Discoverタスクにデータをロードする：Discoverにインポートしたデータを保存します。
Conversational Analyticsにデータをロードします：チャットやメールのデータをチャットデータプロジェクトやメールデータプロジェクトにロードし、クアルトリクス内で分析します。

Qtip:左側のサイトメニューを使用して、ローダーのリストを表示することもできます。

利用可能なデータ変換タスク

ETLワークフローで処理するデータの変換には、以下のタスクが利用できます：

基本的な変換タスク：文字列や日付の書式変更、日付の差の計算、数値フィールドの演算機能など。
マージタスク：複数のデータセットを1つのデータセットに統合する。
データの再編集と置換タスク正規表現または置換ルールに基づいてワークフロー内のデータを再編集します。

ワークフロー制限

ETLワークフローの実行には以下の制限があります：

1回の実行で200ファイルまで処理可能
1回の実行で合計10GBまでのデータを処理できる
タスクは最大5GBまでのファイルを処理できる。

Qtip:各実行にはワークフロー内で実行されている全てのタスクが含まれます。

タスクによっては制限値が小さいものもあるので、使用するタスクのドキュメントも確認してください。

データ抽出と読み込みタスクのトラブルシューティング

注意: ETLワークフローは、過去13日間に以下の条件に該当した場合、自動的に無効になります：

すべてのエグゼクティブは失敗している。

少なくとも10回は失敗している。

どのエグゼクティブも同じ理由で失敗している。

最初と最後のエグゼクティブは少なくとも10日の間隔があった。

不完全なワークフロー

データ抽出タスクとローダータスクは一緒に使用しなければならない。もしセットアップの一部が欠けていれば、ワークフローエディターが警告を発します。

例: この例では、データローダータスクがない。ワークフローエディターが、”インポートタスクには現在、宛先がありません “と警告する。

例: この例では、データ抽出タスクがありません。タスクエディターは “少なくとも1つのデータソースタスクを追加する必要があります “と警告する。

失敗するワークフロー

タスクが失敗したり、うまく発火しなかったりする場合、最初に見るべき場所は次の通りだ。 ワークフローレポート＆履歴を選択します。これには、ワークフローが起動するたびに、そのワークフローの結果に関する情報が含まれます。

レポート＆履歴では、ワークフローの各パーツにそれぞれの項目があり、どこで問題が発生したかを簡単に特定することができます。

例: 以下の例では、SFTPファイルからデータを抽出するタスクと、XMDに連絡先とトランザクションを追加するタスクを使用しています。エクストラクタ・タスクは失敗したが、ローダー・タスクは成功したことがわかる。これは、エクストラクタ・タスクが誤って設定されていることを意味するが、ローダー・タスクは問題ない。