Creazione di flussi di lavoro ETL
Cosa puoi trovare in questa pagina
Informazioni sulla creazione di flussi di lavoro ETL
La piattaforma Flussi di lavoro di QUALICS contiene una serie di attività che aiutano a importare dati da destinazioni di terze parti in Qualtrics o a esportare dati da Qualtrics a destinazioni di terze parti. Queste attività seguono il framework Extract, Transform, Load (ETL). Utilizzando le attività ETL, è possibile creare flussi di lavoro automatizzati e pianificati per portare i dati da origini terze a Qualtrics e per esportare i dati da Qualtrics a destinazioni terze.
Per creare un Flusso di lavoro ETL, è necessario creare 1 o più attività di estrazione e 1 o più attività di caricamento. Il limite complessivo delle attività in un flusso di lavoro è limitato.
Consiglio Q: l’ esecuzione delle attività ETL può richiedere fino a 24 ore. Se l’attività non va a buon fine entro 24 ore, l’attività fallisce.
Consiglio Q: i flussi di lavoro ETL possono essere eseguiti solo da 1 flusso di lavoro alla volta. I flussi di lavoro in esecuzione simultanea potrebbero fallire.
Impostazione generale per le attività dell’estrattore e del caricatore
Consiglio Q: per una guida generale all’uso dei flussi di lavoro, vedere Panoramica di base dei flussi di lavoro.
Consiglio Q: dopo aver impostato il flusso di lavoro, fare clic su Esegui immediatamente per testare il flusso di lavoro ETL e assicurarsi che funzioni.
Consiglio Q: è possibile aggiungere altre attività ai flussi di lavoro ETL. Ad esempio, aggiungere un’attività di servizio web da inviare a un webhook.
Dati di ricarica
Quando c’è stata una modifica della configurazione tra attività ETL che dipendono l’una dall’altra, appare un pulsante per ricaricare tutti i dati con la nuova configurazione. Fare clic su Ricarica i dati se si desidera rielaborare i vecchi dati.
Attenzione: In questo modo si ricaricano tutti i dati dell’attività che è stata modificata. Normalmente, i flussi di lavoro ETL elaborano solo i nuovi dati dall’ultima esecuzione. Tuttavia, se si seleziona questa opzione, all’Avanti del flusso di lavoro verranno elaborati tutti i dati dalla creazione del flusso di lavoro.
Esempio: Quando si esegue normalmente un’attività di estrazione delle risposte dal sondaggio, vengono elaborate solo le nuove risposte dall’ultima esecuzione. Tuttavia, se i dati vengono ricaricati, all’Avanti del flusso di lavoro verranno elaborate tutte le risposte del sondaggio.
Estrazione di dati da un intervallo di date specificato
Con alcuni flussi di lavoro ETL, è possibile estrarre i dati da un intervallo di date specifico. Questo può essere un ottimo modo per rielaborare i dati che sono stati estratti in precedenza o per verificare che la configurazione funzioni.
L’estrazione dei dati da un intervallo specifico non influisce sulle altre esecuzioni programmate.
Esempio: Un ticket è già stato elaborato dal flusso di lavoro. Da allora, però, i dati sono cambiati. Per rielaborare il ticket, si utilizza questa funzione.
Consiglio Q: Questa funzione è disponibile solo per i flussi di lavoro ETL pianificati.
Attività dell’estrattore supportate
È possibile estrarre i dati da un intervallo di date specificato solo se si utilizza una delle seguenti attività:
- Estrazione dei dati dalla creazione ticket
- Estrazione dei dati dall’ attività Discover
- Attività dell‘estrattore di Salesforce
Consiglio Q: l’ estrazione dell’intervallo di date funziona solo se nel flusso di lavoro è presente 1 attività estrattiva supportata.
Esecuzione di un flusso di lavoro con un intervallo di date personalizzato
Procedere come segue per estrarre i dati solo dall’intervallo di date prescelto.
Consiglio Q: l’inizio più prossimo che si può selezionare è il 1° gennaio 1970.
Consiglio Q: l’ultima data e ora di fine che si può scegliere è quella attuale. Finché è attivato, il flusso di lavoro estrarrà i dati futuri mentre continua a funzionare secondo la sua pianificazione.
Risoluzione dei problemi di una corsa
Andare alla cronologia sessioni del flusso di lavoro. Fare clic sull’attività di estrazione e visualizzare il JSON. Nell’output, i campi CDAP_DateRangeExport dovrebbero riflettere l’intervallo di date scelto. (I campi CDAP_Worker, invece, mostrano quando è stato eseguito il test)
Attività dell’estrattore disponibili
Ecco alcune delle attività dell’estrattore attualmente disponibili:
- Estrarre i dati dall’attività di Qualtrics File Service: Prendere i dati memorizzati nel Servizio file di Qualtrics e salvarli in un altro punto della piattaforma, ad esempio nella Directory Xm.
- Attività di estrazione dei dati da file SFTP: Estrarre i dati dal server SFTP e importarli in Qualtrics.
- Estrarre i dati dall’attività di Salesforce: Estrarre i dati dall’istanza di Salesforce e importarli in Qualtrics.
- Estrarre i dati dall’attività di Google Drive: Estrarre i dati dal proprio account Google Drive e importarli in Qualtrics.
- Attività di importazione dei dati di un rapporto di Salesforce: Estrarre i dati da un rapporto di Salesforce per importarli in Qualtrics.
- Estrarre le risposte da un’attività di sondaggio: Estrarre i dati dai sondaggi di Qualtrics e caricarli altrove, ad esempio su un SFTP.
- Estrazione di dipendenti da attività HRIS: Estrarre i dati dei dipendenti da HRIS popolari come Workday per importarli nella directory degli impiegati di Qualtrics EX.
- Attività di estrazione dei dati dal progetto di dati: Estrarre i dati dal progetto da dati importati di QUALTRICS e caricarli altrove, ad esempio in un database esterno.
- Estrarre i dati dei dipendenti dall’attività SuccessFactors: Estrarre i dati dei dipendenti dall’istanza SuccessFactors e importarli in Qualtrics.
- Estrarre i dati di reclutamento dall’attività SuccessFactors: Estrarre i dati di reclutamento da SuccessFactors per importarli in Qualtrics.
- Estrarre i dati dall’attività Snowflake: Estrarre i dati memorizzati in Snowflake per importarli in Qualtrics.
- Estrarre i dati dall’attività Amazon S3: Estrarre i dati memorizzati su Amazon S3 per importarli in Qualtrics.
- Estrarre i rapporti sulla cronologia sessioni dall’attività dei flussi di lavoro: Estrarre i rapporti sulle esecuzioni passate dei flussi di lavoro per importarli altrove, ad esempio in un SFTP.
- Estrarre i dati dalla creazione ticket: Estrarre i dati dei ticket di Qualtrics per importarli in un’altra origine, ad esempio un SFTP.
- Estrarre i dati dall’attività Discover: Estrarre i dati dall’account Discover e importarli in Qualtrics.
- Attività di estrazione da Salesforce: Estrarre i dati da Salesforce per importarli in Qualtrics. Con questa attività è possibile importare oggetti ed e-mail di Salesforce.
- Estrarre i dati dalle attività di Genesys: Estrarre i dati delle chat e delle e-mail da Genesys e importarli in Qualtrics.
Consiglio Q: È possibile visualizzare una lista di estrattori anche utilizzando il menu del sito a sinistra.
Attività del caricatore disponibili
Ecco alcune delle attività del caricatore disponibili in questo momento:
- Aggiungere contatti e transazioni all’attività XMD: Salvare i dati e le transazioni importati nella Directory XM.
- Caricare gli utenti nell’attività della directory EX: Salvare i dati degli impiegati importati nella directory o nel progetto EX.
- Caricare gli utenti nell’attività CX directory: Salvare i dati degli utenti CX importati.
- Caricare i dati in un’attività del progetto dati: Salva i dati importati da un’attività di estrazione dati in un progetto da dati importati.
- Attività di caricamento in un set di dati: Salva i dati importati in un set di dati da utilizzare con un’attività di fusione.
- Caricare i dati nell’attività SFTP: Salvare i dati importati in un server SFTP.
- Caricare i dati nell’attività Amazon S3: Salva i dati importati in un bucket Amazon S3.
- Caricare le risposte nell’attività di sondaggio: Salvare i dati importati in un set di dati del sondaggio di Qualtrics.
- Caricare l’attività su SDS: Salvare i dati importati in un’origine dati supplementare di Qualtrics.
- Carica i dati nella directory di ubicazione: Salvare i dati importati in una directory di Qualtrics.
- Caricare i dati nell’attività Discover: Salvare i dati importati in Discover.
- Caricare i dati in Conversational Analytics: Caricare i dati delle chat e delle e-mail in un progetto Chat Data o E-mail Data per analizzarli all’interno di Qualtrics.
Consiglio Q: È possibile visualizzare una lista di caricatori anche utilizzando il menu del sito a sinistra.
Attività di trasformazione dei dati disponibili
Per trasformare i dati elaborati nei flussi di lavoro ETL sono disponibili le seguenti attività:
- Attività di trasformazione di base: Cambiare il formato di stringhe e date, calcolare la differenza tra date, eseguire operazioni matematiche su campi numerici e altro ancora.
- Attività di fusione: Unire più set di dati in un unico set di dati.
- Attività di rielaborazione e sostituzione dei dati: Ridurre i dati all’interno del flusso di lavoro in base a regole regex o di sostituzione.
Limiti del flusso di lavoro
Le esecuzioni del flusso di lavoro ETL hanno i seguenti limiti:
- Ogni sessione può elaborare fino a 200 file
- Ogni sessione può elaborare fino a 10 GB di dati in totale
- Le attività possono elaborare file di dimensioni fino a 5 GB
Consiglio Q: si noti che ogni esecuzione include tutte le attività in corso all’interno del flusso di lavoro.
Assicuratevi di controllare anche la documentazione relativa all’attività specifica che state utilizzando, poiché alcune attività hanno limiti inferiori.
Risoluzione dei problemi delle attività di estrazione e caricamento dei dati
Attenzione: Un flusso di lavoro ETL viene automaticamente disattivato se soddisfa uno dei seguenti criteri negli ultimi 13 giorni:
- Ogni tentativo di esecuzione è stato un fallimento.
- Ci sono stati almeno 10 fallimenti.
- Ogni esecuzione fallisce per lo stesso motivo.
- La prima e l’ultima esecuzione sono avvenute a distanza di almeno 10 giorni l’una dall’altra.
Flussi di lavoro incompleti
Le attività di estrazione e caricamento dei dati devono essere utilizzate insieme. Se manca un elemento della loro configurazione, l’editor dei flussi di lavoro vi avviserà.
Esempio: In questo esempio, manca l’attività di caricamento dei dati. L’editor dei flussi di lavoro ci avverte che la nostra “attività di importazione è attualmente mancante di una destinazione”
Esempio: In questo esempio, manca l’attività di estrazione dei dati. L’editor delle attività ci avverte che “è necessario aggiungere almeno un’attività di origine dati”
Flussi di lavoro che falliscono
Se le attività non funzionano o non si attivano correttamente, il primo punto da cui guardare è Flussi di lavoro e rapporti; cronologia. Contiene informazioni su ogni volta che il flusso di lavoro è stato avviato e sui risultati di tale flusso.
Nella cronologia di FUSSO DI LAVORO, ogni parte del flusso di lavoro avrà la sua voce, rendendo più facile individuare dove le cose sono andate male.
Esempio: Nell’esempio seguente, si utilizza un’attività di estrazione dei dati da file SFTP e un’attività di aggiunta di contatti e transazioni a XMD. Si può notare che l’attività dell’estrattore è fallita, ma quella del caricatore è riuscita. Ciò significa che l’attività di estrazione è mal configurata, ma l’attività di caricamento è a posto.
Dopo aver identificato il problema, è possibile fare clic su Visualizza in Dettagli per visualizzare ulteriori informazioni che aiutano a diagnosticare come risolvere il problema. In questo modo si recupera il payload JSON dell’attività. Scorrere fino alla sezione Output dell’attività per individuare eventuali errori.
Esempio: In questo esempio, si nota che l’attività è fallita perché la connessione aveva parametri non validi per un’attività di estrazione di dati da file SFTP.
Dopo aver modificato il flusso di lavoro e aver risolto il problema, è possibile tornare a Rapporti e cronologia e fare clic su Riprova per eseguire nuovamente il flusso di lavoro.
FAQs
Ho accesso a tutte le estensioni disponibili tramite i modelli di workflow?
Ho accesso a tutte le estensioni disponibili tramite i modelli di workflow?
Esiste un collegamento a tutti i trigger evento workflow, al flusso di controllo e ai task?
Esiste un collegamento a tutti i trigger evento workflow, al flusso di controllo e ai task?
Che cosa sono i modelli di workflow?
Che cosa sono i modelli di workflow?
Che cosa sono i flussi di lavoro? / Dove sono le azioni?
Che cosa sono i flussi di lavoro? / Dove sono le azioni?
Non sono presenti modifiche alla funzionalità del flusso di lavoro come parte di questo aggiornamento.
È fantastico! Grazie per il tuo feedback!
Grazie per il tuo feedback!