Creación de Flujos de trabajo ETL
Contenidos de la página
Acerca de la creación de Flujos de trabajo ETL
La plataforma de flujos de trabajo Qualtrics contiene una serie de tareas para ayudar a importar datos de destinos de terceros a Qualtrics o exportar datos de Qualtrics a destinos de terceros. Estas tareas siguen el marco extraer, transformar, cargar (ETL). Al utilizar tareas de ETL, puede crear flujos de trabajo automatizados y programados para importar datos externos a Qualtrics, así como para exportar los datos de Qualtrics a destinos externos.
Para crear un Flujo de trabajo ETL , debe crear 1 o más tareas de extracción y 1 o más tareas del cargador . Sólo estás limitado por el límite general de tareas en un flujo de trabajo .
Consejo Q: Las tareas ETL pueden tardar hasta 24 horas en ejecutarse. Si la tarea no se realiza correctamente dentro de las 24 horas, la tarea fallará.
Consejo Q: Los flujos de trabajo ETL solo pueden ejecutar 1 flujo de trabajo a la vez. Los flujos de trabajo que se ejecutan simultáneamente pueden fallar.
Configuración general para tareas de extracción y carga
Consejo Q: Para obtener una guía general sobre el uso de flujos de trabajo, consulte Descripción general básica de los Flujos de trabajo .
Consejo Q: Después de configurar su flujo de trabajo , haga clic en Correr inmediatamente para probar su flujo de trabajo ETL y asegurarse de que funciona.
Consejo Q : Puede agregar tareas adicionales a sus flujos de trabajo ETL . Por ejemplo, agregue un tarea de servicio web para publicar en un webhook.
Recarga de datos
Cuando haya un cambio de configuración entre tareas ETL que dependen unas de otras, aparecerá un botón para recargar todos los datos con la nueva configuración. Hacer clic Recargar los datos Si desea reprocesar los datos antiguos.
Atención: Esto se recargará Todos los datos de la tarea que fue editada. Normalmente, los flujos de trabajo ETL solo procesan datos nuevos desde la última ejecución. Sin embargo, si se selecciona esta opción, la siguiente vez que se ejecute el flujo de trabajo , se procesarán todos los datos desde que se creó el flujo de trabajo .
Ejemplo: Cuando un Extraer respuestas de la tarea de encuesta Normalmente se ejecuta, solo se procesarán las respuestas nuevas desde la última ejecución. Sin embargo, si se vuelven a cargar los datos, la siguiente vez que se ejecute el flujo de trabajo , se procesarán todas las respuestas de la encuesta .
Extracción de datos de un rango de fechas específico
Con ciertos flujos de trabajo ETL , se pueden extraer datos de un rango de fechas específico. Esta puede ser una excelente manera de reprocesar datos que se hayan extraído previamente o de comprobar que su configuración funciona correctamente.
La extracción de datos de un rango específico no afecta a otras ejecuciones programadas.
Ejemplo: Tu flujo de trabajo ya ha procesado un ticket . Sin embargo, desde entonces, los datos al respecto han cambiado. Para reprocesar el ticket, utilice esta función.
Consejo Q: Esta función solo está disponible para flujos de trabajo ETL programados.
Tareas de extracción compatibles
Solo puedes extraer datos de un rango de fechas específico si utilizas una de las siguientes tareas:
- Extraer datos de los boletos tarea
- Extraer datos de Discover tarea
- Extractor de Salesforce tarea
Consejo Q: La extracción de rango de fechas solo funcionará si tienes 1 tarea de extracción admitida en su flujo de trabajo.
Ejecutar un flujo de trabajo con un rango de fechas personalizado
Siga estos pasos para extraer datos únicamente del rango de fechas seleccionado.
Consejo Q: La fecha de inicio más temprana que puedes seleccionar es el 1 de enero de 1970.
Consejo Q: La fecha y hora de finalización más tardía que puedes elegir es la actual. Mientras esté activado, su flujo de trabajo extraerá datos futuros a medida que continúe ejecutándose según lo programado.
Solución de problemas de una ejecución
Ve a tu historial de ejecución del flujo de trabajo. Haz clic en la tarea de extracción y visualiza el JSON.. En la salida, los campos CDAP_DateRangeExport deben reflejar el rango de fechas que seleccionó. (Los campos CDAP_Worker, por otro lado, se mostrarán cuando hayas ejecutado la prueba).
Tareas de extracción disponibles
Estas son algunas de las tareas de extracción disponibles en este momento:
- Extraer datos de la tarea de Qualtrics File Service :Lleve los datos que haya almacenado en el Servicio de archivos de Qualtrics y guárdelos en otra parte de la plataforma, como el XM Directory.
- tarea de extracción de datos de archivos SFTP :Extraiga datos de su servidor SFTP e impórtelos a Qualtrics.
- Extraer datos de una tarea de Salesforce :Extraiga datos de su instancia de Salesforce e impórtelos a Qualtrics.
- Extraer datos de la tarea de Google Drive :Extraiga datos de su cuenta de Google Drive e impórtelos a Qualtrics.
- tarea de importación de datos de informes de Salesforce :Extraiga datos de un informe de Salesforce para importarlos a Qualtrics.
- Extraer respuestas de una tarea de encuesta : Extraiga datos de sus encuestas de Qualtrics y cárguelos en otro lugar, como un SFTP.
- Extraer empleados de la tarea HRIS:Extraiga datos de empleado de sistemas de información de recursos humanos populares como Workday para importarlos a su directorio de Qualtrics EX .
- Extraer datos de la tarea del proyecto de datos :Extraiga datos de su proyecto de datos importados de Qualtrics y cárguelos en otro lugar, como su propia base de datos externa.
- Extraer datos de empleado de la tarea SuccessFactors :Extraiga datos de empleado de su instancia de SuccessFactors e impórtelos a Qualtrics.
- Extraer datos de contratación de la tarea SuccessFactors :Extraiga sus datos de reclutamiento de SuccessFactors para importarlos a Qualtrics.
- Extraer datos de la tarea Snowflake :Extraiga datos almacenados en Snowflake para importarlos a Qualtrics.
- Extraer datos de una tarea de Amazon S3 :Extraiga datos almacenados en Amazon S3 para importarlos a Qualtrics.
- Extraer informes del historial de ejecución de las tarea de flujos de trabajo :Extraiga informes sobre sus ejecuciones de flujo de trabajo anteriores para importarlos a otro lugar, como un SFTP.
- tarea de extracción de datos de tickets :Extraiga los datos de los tickets de Qualtrics para importarlos a otra fuente, como SFTP.
- Extraer datos de la tarea Discover:Extraer datos de su Discover cuenta e importarla a Qualtrics.
- tarea de Salesforce Extractor:Extraer datos de Salesforce para importarlos a Qualtrics. Puede importar objetos y correos electrónicos de Salesforce con esta tarea.
- Extraer datos de la tarea de Genesys : Extraiga datos de chat y correo electrónico de Genesys e impórtelos a Qualtrics.
Consejo Q: También puede ver una lista de extractores utilizando el menú del sitio a la izquierda.
Tareas de cargador disponibles
Estas son algunas de las tareas de carga disponibles en este momento:
- Agregar contactos y transacciones a la tarea XMD :Guarde datos y transacciones importadas en su XM Directory.
- Cargar usuarios en la tarea del directorio EX :Guarde los datos de los empleado importados en su directorio EX o proyecto EX .
- Cargar usuarios en la tarea del directorio CX :Guardar datos de usuario de CX importados.
- Cargar datos en una tarea de proyecto de datos :Guardar datos importados desde un tarea de extracción de datos en un proyecto de datos importados .
- Cargar en una tarea un conjunto de datos :Guarde los datos importados en un conjunto de datos para usarlos con una tarea de combinación.
- Cargar datos en la tarea SFTP :Guardar datos importados en un servidor SFTP .
- Cargar datos en la tarea de Amazon S3 :Guardar datos importados en un depósito de Amazon S3.
- Cargar respuestas a la tarea de encuesta : Guarde los datos importados en un conjunto de datos de encuesta de Qualtrics .
- Cargar tarea en SDS :Guarde los datos importados en una fuente de datos complementaria de Qualtrics .
- tarea de carga de datos en el directorio de ubicación:Guarde los datos importados en un directorio de ubicación de Qualtrics .
- Cargar datos en la tarea Discover:Guardar datos importados en Discover.
- Cargar datos en Conversational Analytics:Cargar datos de chat y correo electrónico en un Proyecto de datos de chat o Proyecto de datos de correo electrónico para analizar dentro de Qualtrics.
Consejo Q: También puede ver una lista de cargadores utilizando el menú del sitio a la izquierda.
Tareas de transformación de datos disponibles
Las siguientes tareas están disponibles para transformar los datos que procesa en sus flujos de trabajo ETL :
- tarea básica de transformación :Cambie el formato de cadenas y fechas, calcule la diferencia entre fechas, realice operaciones matemáticas en campos numéricos y más.
- tarea de fusión :Combine varios conjuntos de datos en un solo conjunto de datos.
- tarea de redacción y sustitución de datos:Redacte datos dentro de su flujo de trabajo basándose en expresiones regulares o reglas de sustitución.
Límites del Flujo de trabajo
Las ejecuciones del flujo de trabajo ETL tienen los siguientes límites:
- Cada ejecución puede procesar hasta 200 archivos
- Cada ejecución puede procesar hasta 10 GB de datos en total.
- Las tareas pueden procesar archivos de hasta 5 GB de tamaño.
Consejo Q: Tenga en cuenta que cada ejecución incluye todas las tareas que se ejecutan dentro del flujo de trabajo.
Asegúrese de consultar también la documentación de la tarea específica que está utilizando, ya que algunas tareas tienen límites más pequeños.
Solución de problemas en tareas de extracción y carga de datos
Atención: Un flujo de trabajo ETL se deshabilita automáticamente si cumple alguno de los siguientes criterios en los últimos 13 días:
- Cada intento de ejecución ha sido un fracaso.
- Hubo al menos 10 fallos.
- Toda ejecución falla por la misma razón.
- La primera y la última ejecución ocurrieron con al menos 10 días de diferencia.
Flujos de trabajo incompletos
Las tareas de extracción y carga de datos deben utilizarse juntas. Si falta alguna parte de su configuración, el editor de flujos de trabajo le avisará.
Ejemplo: En este ejemplo, nos falta nuestra tarea de cargador de datos. El editor de flujos de trabajo nos alerta de que a nuestra “ tarea de importación actualmente le falta un destino”.
Ejemplo: En este ejemplo, nos falta nuestra tarea de extracción de datos. El editor de tarea nos alerta que “debe agregar al menos una tarea de fuente de datos ”.
Flujos de trabajo fallidos
Si sus tareas están fallando o no se ejecutan correctamente, el primer lugar donde debe buscar es Informes e historial de Flujos de trabajo. Esto contendrá información sobre cada vez que se activó su flujo de trabajo y los resultados de ese flujo de trabajo.
En los informes y el historial, cada parte de su flujo de trabajo tendrá su propia entrada, lo que permitirá identificar fácilmente dónde salieron mal las cosas.
Ejemplo: En el siguiente ejemplo, utilizamos un tarea de extracción de datos de archivos SFTP y un Agregar contactos y transacciones a la tarea XMD. Podemos ver que la tarea del extractor falló, pero la tarea del cargador tuvo éxito. Esto significa que nuestra tarea de extracción está mal configurada, pero nuestra tarea de carga está bien.
Después de identificar el problema, puede hacer clic Vista En Detalles encontrará más información que le ayudará a diagnosticar cómo solucionar el problema. Esto extraerá la carga útil JSON para la tarea. Desplácese hacia abajo hasta la Resultado de la Tarea Sección para encontrar cualquier error.
Ejemplo: En este ejemplo, vemos que la tarea falló porque la conexión tenía parámetros no válidos para un tarea de extracción de datos de archivos SFTP .
Después de editar su flujo de trabajo y solucionar el problema, puede regresar a Informes e historial y hacer clic Rever para volver a ejecutar el flujo de trabajo.
Preguntas frequentes
¿Tengo acceso a todas las extensiones disponibles a través de las plantillas de flujos de trabajo?
¿Tengo acceso a todas las extensiones disponibles a través de las plantillas de flujos de trabajo?
¿Hay un enlace a todos los desencadenantes de eventos de los flujos de trabajo, el flujo de control y las tareas?
¿Hay un enlace a todos los desencadenantes de eventos de los flujos de trabajo, el flujo de control y las tareas?
¿Qué son las plantillas de flujos de trabajo?
¿Qué son las plantillas de flujos de trabajo?
¿Qué son los flujos de trabajo? / ¿Dónde están las acciones?
¿Qué son los flujos de trabajo? / ¿Dónde están las acciones?
No hay cambios en la funcionalidad del flujo de trabajo como parte de esta actualización.
¡Genial! ¡Gracias por tus comentarios!
¡Gracias por tus comentarios!