Criação de fluxos de trabalho de ETL
O que há nesta página
Sobre a criação de fluxos de trabalho de ETL
A plataforma de fluxos de trabalho da Qualtrics contém uma série de tarefas para ajudar na importação de dados de destinos de terceiros para a Qualtrics ou na exportação de dados da Qualtrics para destinos de terceiros. Essas tarefas seguem o framework Extrair, Transformar, Carregar (ETL). Ao usar tarefas ETL, você pode criar fluxos de trabalho automatizados e programados para trazer dados de fontes terceirizadas para a Qualtrics, além de exportar dados da Qualtrics para destinos de terceiros.
Para criar um Fluxo de trabalho ETL, você deve criar uma ou mais tarefas de extração e uma ou mais tarefas de carregamento. Você está limitado apenas pelo limite geral de tarefas em um fluxo de trabalho.
Qdica: as tarefas de ETL podem levar até 24 horas para serem executadas. Se a tarefa não for bem-sucedida em 24 horas, ela falhará.
Qdica: os fluxos de fluxo de trabalho de ETL só podem executar um fluxo de trabalho por vez. Fluxos de trabalho em execução simultânea podem falhar.
Configuração geral para tarefas do extrator e do carregador
Qdica: para obter um guia geral sobre o uso de fluxos de trabalho, consulte Visão geral básica dos fluxos de trabalho.
Qdica: depois de configurar o fluxo de trabalho, clique em Run Immediately (Executar imediatamente ) para testar o fluxo de trabalho de ETL e garantir que ele esteja funcionando.
Qdica: você pode adicionar outras tarefas aos seus fluxos de trabalho de ETL. Por exemplo, adicione uma tarefa de serviço da Web para postar em um webhook.
Dados de recarga
Quando houver uma alteração de configuração entre as tarefas de ETL que dependem umas das outras, será exibido um botão para recarregar todos os dados com a nova configuração. Clique em Reload the data (Recarregar os dados ) se você quiser reprocessar os dados antigos.
Atenção: Isso recarregará todos os dados da tarefa que foi editada. Normalmente, os fluxos de trabalho de ETL só processam novos dados desde a última execução. No entanto, se essa opção for selecionada, na avançar vez que o fluxo de trabalho for executado, todos os dados desde que o fluxo de trabalho foi criado serão processados.
Exemplo: Quando uma tarefa de extração de respostas de pesquisa é executada normalmente , somente as novas respostas desde a última execução serão processadas. No entanto, se os dados forem recarregados, na avançar vez que o fluxo de trabalho for executado, todas as respostas da pesquisa serão processadas.
Extração de dados de um intervalo de datas especificado
Com determinados fluxos de trabalho de ETL, você pode extrair dados de um intervalo de datas específico. Essa pode ser uma ótima maneira de reprocessar dados que foram extraídos anteriormente ou testar se a sua configuração está funcionando.
A extração de dados de um intervalo específico não afeta outras execuções programadas.
Exemplo: Um tíquete já foi processado por seu fluxo de trabalho. Desde então, porém, os dados sobre ele mudaram. Para reprocessar o tíquete, você usa essa função.
Qdica: esse característica só está disponível para fluxos de trabalho ETL programados.
Tarefas de extração suportadas
Só é possível extrair dados de um intervalo de datas especificado se você usar uma das seguintes tarefas:
- tarefaExtrair dados de tickets
- Extrair dados da tarefa Discover
- tarefado Salesforce Extractor
Qdica: a extração de intervalo de datas só funcionará se você tiver uma tarefa de extração compatível em seu fluxo de trabalho.
Executar um fluxo de trabalho com um intervalo de datas personalizado
Siga estas etapas para extrair dados apenas do intervalo de datas escolhido.
Qdica: o início mais antigo que você pode selecionar é 1º de janeiro de 1970.
Qdica: a última data e hora de término que você pode escolher é a atual. Desde que esteja ativado, seu fluxo de trabalho extrairá dados futuros à medida que continua a ser executado em sua programação.
Solução de problemas em uma execução
Vá para o histórico de execução do fluxo de trabalho. Clique na tarefa de extração e visualize o JSON. Na saída, os campos CDAP_DateRangeExport devem refletir o intervalo de datas que você escolheu. (Os campos CDAP_Worker, por outro lado, mostrarão quando você executou o teste)
Tarefas de extração disponíveis
Aqui estão algumas das tarefas de extração disponíveis no momento:
- tarefa Extrair dados do Qualtrics File Service: Pegue os dados que você armazenou no Qualtrics File Service e salve-os em outro local da plataforma, como o Diretório XM.
- tarefa de extração de dados de arquivos SFTP: Extraia dados do seu servidor SFTP e importe-os para o Qualtrics.
- Extrair dados da tarefa do Salesforce: Extraia dados de sua instância do Salesforce e importe-os para o Qualtrics.
- Extrair dados da tarefa do Google Drive: Extraia dados da sua conta do Google Drive e importe-os para o Qualtrics.
- tarefa de importação de dados de relatório do Salesforce: Extraia dados de um relatório do Salesforce para importar para o Qualtrics.
- Extrair respostas de uma tarefa pesquisa: Extraia dados de suas pesquisas Qualtrics e carregue-os em outro lugar, como um SFTP.
- tarefa de extração de funcionários do HRIS: Extraia dados de colaborador de um HRIS popular, como o Workday, para importar para o diretório do Qualtrics EX.
- Extrair dados da tarefa do projeto de dados: Extraia dados do seu projeto de dados importados do Qualtrics e carregue-os em outro lugar, como seu próprio banco de dados externo.
- Extrair dados de colaborador do SuccessFactors tarefa: Extraia dados de colaborador de sua instância do SuccessFactors e importe-os para o Qualtrics.
- Extrair dados de recrutamento do SuccessFactors tarefa: Extraia seus dados de recrutamento do SuccessFactors para importar para o Qualtrics.
- tarefa de extração de dados do Snowflake: extrair dados armazenados no Snowflake para importar para o Qualtrics.
- tarefa Extrair dados do Amazon S3: Extraia dados armazenados no Amazon S3 para importar para o Qualtrics.
- Extrair relatórios histórico de execução da tarefa fluxos de trabalho: Extraia relatórios sobre as execuções anteriores fluxo de trabalho para importar em outro lugar, como um SFTP.
- tarefa Extrair dados de tíquetes: Extraia dados de tíquetes do Qualtrics para importar para outra fonte, como um SFTP.
- Extrair dados da tarefa Discover: Extraia dados de sua conta Discover e importe-os para o Qualtrics.
- tarefa do Salesforce Extractor: Extrair dados do Salesforce para importar para o Qualtrics. Você pode importar objetos e e-mails do Salesforce com essa tarefa.
- Extrair dados de tarefa Genesys: Extrair dados de chat e e-mail do Genesys e importá-los para o Qualtrics.
Qdica: Você também pode visualizar uma lista de extratores usando o menu do site à esquerda.
Tarefas do carregador disponíveis
Aqui estão algumas das tarefas do carregador disponíveis no momento:
- Adicionar contatos e transações à tarefa XMD: Salvar dados e transações importados no Diretório XM.
- tarefa Carregar usuários no diretório EX: Salve os dados de colaborador importados no seu diretório EX ou projeto EX.
- Carregar usuários na tarefa diretório CX: Salvar dados de usuários importados do CX.
- Carregar dados em uma tarefa de projeto de dados: Salvar dados importados de uma tarefa de extração de dados em um projeto de dados importados.
- tarefa Carregar em um conjunto de dados: Salve os dados importados em um conjunto de dados para usar com uma tarefa de mesclagem.
- Carregar dados na tarefa SFTP: Salvar os dados importados em um servidor SFTP.
- tarefa Carregar dados para o Amazon S3: Salve os dados importados em um bucket do Amazon S3.
- Carregar respostas para a tarefa pesquisa: Salvar dados importados em um conjunto de dados pesquisa Qualtrics.
- tarefa Carregar para SDS: Salvar os dados importados em uma fonte de dados suplementar Qualtrics.
- tarefa Carregar dados para o diretório localização: Salve os dados importados em um diretório de localização do Qualtrics.
- Carregar dados para a tarefa Discover: Salvar dados importados no Discover.
- Carregar dados para o Conversational Analytics: Carregue dados de bate-papo e e-mail em um projeto de dados de bate-papo ou de e-mail para analisar no Qualtrics.
Qdica: você também pode ver uma lista de carregadores usando o menu do site à esquerda.
Tarefas de transformação de dados disponíveis
As tarefas a seguir estão disponíveis para transformar os dados que você processa em seus fluxos de trabalho de ETL:
- tarefa básica de transformação: alterar o formato de cadeias de caracteres e datas, calcular a diferença entre datas, realizar operações matemáticas em campos numéricos e muito mais.
- tarefa de mesclagem: Combine vários conjuntos de dados em um único conjunto de dados.
- tarefa red igitação e substituição de dados: Redigite dados em seu fluxo de trabalho com base em regras de regex ou substituição.
Limites Fluxo de trabalho
As execuções fluxo de trabalho de ETL têm os seguintes limites:
- Cada execução pode processar até 200 arquivos
- Cada execução pode processar até 10 GB de dados no total
- As tarefas podem processar arquivos com até 5 GB de tamanho
Qdica: observe que cada execução inclui todas as tarefas que estão sendo executadas no fluxo de trabalho.
Certifique-se de verificar também a documentação da tarefa específica que está usando, pois algumas tarefas têm limites menores.
Solução de problemas de tarefas de extração e carregamento de dados
Atenção: Um fluxo de trabalho ETL é automaticamente desativado se atender a qualquer um dos seguintes critérios nos últimos 13 dias:
- Todas as tentativas de execução foram um fracasso.
- Houve pelo menos 10 falhas.
- Toda execução está falhando pelo mesmo motivo.
- A primeira e a última execução tiveram um intervalo de pelo menos 10 dias.
Fluxos de trabalho incompletos
As tarefas do extrator de dados e do carregador devem ser usadas em conjunto. Se estiver faltando uma parte da configuração, o editor de fluxos de trabalho o alertará.
Exemplo: Neste exemplo, estamos perdendo a tarefa do carregador de dados. O editor de fluxos de trabalho nos alerta que nossa ” tarefa de importação não tem um destino no momento”
Exemplo: Neste exemplo, estamos perdendo nossa tarefa extração de dados. O editor de tarefa nos alerta que “você precisa adicionar pelo menos uma tarefa fonte de dados ”
Falha nos fluxos de trabalho
Se suas tarefas estiverem falhando ou não estiverem sendo executadas corretamente, o primeiro lugar que você deve procurar é Relatórios e histórico de fluxos de trabalho. Isso conterá informações sobre cada vez que seu fluxo de trabalho for acionado e os resultados desse fluxo de trabalho.
No relatório e no histórico, cada parte do seu fluxo de trabalho terá sua própria entrada, facilitando a identificação de onde as coisas deram errado.
Exemplo: No exemplo abaixo, estamos usando uma tarefa de extração de dados de arquivos SFTP e uma tarefa adição de contatos e transações ao XMD. Podemos ver que a tarefa do extrator falhou, mas a tarefa do carregador foi bem-sucedida. Isso significa que nossa tarefa extractor está mal configurada, mas nossa tarefa loader está OK.
Após identificar o problema, você pode clicar em View (Exibir ) em Details (Detalhes) para ver mais informações que o ajudarão a diagnosticar como corrigir o problema. Isso extrairá a carga útil JSON da tarefa. Role para baixo até a seção Tarefa Output (Saída da tarefa ) para encontrar erros.
Exemplo: Neste exemplo, vemos que a tarefa falhou porque a conexão tinha parâmetros inválidos para uma tarefa de extração de dados de arquivos SFTP.
Depois de editar o fluxo de trabalho e corrigir o problema, você pode retornar ao histórico de relatórios e clicar em Repetir para executar novamente o fluxo de trabalho.
Perguntas frequentes
Tenho acesso a todas as extensões disponíveis por meio dos modelos de fluxos de trabalho?
Tenho acesso a todas as extensões disponíveis por meio dos modelos de fluxos de trabalho?
Existe um link para todos os acionadores de evento, fluxo de controle e tarefas de fluxos de trabalho?
Existe um link para todos os acionadores de evento, fluxo de controle e tarefas de fluxos de trabalho?
O que são modelos de workflows?
O que são modelos de workflows?
O que são workflows? / Onde estão as ações?
O que são workflows? / Onde estão as ações?
Não há alterações na funcionalidade do fluxo de trabalho como parte desta atualização.
Isso é ótimo! Obrigado pelo seu feedback!
Obrigado pelo seu feedback!