Tarefa de transformação
O que há nesta página
Sobre a Tarefa “Transformar”
tarefa “Transformar” permite que você edite e valide seus dados brutos, convertendo-os em um documento compatível e simplificado. A transformação de dados pode ajudar a unificar seus conjuntos de dados automaticamente para exportar para o formato que você deseja enviar aos seus parceiros e equipes.
tarefaQdica: Essa tarefa era conhecida anteriormente como “Transformação Básica”.
Configurando uma Tarefa de transformação
Qdica: essa tarefa só é compatível com fluxos de trabalho de ETL. Para obter informações sobre os limites gerais aplicar aos fluxos de trabalho do ETL, consulte Limites Fluxo de trabalho. Para saber quais são os limites específicos da tarefa, consulte as informações nesta página.
Siga estas etapas para configurar uma tarefa de transformação:
Clique no menu de navegação no canto superior esquerdo.
Selecione Workflows.
Clique em Criar um fluxo de trabalho.
Clique em Extrair, transformar e carregar dados (ETL).
Se desejar, renomeie seu fluxo de trabalho clicando no nome fluxo de trabalho na parte superior.
Configure sua tarefa de extração. Essa tarefa fornecerá os dados que serão transformados nesse fluxo de trabalho. Para obter instruções sobre como configurar tarefas de extração, consulte “Criação de fluxos de trabalho ETL”.
Clique em Data transformation (Transformação de dados).
Selecione a tarefa “Transformar ”.
Escolha a fonte de dados no menu suspenso.
Clique em Seguinte.
Edite os campos de sua tarefa de extração. Há quatro elementos principais para cada campo:
- Obrigatório: Marque a caixa de seleção avançar do campo se os dados forem obrigatórios. Se o campo estiver marcado e não houver dados nesse campo, ele será ignorado.
- Campo de origem: Todos os campos do arquivo na tarefa do extrator. Quando você adicionar um novo campo, selecione a coluna da qual deseja extrair os dados por meio do menu suspenso.
nome do campo de destino: Como os nomes dos campos aparecerão no conjunto de dados transformado. Se você quiser renomear os campos do arquivo de origem, edite o nome nessa coluna.
Atenção: Os nomes dos campos de destino têm um limite de 100 caracteres.
- Tipo de campo: como os dados extraídos serão interpretados no conjunto de dados transformado. O tipo de campo determina quais operações de transformação estão disponíveis.
Atenção: Quando sua tarefa de extração extrair dados de conversas, haverá um campo de origem chamado "transcriptContent" com um tipo de campo Qualtrics Conversational Format. Os campos com esse tipo de campo não podem ser transformados.
Clique no menu de três pontos à direita para transformar seus dados, adicionar regras validação, adicionar campos condicionais ou excluir esse campo do conjunto de dados. Para obter mais informações sobre essas opções, consulte as seções abaixo.
Se você quiser adicionar um campo adicional ao conjunto de dados, clique em Add field (Adicionar campo).
Qdica: Você pode reordenar os campos passando o mouse à esquerda do nome do campo, clicando no ícone que aparece e, em seguida, arrastando o campo. Reordenar os campos com a tarefa “Transformar” é a única maneira de garantir a ordem dos campos nos fluxos de trabalho ETL.
Revise todas as suas transformações na guia Transformações aplicadas. Para obter mais informações sobre cada transformação, clique em uma transformação. Clique no menu de três pontos para editar ou excluir.
Qdica: As operações são executadas na ordem em que aparecem na aba “Transformações aplicadas”, que é a ordem em que estão configuradas. Se várias operações forem configuradas no mesmo campo, as operações subsequentes serão calculadas com base nos resultados das anteriores.
Revise todas as suas regras validação na guia Regras Validação. Para obter mais informações sobre cada regra validação, clique em uma regra validação. Clique no menu de três pontos para editar ou excluir.
Clique em Seguinte.
Revise o resumo de suas transformações e validações. Clique em Salvar quando estiver pronto.
Qdica: Se as regras validação fizerem com que algumas linhas sejam excluídas do arquivo de saída final, a tarefa será marcada como “Sucesso parcial”. Embora a tarefa tenha sido tecnicamente bem-sucedida, ela é considerada um sucesso parcial, pois algumas linhas foram removidas do arquivo original e marcadas como ignoradas. Para obter mais informações, consulte Estados Fluxo de trabalho.
Qdica: Se a transformação encontrar um erro (como formatação inválida em um campo), todas as operações subsequentes nessa linha serão ignoradas.
Transformação de dados
As operações de transformação disponíveis para seu campo dependem do tipo de campo de destino.
As seguintes transformações estão disponíveis para campos de valor de texto, conjunto de texto e texto aberto:
- Adicionar prefixo: Adicionar texto à frente de cada valor.
- Adicionar sufixo. Adicione texto ao final de cada valor.
- Concatenar: Combina valores de vários campos.
- Formato de caixa: Aplicar um formato de maiúsculas e minúsculas (por exemplo, UPPERCASE) a todos os valores do campo.
- Mapear valor: Mapeia valores de entrada para saídas especificadas com base em correspondências, com um padrão opcional para valores não correspondentes.
- Substituir valor: Localizar e substituir valores no campo.
- Dividir: Dividir o campo original em vários campos separados por um delimitador.
- Dividir por número de caracteres: Divida o texto em dois campos especificando o número de caracteres do início ou do fim.
- Transformação de substring: Crie uma substring do texto no campo especificando os índices de início e fim.
- Valor de corte: Remove as cadeias de caracteres ou espaços em branco especificados do início, do fim ou de ambas as extremidades do texto no campo.
As seguintes transformações estão disponíveis para campos de conjunto de texto com vários valores:
- Adicionar prefixo: Adicionar texto à frente de cada valor.
- Adicionar sufixo: Adicionar texto ao final de cada valor.
- Concatenar: Combina valores de vários campos.
- Formato de caixa: Aplicar um formato de maiúsculas e minúsculas (por exemplo, UPPERCASE) a todos os valores do campo.
- Substituir valor: Localizar e substituir valores no campo.
- Dividir: Dividir o campo original em vários campos separados por um delimitador
Qdica: As transformações em campos de conjuntos de texto com vários valores são compatíveis apenas com arquivos CSV, que utilizam vírgulas como delimitadores. Se o campo com vários valores contiver uma vírgula, ele deverá incluir uma barra invertida ( \ ) para manter o formato correto. Por exemplo, se você tiver dois campos de dados que contenham vírgulas (por exemplo, Doe, John e Doe, Jane), isso seria interpretado como quatro campos separados, com transformações aplicadas a cada um (por exemplo, Doe, John, Doe, Jane). Ao adicionar uma barra invertida à vírgula em cada valor, os dados não são separados e as transformações são aplicadas a dois campos (por exemplo, Doe\,John e Doe\,Jane).
As seguintes transformações estão disponíveis para os campos de valor numérico e conjunto de números:
- Valor absoluto: Obtém o valor absoluto de cada valor no campo.
- Transformação de adição: Adicione um valor a cada número no campo ou adicione dois campos juntos.
- Média de valores: Faça a média dos valores nos campos selecionados para cada resposta.
- Transformação Divisão: Dividir cada número no campo por um valor ou dividir um campo de outro.
- Transformação divisão de números inteiros: Dividir cada número no campo por um valor ou dividir um campo de outro. Retorna apenas o número inteiro (inteiro).
- Máximo de valores: Obtenha o máximo de valores nos campos selecionados para cada resposta.
- Mediana dos valores: Obtenha a mediana dos valores nos campos selecionados para cada resposta.
- Mínimo de valores: Obtenha o mínimo de valores nos campos selecionados para cada resposta.
- Transformação de multiplicação: Multiplicar um valor para cada número no campo ou multiplicar dois campos juntos.
- Arredondar valor: Arredonda todos os valores do campo para cima ou para baixo.
- Transformação de subtração: Subtrair um valor para cada número no campo ou subtrair um campo de outro.
- Soma dos valores: Obtenha a soma dos valores nos campos selecionados para cada resposta.
As seguintes transformações estão disponíveis para campos de data:
- Cálculo de data: Retorna quanto tempo se passou entre a data de origem atual e outra data.
- Transformação do dia da semana: Determina o dia da semana a partir da data de origem atual.
- Deslocamento de data/hora: Deslocamento de data/hora com um valor de tempo especificado. Por exemplo, você poderia fornecer a data de 5 dias após uma interação.
Qdica: ao usar a compensação, 1 dia no futuro e 1 dia no passado são considerados como sendo hoje.
Qdica: nosso sistema usa o zona horário UTC. Todos os cálculos de data e deslocamentos serão baseados no UTC.
Ao inserir um formato personalizado de data/hora, essas são suas opções de formatação:
- Ano: yy, yyyy
- Mês: M, MM, MMM, MMMM
- Dia: d, dd
- Dia do ano: DDD
- Hora do meio dia: K, KK
- Hora do dia: HH
- Minuto: m, mm
- Segundo: s, ss
- Segundo fracionário: S, SS, SSS
- Deslocamento zona fuso horário: ZZZZ, ZZ:ZZ (pode incluir +/-)
- Meio dia do dia: a
- Dia da semana: E, EE
- Formato zona horário: z
Qdica: Um mês é considerado como tendo 30 dias.
Validação de dados
A adição de regras validação permite que você crie critérios e condições que garantam que os dados em seus campos tenham o mesmo formato. Por exemplo, você pode querer eliminar todos os registros com um endereço de e-mail inválido.
- Incluir apenas registros que não estejam vazios: Ative essa opção se quiser omitir a resposta se o campo selecionado estiver vazio. Essa configuração faz a mesma coisa que a coluna Required na tabela de transformação.
- Ignorar todos os registros se alguma regra validação falhar: Se alguma regra validação de dados falhar, todos os registros serão ignorados.
- Aplicar o tipo de dados do registro, incluindo apenas registros que possam ser convertidos para o tipo especificado: Incluir somente registros que tenham um formato de dados específico. Por exemplo, para um valor de texto, você pode selecionar se esses dados devem ser um número ou um formato de texto. Se você ativar essa opção, uma segunda opção ficará disponível:
- Deve avisar em caso de falha em vez de ignorar: Ao ativar essa opção, os registros que não atenderem aos critérios validação serão incluídos no conjunto de dados. Um aviso será exibido no relatório de linha indicando que a resposta falhou nessa regra. Deixar essa opção desmarcada ignorará o registro para que ele não seja incluído no novo conjunto de dados. Você não pode selecionar essa opção se também tiver ativado a opção “ignorar todos os registros caso alguma regra validação falhe”.
REGRAS VALIDAÇÃO
Você pode adicionar regras validação para validar condicionalmente os dados em seu campo. Para obter mais informações sobre as condições do edifício, consulte Noções básicas sobre as condições do edifício.
Selecione o que acontecerá com o registro em caso de falha de condição. Você pode optar por ignorar o registro para que ele não seja incluído no conjunto de dados ou incluí-lo com um aviso.
Indique se todas ou algumas das regras precisam ser verdadeiras para validar a condição.
Crie sua condição usando o menu suspenso do operador e a caixa de texto. Isso determina o que o registro nesse campo precisa satisfazer para que a condição seja aprovada.
Qdica: Para criar outra condição ou excluir uma condição existente, clique no menu de três pontos à direita.
Adicione outra regra validação, se desejar.
Qdica: Clique na lixeira para excluir uma regra validação.
Clique em Aplicar.
Campos condicionais
Os campos condicionais são criados por meio da definição de condições lógicas que utilizam outros campos para determinar como o campo é criado. Adicione um campo condicional no menu de três pontos à direita dos campos de origem. Para obter mais informações sobre as condições do edifício, consulte Noções básicas sobre as condições do edifício.
CAMPO CONDICIONAL
Um campo condicional cria um novo campo com base em uma única condição lógica.
Exemplo: Digamos que você queira criar um campo para “Concorda” ou “Não concorda”, dependendo da resposta dos participantes à pergunta: “Você concorda em responder a esta pesquisa?” Você pode criar um campo condicional com a seguinte lógica: se a opção “Sim” for selecionada, o valor será “Consentido”.
Digite o nome do campo novo campo.
Escolha um operador para sua condição.
Insira o valor para determinar como a condição é atendida.
Digite o que será retornado se a regra criada nas etapas 2 e 3 for verdadeira.
Insira o que será retornado caso a regra criada nas etapas 2 e 3 seja falsa (também conhecido como valor “Else”).
Clique em Aplicar ” quando terminar.
Qdica: O operador “Contém” sempre retornará o valor “Caso contrário” se o valor fornecido e os campos de entrada forem ambos números. Se você quiser que esses valores sejam tratados como texto, use um campo “Condicional Avançado” em vez disso.
CAMPO CONDICIONAL AVANÇADO
Um campo condicional avançado cria um novo campo com base em várias condições lógicas ou conjuntos condição.
Qdica: há um limite de 15 filiais.
Exemplo: Digamos que você queira criar um campo para “Promotores” ou “Detratores” com base nas respostas dos entrevistados à sua pergunta de satisfação com escala de 10 pontos. Crie um campo condicional avançado com a seguinte lógica: se Q2 for “maior ou igual a 8”, o valor será “Promotor”; mas se Q2 for “menor ou igual a 5”, o valor será “Detrator””.
Arquivo e Relatórios transformados
tarefa “Transformar” gera o arquivo transformado, juntamente com dois relatórios para ajudá-lo a compreender seu conjunto de dados transformado. Na guia “Histórico de execuções ” do editor Fluxo de trabalho, clique na tarefa “Transformar” dentro da execução fluxo de trabalho para visualizar os arquivos no lado direito. Esses arquivos podem ser exportados clicando no ícone de download à sua direita.
- Relatório de transformação: Todas as transformações que foram executadas nos registros do arquivo de origem e outros detalhes, como nome, número da linha, status, motivo da falha e outros.
- Arquivo transformado: o resultado da transformação de dados que contém o novo conjunto de dados com todas as transformações e validações aplicadas.
- Relatório Validação: Relatório de todas as validações realizadas, incluindo se o registro foi excluído e a validação em que ele falhou.
Atenção: relatórios de transformação e relatórios validação são incompatíveis com os loops “for-each” nos fluxos de trabalho.
Solução de problemas
- Limites de tamanho de arquivo: Se o arquivo gerado pela tarefa de transformação for maior que 1 GB, o fluxo de trabalho falhará.
- Transformações que aumentam o tamanho dos arquivos: Dependendo da forma como você optar por transformar seus dados, a tarefa de transformação pode adicionar mais dados ao seu arquivo. Se o arquivo que você está extraindo já estiver próximo do limite de 1 GB, lembre-se de que as transformações podem tornar o arquivo grande demais para ser processado.
- Campos pesquisa ausentes: você poderá perceber a ausência de um campo pesquisa se o seu ETL começar com a tarefa “Extrair respostas de uma pesquisa ” antes da tarefa de transformação. Isso ocorre porque, se você adicionar novos campos ao pesquisa, precisará salvar a tarefa de extração novamente e, em seguida, adicionar o campo à tarefa transformação. Para resolver isso:
- Abra tarefa “Extrair respostas de uma pesquisa ”.
- Em Pesquisa columns (Colunas de pesquisa ), selecione seu novo campo. (Se você tiver a opção “baixar todos os campos” selecionada, pule para a avançar etapa, na qual você salvará sua tarefa.)
- Salve sua tarefa com todas as outras configurações iguais.
- Abra sua tarefa “Transformar ”.
- O campo deve se recuperar.
- Certifique-se de verificar também tarefa do carregador de dados para ter certeza de que esse novo campo está incluído.
- “EOF atingido inesperadamente”: Ao consultar histórico de execução fluxo de trabalho seu fluxo de trabalho, você pode ver uma mensagem que diz: “EOF atingido inesperadamente durante a leitura do arquivo”. “Adicione dados ao arquivo ou remova-os da fonte de dados.” Nesse caso, recomendamos que você configure seu fluxo de trabalho para repetir automaticamente as falhas de tarefa.
Isso é ótimo! Obrigado pelo seu feedback!
Obrigado pelo seu feedback!