Tarefa de transformação básica
O que há nesta página
Sobre a Tarefa de transformação básica
A tarefa Transformação básica permite editar e validar seus dados brutos em um documento compatível e simplificado. A transformação de dados pode ajudar a unificar seus conjuntos de dados automaticamente para exportar para o formato que você deseja enviar aos seus parceiros e equipes.
Qdica: essa tarefa só é compatível com fluxos de trabalho de ETL.
Qdica: para obter informações sobre os limites gerais que aplicar aos fluxos de trabalho de ETL, consulte Limites Fluxo de trabalho. Para saber quais são os limites específicos da tarefa, consulte as informações nesta página.
Configuração de uma Tarefa de transformação básica
Qdica: Se a transformação encontrar um erro (como formatação inválida para um campo), todas as operações subsequentes nessa linha serão ignoradas.
Transformação de dados
As operações de transformação disponíveis para seu campo dependem do tipo de campo de destino.
As seguintes transformações estão disponíveis para campos de valor de texto, conjunto de texto e texto aberto:
- Adicionar prefixo: Adicionar texto à frente de cada valor.
- Adicionar sufixo. Adicione texto ao final de cada valor.
- Concatenar: Combina valores de vários campos.
- Formato de caixa: Aplicar um formato de maiúsculas e minúsculas (por exemplo, UPPERCASE) a todos os valores do campo.
- Mapear valor: Mapeia valores de entrada para saídas especificadas com base em correspondências, com um padrão opcional para valores não correspondentes.
- Substituir valor: Localizar e substituir valores no campo.
- Dividir: Dividir o campo original em vários campos separados por um delimitador.
- Dividir por número de caracteres: Divida o texto em dois campos especificando o número de caracteres do início ou do fim.
- Transformação de substring: Crie uma substring do texto no campo especificando os índices de início e fim.
- Valor de corte: Remove as cadeias de caracteres ou espaços em branco especificados do início, do fim ou de ambas as extremidades do texto no campo.
As seguintes transformações estão disponíveis para campos de conjunto de texto com vários valores:
- Adicionar prefixo: Adicionar texto à frente de cada valor.
- Adicionar sufixo: Adicionar texto ao final de cada valor.
- Concatenar: Combina valores de vários campos.
- Formato de caixa: Aplicar um formato de maiúsculas e minúsculas (por exemplo, UPPERCASE) a todos os valores do campo.
- Substituir valor: Localizar e substituir valores no campo.
- Dividir: Dividir o campo original em vários campos separados por um delimitador
Qdica: as transformações em campos de conjunto de texto com vários valores são compatíveis apenas com arquivos CSV, que usam vírgulas como delimitadores. Se o campo de vários valores contiver uma vírgula, ele deverá incluir uma barra invertida ( \ ) para manter o formato correto. Por exemplo, se você tiver 2 campos de dados que contenham vírgulas (por exemplo, Doe, John e Doe, Jane), isso será interpretado como 4 campos separados com transformações adicionadas a cada um (por exemplo, Doe, John, Doe, Jane). Ao adicionar uma barra invertida à vírgula em cada valor, os dados não são separados e as transformações são adicionadas a dois campos (por exemplo, Doe\,John e Doe\,Jane).
As seguintes transformações estão disponíveis para os campos de valor numérico e conjunto de números:
- Valor absoluto: Obtém o valor absoluto de cada valor no campo.
- Transformação de adição: Adicione um valor a cada número no campo ou adicione dois campos juntos.
- Média de valores: Faça a média dos valores nos campos selecionados para cada resposta.
- Transformação Divisão: Dividir cada número no campo por um valor ou dividir um campo de outro.
- Transformação divisão de números inteiros: Dividir cada número no campo por um valor ou dividir um campo de outro. Retorna apenas o número inteiro (inteiro).
- Máximo de valores: Obtenha o máximo de valores nos campos selecionados para cada resposta.
- Mediana dos valores: Obtenha a mediana dos valores nos campos selecionados para cada resposta.
- Mínimo de valores: Obtenha o mínimo de valores nos campos selecionados para cada resposta.
- Transformação de multiplicação: Multiplicar um valor para cada número no campo ou multiplicar dois campos juntos.
- Arredondar valor: Arredonda todos os valores do campo para cima ou para baixo.
- Transformação de subtração: Subtrair um valor para cada número no campo ou subtrair um campo de outro.
- Soma dos valores: Obtenha a soma dos valores nos campos selecionados para cada resposta.
As seguintes transformações estão disponíveis para campos de data:
- Cálculo de data: Retorna quanto tempo se passou entre a data de origem atual e outra data.
- Transformação do dia da semana: Determina o dia da semana a partir da data de origem atual.
- Deslocamento de data/hora: Deslocamento de data/hora com um valor de tempo especificado. Por exemplo, você poderia fornecer a data de 5 dias após uma interação.
Qdica: ao usar a compensação, 1 dia no futuro e 1 dia no passado são considerados como sendo hoje.
Qdica: nosso sistema usa o zona horário UTC. Todos os cálculos de data e deslocamentos serão baseados no UTC.
Ao inserir um formato personalizado de data/hora, essas são suas opções de formatação:
- Ano: yy, yyyy
- Mês: M, MM, MMM, MMMM
- Dia: d, dd
- Dia do ano: DDD
- Hora do meio dia: K, KK
- Hora do dia: HH
- Minuto: m, mm
- Segundo: s, ss
- Segundo fracionário: S, SS, SSS
- Deslocamento zona fuso horário: ZZZZ, ZZ:ZZ (pode incluir +/-)
- Meio dia do dia: a
- Dia da semana: E, EE
- Formato zona horário: z
Qdica: Um mês é tratado como 30 dias.
Validação de dados
A adição de regras validação permite que você crie critérios e condições que garantam que os dados em seus campos tenham o mesmo formato. Por exemplo, você pode querer eliminar todos os registros com um endereço de e-mail inválido.
REGRAS VALIDAÇÃO
Você pode adicionar regras validação para validar condicionalmente os dados em seu campo. Para obter mais informações sobre as condições do edifício, consulte Noções básicas sobre as condições do edifício.
Campos condicionais
Os campos condicionais são criados por meio da configuração de condições lógicas que usam outros campos para determinar como o campo é criado. Adicione um campo condicional no menu de três pontos à direita dos campos de origem. Para obter mais informações sobre as condições do edifício, consulte Noções básicas sobre as condições do edifício.
CAMPO CONDICIONAL
Um campo condicional cria um novo campo com base em uma única condição lógica.
Exemplo: Digamos que você queira criar um campo para “Consentimento” ou “Não consentimento” com base em como os questionados respondem à pergunta: “Você concorda em responder a este pesquisa?” Você pode criar um campo condicional com a lógica: Se “Yes” for selecionado, então o valor será “Consenter”.
CAMPO CONDICIONAL AVANÇADO
Um campo condicional avançado cria um novo campo com base em várias condições lógicas ou conjuntos de condição.
Exemplo: Digamos que você queira criar um campo para “Promotores” ou “Detratores” com base em como os entrevistados respondem à sua pergunta de satisfação de 10 pontos. Crie um campo condicional avançado com a lógica: Se Q2 for “maior que ou igual a 8”, o valor será “Promotor”, mas se Q2 for “menor que ou igual a 5”, o valor será “Detrator”.
Arquivo e Relatórios transformados
A tarefa Transformação básica gera o arquivo transformado junto com dois relatórios para ajudá-lo a entender o conjunto de dados transformado. Na guia Histórico de execução do editor de Fluxo de trabalho, clique na tarefa Transformação básica na execução fluxo de trabalho para ver os arquivos no lado direito. Esses arquivos podem ser exportados clicando no ícone de download à sua direita.
- Relatório de transformação: Todas as transformações que foram executadas nos registros do arquivo de origem e outros detalhes, como nome, número da linha, status, motivo da falha e outros.
- Arquivo transformado: o resultado da transformação de dados que contém o novo conjunto de dados com todas as transformações e validações aplicadas.
- Relatório Validação: Relatório de todas as validações realizadas, incluindo se o registro foi excluído e a validação em que ele falhou.
Solução de problemas
- Limites de tamanho de arquivo: Se o arquivo produzido pela tarefa transformação básica for maior que 1 GB, o fluxo de trabalho falhará.
- Transformações que aumentam o tamanho dos arquivos: Dependendo de como você opta por transformar seus dados, a tarefa de transformação básica pode adicionar mais dados ao seu arquivo. Se o arquivo que você está extraindo já estiver próximo do limite de 1 GB, lembre-se de que suas transformações podem tornar o arquivo muito grande para ser processado.
- Campos pesquisa ausentes: Você pode notar um campo pesquisa ausente se o seu ETL começar com uma tarefa Extrair respostas de uma pesquisa antes da tarefa Transformação básica. Isso ocorre porque, se você adicionar novos campos ao pesquisa, precisará salvar a tarefa de extração novamente e, em seguida, adicionar o campo à tarefa transformação. Para resolver isso
- Abra a tarefa Extrair respostas de uma pesquisa.
- Em Pesquisa columns (Colunas de pesquisa ), selecione seu novo campo. (Se você tiver selecionado “download all fields” (baixar todos os campos), pule para a avançar etapa, onde você salva a tarefa)
- Salve sua tarefa com todas as outras configurações iguais.
- Abra sua tarefa de transformação básica.
- O campo deve se recuperar.
- Certifique-se de verificar também tarefa do carregador de dados para ter certeza de que esse novo campo está incluído.
- “EOF inesperadamente atingido:” Ao examinar o histórico de execução do seu fluxo de trabalho, você pode ver uma mensagem que diz: “EOF unexpectedly hit when reading file. Adicione dados ao arquivo ou remova-os da fonte de dados.” Nesse caso, recomendamos que você configure seu fluxo de trabalho para repetir automaticamente as falhas de tarefa.
Isso é ótimo! Obrigado pelo seu feedback!
Obrigado pelo seu feedback!