Tâche de transformation de base
Contenus de cette page
À propos de la tâche de transformation de base
La tâche de transformation de base vous permet d’éditer et de valider vos données brutes en un document compatible et simplifié. La transformation des données peut aider à unifier automatiquement vos ensembles de données afin de les exporter dans le format que vous souhaitez envoyer à vos partenaires et à vos équipes.
Astuce : Cette tâche n’est compatible qu’avec les flux DE TRAVAIL.
Astuce : Pour plus d’informations sur les limites générales qui s’appliquent aux flux ETL, voir Limites des flux de travail. Pour toute limite spécifique à une tâche, reportez-vous aux informations figurant sur cette page.
Mise en place d’une tâche de transformation de base
Astuce: si la transformation rencontre une erreur (comme un formatage non valide pour un champ), toutes les opérations suivantes dans cette ligne seront ignorées.
Transformation des données
Les opérations de transformation disponibles pour votre champ dépendent du type de champ de destination.
Les transformations suivantes sont disponibles pour les champs de type valeur de texte, ensemble de textes et texte ouvert :
- Ajouter un préfixe: Ajouter un texte au début de chaque valeur.
- Ajouter le suffixe. Ajouter du texte à la fin de chaque valeur.
- Concaténer: Combine les valeurs de plusieurs champs.
- Format case: Appliquer un format de casse (par exemple UPPERCASE) à toutes les valeurs du champ.
- Mapper la valeur: Permet de faire correspondre les valeurs d’entrée aux sorties spécifiées en fonction des correspondances, avec une valeur par défaut facultative pour les valeurs non correspondantes.
- Remplacer la valeur: Rechercher et remplacer des valeurs dans le champ.
- Diviser: Diviser le champ d’origine en plusieurs champs séparés par un délimiteur.
- Diviser par nombre de caractères: Diviser le texte en deux champs en spécifiant le nombre de caractères à partir du début ou de la fin.
- Transformation en sous-chaîne: Créer une sous-chaîne du texte dans le champ en spécifiant les indices de début et de fin.
- Valeur de découpage : Supprime les chaînes de caractères ou les espaces blancs spécifiés au début, à la fin ou aux deux extrémités du texte dans le champ.
Les transformations suivantes sont disponibles pour les champs d’un ensemble de textes à valeurs multiples :
- Ajouter un préfixe: Ajouter un texte au début de chaque valeur.
- Ajouter un suffixe: Ajouter un texte à la fin de chaque valeur.
- Concaténer: Combine les valeurs de plusieurs champs.
- Format case: Appliquer un format de casse (par exemple UPPERCASE) à toutes les valeurs du champ.
- Remplacer la valeur: Rechercher et remplacer des valeurs dans le champ.
- Diviser: Diviser le champ d’origine en plusieurs champs séparés par un délimiteur
Astuce: Les transformations sur les champs d’un ensemble de textes à valeurs multiples ne sont compatibles qu’avec les fichiers CSV, qui utilisent des virgules comme délimiteurs. Si le champ à valeurs multiples contient une virgule, il doit inclure une barre oblique inverse ( \ ) pour conserver le format correct. Par exemple, si vous avez deux champs de données contenant des virgules (par exemple, Champ de données, John et Champ de données, Jane), cela sera interprété comme 4 champs distincts auxquels des transformations seront ajoutées (par exemple, Champ de données, John, Champ de données, Jane). En ajoutant une barre oblique inverse à la virgule de chaque valeur, les données ne sont pas séparées et les transformations sont ajoutées à 2 champs (par exemple Champ de données, John et Champ de données, Jane).
Les transformations suivantes sont disponibles pour les champs de valeurs de nombres et d’ensembles de nombres :
- Valeur absolue: Obtenir la valeur absolue de chaque valeur du champ.
- Transformation par addition : Ajoutez une valeur à chaque nombre du champ ou additionnez deux champs.
- Moyenne des valeurs: Faites la moyenne des valeurs des champs sélectionnés pour chaque réponse.
- Transformation par division: Séparateur de chaque nombre du champ par une valeur ou division d’un champ par un autre.
- Transformation de la division des nombres entiers: Séparateur de chaque nombre du champ par une valeur ou division d’un champ à partir d’un autre. Ne renvoie que le nombre entier (integer).
- Maximum de valeurs : Prendre le maximum des valeurs dans les champs sélectionnés pour chaque réponse.
- Médiane des valeurs: Prendre la médiane des valeurs dans les champs sélectionnés pour chaque réponse.
- Minimum de valeurs: Prendre le minimum des valeurs dans les champs sélectionnés pour chaque réponse.
- Transformation par multiplication: Multiplier une valeur à chaque nombre du champ ou multiplier deux champs ensemble.
- Arrondir la valeur: Arrondir toutes les valeurs du champ vers le haut ou vers le bas.
- Transformation par soustraction: Soustraire une valeur à chaque nombre du champ ou soustraire un champ d’un autre.
- Somme des valeurs: Faites la somme des valeurs des champs sélectionnés pour chaque réponse.
Les transformations suivantes sont disponibles pour les champs de date :
- Calcul de la date: Chronomètre le temps écoulé entre la date source actuelle et une autre date.
- Transformation du jour de la semaine: Déterminer le jour de la semaine à partir de la date source actuelle.
- Chronomètre: Décalage de la date/heure avec une valeur temporelle spécifiée. Par exemple, vous pouvez indiquer la date de 5 jours après une interaction.
Astuce : lors de l’utilisation du décalage, 1 jour dans le futur et 1 jour dans le passé sont tous deux considérés comme étant aujourd’hui.
Astuce : Notre système utilise le fuseau horaire UTC. Tous les calculs de date et les décalages seront basés sur l’UTC.
Lors de la saisie d’un format de date/heure personnalisé, voici les options de formatage :
- Année : aaa, aaa
- Mois : M, MM, MMM, MMMM
- Jour: d, dd
- Jour de l’année: JJD
- Heure de la demi-journée : K, KK
- Heure du jour: HH
- Minute: m, mm
- Deuxième: s, ss
- Fraction de seconde: S, SS, SSS
- Décalage du fuseau horaire: ZZZZ, ZZ:ZZ (peut inclure +/-)
- Demi-journée de la journée: a
- Jour de la semaine: E, EE
- Format du fuseau horaire: z
Astuce: Un mois est considéré comme 30 jours.
Validation des données
L’ajout de règles de validation vous permet de créer des critères et des conditions qui garantissent que les données contenues dans vos champs ont le même format. Par exemple, vous pouvez vouloir éliminer tous les enregistrements dont l’adresse électronique n’est pas valide.
RÈGLES DE VALIDATION
Vous pouvez ajouter des règles de validation pour valider de manière conditionnelle les données de votre champ. Pour plus d’informations sur les conditions de construction, voir les bases des conditions de construction.
Champs conditionnels
Les champs conditionnels sont créés en établissant des ensembles de conditions logiques qui utilisent d’autres champs pour déterminer comment le champ est créé. Ajoutez un champ conditionnel à partir du menu à trois points situé à droite des champs source. Pour plus d’informations sur les conditions de construction, voir les bases des conditions de construction.
CHAMP CONDITIONNEL
Un champ conditionnel crée un nouveau champ sur la base d’une condition logique unique.
Exemple: Supposons que vous souhaitiez créer un champ pour “Consentant” ou “Non-consentant” en fonction de la manière dont les personnes interrogées répondent à la question : ” Consentez-vous à participer à cette enquête ? ” Vous pouvez créer un champ conditionnel avec la logique : Si “Oui” est sélectionné, la valeur est “Consenter”.
CHAMP CONDITIONNEL AVANCÉ
Un champ conditionnel avancé crée un nouveau champ basé sur plusieurs conditions logiques ou ensembles de conditions.
Exemple: Supposons que vous souhaitiez créer un champ pour les “Promoteurs” ou les “Détracteurs” en fonction de la manière dont les personnes interrogées répondent à votre question de satisfaction en 10 points. Créez un champ conditionnel avancé avec la logique suivante : Si Q2 est “supérieur ou égal à 8”, la valeur est “Promoteur”, mais si Q2 est “inférieur ou égal à 5”, la valeur est “Détracteur”.
Dossier transformé et Rapports
La tâche de transformation de base génère le fichier transformé ainsi que deux rapports pour vous aider à comprendre votre ensemble de données transformé. Dans l’onglet Historique des exécutions de votre éditeur de flux de travail, cliquez sur la tâche Transformation de base dans l’exécution du flux de travail pour voir les fichiers sur la côte droite. Ces fichiers peuvent être exportés en cliquant sur l’icône de téléchargement à leur droite.
- Rapports de transformation: Toutes les transformations effectuées sur les enregistrements du fichier source et d’autres détails tels que le nom, le numéro de ligne, le statut, la raison de l’échec, etc.
- Fichier transformé: Le résultat de la transformation des données contenant le nouvel ensemble de données avec toutes les transformations et validations appliquées.
- Rapport de validation: Rapports sur les validations effectuées, indiquant si l’enregistrement a été exclu et la validation à laquelle il a échoué.
Résolution des problèmes
- Limites de taille de fichier : Si le fichier produit par la tâche de transformation de base est supérieur à 1 Go, le flux de travail échouera.
- Les transformations augmentent la taille des fichiers : Selon la manière dont vous choisissez de transformer vos données, la tâche de transformation de base peut ajouter davantage de données à votre fichier. Si le fichier que vous extrayez est déjà proche de la limite de 1 Go, n’oubliez pas que vos transformations peuvent rendre votre fichier trop volumineux pour être traité.
- Champs d’enquête manquants : Vous pouvez remarquer un champ d’enquête manquant si votre ETL commence par une tâche Extraire les réponses d’une enquête avant la tâche Transformation de base. En effet, si vous ajoutez de nouveaux champs à votre enquête, vous devez enregistrer à nouveau votre tâche d’extraction, puis ajouter le champ à votre tâche de transformation. Pour résoudre ce problème
- Ouvrez la tâche Extraire les réponses d’une enquête.
- Sous Colonnes d’enquête, sélectionnez votre nouveau champ. (Si vous avez sélectionné “télécharger tous les champs”, passez à l’étape suivante, où vous enregistrez votre tâche)
- Sauvegardez votre tâche en conservant les mêmes paramètres.
- Ouvrez votre tâche de transformation de base.
- Le champ devrait s’en sortir.
- Veillez également à vérifier votre tâche de chargement de données pour vous assurer que ce nouveau champ est inclus.
- “EOF unexpectedly hit :” En consultant l’Historique des exécutions de votre Flux de travail, il se peut que vous voyiez un message du type “EOF unexpectedly hit when reading file”. Ajouter des informations au fichier ou les retirer de la source de données.” Dans ce cas, nous vous recommandons de veiller à ce que votre flux de travail soit configuré de manière à ce que les échecs des tâches soient automatiquement retentés.
C'est génial! Merci pour votre avis!
Merci pour votre avis!