02 • 34 • 09 • 31 • 70
Objectif : Apprendre à construire un flux simple d'extraction, de transformation et d'envoi de données (ETL) sur Boomi.
Scénario exemple : Récupérer un fichier CSV (Clients) depuis un dossier local, transformer le format, et le déposer dans un autre dossier.
Les prérequis essentiels
Avant de commencer, assurez-vous d'avoir :
- Un accès à la plateforme Boomi AtomSphere.
- Un Atom local installé ou l'accès à un Atom Cloud de test (installation en local en 3.B.)
- L'onglet "Build" ouvert
Concepts clés à connaître
- Process (Processus) : Le flux graphique qui contient votre logique
- Shape (Forme) : Les icônes que vous déposez sur le canevas (Start, Map, Stop, Connector...) pour créer votre process. Se nomme également Step
- Component (Composant) : Les objets réutilisables configurés dans les formes (ex: une Connexion à une base de données, un Profil XML)
Préparation et installation de l’environnement
Avant de construire votre premier processus Boomi, nous devons préparer le "moteur" (l'Atom) et les "tuyaux" (les dossiers).
Préparation des dossiers locaux
Comme nous allons simuler un flux de fichiers sur votre ordinateur, créez une structure propre.
- Sur votre disque dur (ex: C: ou D:), créez un dossier racine nommé Boomi_Demo.
- À l'intérieur, créez deux sous-dossiers :
- IN : C'est ici que l'on déposera les fichiers à traiter.
- OUT : C'est ici que Boomi déposera le résultat.
- Action : Téléchargez ou créez le fichier clients_import.csv (voir plus bas, point 4).
Installation de votre Atom Local
L'Atom est le petit logiciel (agent) qui va s'exécuter sur votre machine pour lire vos fichiers locaux. (Le Cloud Boomi ne peut pas accéder à votre disque dur sans lui.)
- Connectez-vous à la plateforme Boomi et allez dans l'onglet Manage > Runtimee Management.
- Dans la colonne de gauche, cliquez sur + New > Basic Runtime.
- Dans "Setup Preference", choisissez Local.
- Sélectionnez votre système d'exploitation (Windows 64-bit recommandé) et cliquez sur Download Installer.
- IMPORTANT : Avant de fermer la fenêtre, cliquez sur Security Options, puis Generate Token et COPIEZ cette longue chaîne de caractères. Vous en aurez besoin pour l'installation.
- Lancez l'installateur téléchargé (atom_install64.exe) :
- Collez le Token quand il est demandé.
- Laissez les options par défaut.
- Une fois terminé, retournez sur Runtime Management : votre nouvel Atom doit apparaître avec un voyant Bleu (En ligne).
Création du composant "Connexion" (Disk v2)
Pour gagner du temps lors de la création du flux, nous allons créer l'objet "Connexion" tout de suite. Il sera réutilisable.
- Allez dans l'onglet Build.
- Cliquez sur le bouton bleu + New.
- Type : Connection.
- Connector : Disk v2.
- Name : [LOCAL] Connexion Dossier Boomi_Demo.
- Dans l'onglet de configuration qui s'ouvre :
- Directory : Copiez-collez le chemin de votre dossier racine (ex: C:\Boomi_Demo).
- Laissez les autres options par défaut.
- Cliquez sur Save and Close.
Si votre Atom n'apparaît pas en vert après l'installation, attendez 1 à 2 minutes et rafraîchissez la page. S'il reste gris ou rouge, vérifiez que le service Windows "Boomi Atom" est bien démarré sur votre PC.
Téléchargement du jeu de données
Pour réaliser ce tutoriel, nous avons préparé un fichier client fictif.
- Dans votre dossier racine Boomi_Demo, créez un dossier nommé _SOURCES.
- Ce dossier servira de "stock" pour vos fichiers de test, afin de ne pas polluer le dossier IN avant le lancement du test.
- Créez un nouveau fichier et copier les données ci-dessous.
- Enregistrez le fichier sous le nom clients_import.csv dans le dossier _SOURCES.
- Important : Ne mettez pas encore ce fichier dans le dossier IN. Nous le déplacerons manuellement au moment de tester le flux pour simuler une arrivée de données en temps réel.
ID,Prenom,Nom,Email,Pays,Statut
101,Jean,Dupont,
102,Alice,Smith,
103,Pedro,Garcia,
104,Marie,Curie,
105,John,Doe,
Un exemple de fichier JSON de sortie est également téléchargeable pour faciliter la suite de ce guide :
{
"clients": [
{
"id": 101,
"firstName": "Jean",
"lastName": "Dupont",
"fullName": "Jean Dupont",
"email": "
"country": "France",
"status": "Actif"
},
{
"id": 102,
"firstName": "Alice",
"lastName": "Smith",
"fullName": "Alice Smith",
"email": "
"country": "USA",
"status": "Actif"
}
]
}
Mon premier processus étape par étape
Étape 1 : Création du processus
- Dans la bibliothèque de composants (à gauche), cliquez sur le bouton bleu + New.
- Sélectionnez Process.
- Nommage : Donnez un nom clair. Bonne pratique => [PROJET] Source vers Destination - Entité (ex: [TUTO] Disque vers Disque - Clients).
- Choisissez un dossier de rangement et cliquez sur Create.
Étape 2 : Configuration du point de départ (Start Shape)
Le "Start Shape" est déclencheur. Pour ce test, nous allons lire un fichier.
- Cliquez sur le Start Shape (cercle déjà présent sur le process).
- Connector : Choisissez Disk v2.
- Action : Choisissez LISTEN.
- Connection : Créez-en une nouvelle (l'icône +). Indiquez le chemin du dossier sur votre ordinateur/serveur.
- Operation : Créez-en une nouvelle. Définissez le "File Filter" (ex: *.csv) pour ne lire que les bons fichiers.
Lors du clic sur l’icône "+", un nouvel onglet s’ouvrira automatiquement afin de créer une opération. Il s’agit de configurer comment le "Listener" va surveiller votre dossier :
- Sub Directory : Il est nécessaire d’indiquer le répertoire en fonction de la racine définie dans le connecteur. Ici, nous indiquons uniquement IN (le connecteur pointant déjà sur C:\Boomi_Demo, le chemin complet sera C:\Boomi_Demo\IN).
- File Name Filter & Matching Type : Nous voulons récupérer tous les fichiers CSV commençant par "clients_imports".
- Dans le filtre, nous saisissons : clients_imports*.csv.
- Dans le File Matching Type, nous sélectionnons Wildcard. Cela indique à Boomi d'interpréter l'astérisque * comme "n'importe quelle suite de caractères". (Note : L'option Exact Match aurait cherché un fichier nommé littéralement "clients_imports*.csv", ce qui ne marcherait pas).
- Déclencheurs (Events) : Nous cochons Include create events. C'est l'option standard : le processus se déclenchera automatiquement dès qu'un fichier sera déposé (créé) dans le répertoire.
- Include initial content : Nous cochons cette case par sécurité. Cela permet au processus, lorsqu'il démarre, de traiter aussi les fichiers qui seraient déjà présents dans le dossier avant le lancement du Listener (rattrapage de l'existant).
- Singleton Listener : Nous laissons cette case décochée pour un Atom simple (utilisé principalement pour les architectures en cluster "Molecule" afin d'éviter les doublons).
Étape 3 : La Transformation (Map)
C'est ici que la magie opère. Nous allons transformer les données brutes.
- Dans la palette "Steps" à gauche, glissez-déposez la forme Map sur le canevas ou cliquez sur le "+" à la suite du Start pour ajouter le step Map
- Cliquez sur "Configure" et créez une nouvelle Map via le "+" vert.
- Gauche (Source) : Créez un profil "Flat File" (CSV) correspondant à votre fichier d'entrée. Il est nécessaire d’ajouter manuellement les éléments.
- Droite (Destination) : Créez un profil (ex: XML ou JSON par exemple) correspondant au format attendu. Vous pouvez importer un profil (fichier attendu) pour faciliter la création ou créer votre attendu manuellement.
- Mapping : Tirez des traits entre les champs de gauche et ceux de droite (ex : Nom -> lastName).
Astuce : Utilisez des "Map Functions" pour modifier la donnée (ex: mettre en majuscule).
Cliquez sur l'icône + dans la forme Map pour créer une nouvelle carte de transformation.
Utilisez les boutons Choose à gauche (Source) et à droite (Destination) pour définir les formats attendus. Ici, nous sélectionnons un profil Flat File en entrée et un profil JSON en sortie. Les profils, n'existant pas, créez-les manuellement ou via import de fichier.
Pour le profil Flat File : Dans l'onglet Options du profil, cochez impérativement Use Column Headers. Cela permet à Boomi d'ignorer la première ligne d'en-tête lors du traitement (évitant ainsi l'erreur de calcul). Vérifiez également que le File Delimiter est bien réglé sur Comma Delimited pour correspondre au format CSV.
Une fois les champs affichés, reliez les éléments de la source vers la cible. Utilisez la colonne centrale Functions pour ajouter des transformations (ex: Math Add, String Concat) si la donnée brute nécessite un retraitement avant l'écriture. Dans l’exemple du mapping suivant, nous avons 3 fonctions :
- Math Add : ajoute ‘10000000’ pour passer l’ID à 8 caractères
- String To Upper : transforme le champ Nom en majuscule
- String Concat : permet de concaténer les champs Nom et Prénom sources en ayant paramétré en délimiteur ‘ ‘.
Étape 4 : La destination
PARTIE 1 : Préparer la destination (Set Properties)
Le connecteur Disk v2 a besoin qu'on lui dise "où" et "comment" écrire le fichier avant qu'il ne reçoive les données.
- Glissez-déposez une forme Set Properties sur le canevas, juste après votre Map.
- Configure
- Cliquez sur Add Property (colonne de gauche) :
- Dépliez Connectors > Disk v2.
- Sélectionnez File Name.
- Refaites la même chose pour sélectionner Directory.
- Sélectionnez la propriété File Name (à gauche) et ajoutez un paramètre (à droite) :
- Type : Static Value.
- Value : clients_export.json.
- Sélectionnez la propriété Directory (à gauche) et ajoutez un paramètre :
- Type : Static Value.
- Value : C:\Boomi_Demo\OUT (Mettez le chemin complet ici pour être sûr).
Pour définir le nom et l'emplacement du fichier de sortie :
Ajout des propriétés : Dans la colonne de gauche "Properties to Set", cliquez sur l'icône +.
Sélection de la cible : Naviguez dans l'arborescence : Document Property > Connectors > Disk v2. Ajoutez la propriété File Name, puis répétez l'opération pour ajouter Directory.
Configuration des valeurs : Une fois les propriétés listées à gauche, sélectionnez-les pour définir leurs valeurs statiques à droite (via le + bleu dans Property Value) :
- Disk v2 - File Name : clients_export.json
- Disk v2 - Directory : C:\Boomi_Demo\OUT
PARTIE 2 : Mise en place du Connecteur de destination
- Glissez-déposez une forme Connector Disk v2 après la Map.
- Configure.
- Connection : Réutilisez celle de l'étape 2 ou créez-en une pour un autre dossier.
- Action : Choisissez CREATE.
- Operation : Créez une nouvelle opération et configurez comment le fichier doit être nommé en sortie (ex: "Create unique name").
Recherchez le connecteur Disk v2 dans la palette et glissez-le à la fin de votre flux. Sélectionnez votre Connexion, réglez l'Action sur CREATE, puis cliquez sur le + vert pour configurer l'opération d'écriture.
Dans l'opération, cochez Create directory if it doesn't exist (pour éviter les erreurs si le dossier cible est manquant) et définissez le comportement en cas de doublon (ici Overwrite).
Étape 5 : Finaliser
- Ajoutez une forme Stop (rouge) à la fin du flux pour clore proprement le processus.
- Cliquez sur Save.
Voilà à quoi devrait ressembler votre flux :
Tester votre flux (Test Mode)
Ne déployez jamais sans tester !
- En haut à droite du canevas, cliquez sur le lien bleu Test.
- Sélectionnez votre Atom (le serveur qui va exécuter le test).
- Cliquez sur Run Test.
- Visualisation : Le flux va s'animer.
- Succès : Les formes deviennent vertes. Cliquez sur une forme, puis sur l'onglet "Shape Source Data" en bas pour voir les données passer à cette étape précise.
- Échec : La forme devient rouge. Cliquez dessus pour lire le message d'erreur.
Analyse du résultat : Exécution réussie : Le flux passe entièrement au vert, confirmant qu'aucune erreur n'est survenue. Dans les logs en bas de page, on peut lire le message de confirmation : "Writing to file...".
Vérification des flux : En cliquant sur la forme de fin, on valide la cohérence des données : 1 document est entré (CSV) et 1 document est sorti (JSON). Aucune donnée n'a été perdue en route.
Contrôle du fichier final : C'est la preuve ultime. Le fichier clients_export.json a bien été créé dans le dossier OUT. En l'ouvrant, on constate que les transformations ont fonctionné :
- L'ID a été incrémenté (10000101).
- Le Nom est en majuscules (DUPONT).
- Le champ "fullName" a bien été créé.
Les "Tips" de Next Decision
- Modularité : Ne recréez jamais une connexion qui existe déjà. Utilisez le bouton "Rechercher" (loupe) pour réutiliser vos composants.
- Documentation : Utilisez le champ "Label" ou "Description" dans chaque forme pour noter ce que vous faites. C'est vital pour la maintenance future.
- Couleurs : Une forme verte en mode Test signifie que le document est passé, mais vérifiez toujours le contenu des données !
Vous souhaitez bénéficier d'expertise, de développement ou de formations sur Boomi ? Contactez-nous !
