Quand on parle d’architecture data, on peut vite se perdre tant les terminologies sont nombreuses: Medallion, OLAP, OLTP, deltalake, etc.. Pourtant, un modèle transactionnel, un entrepôt analytique et un lakehouse hybride répondent à des usages radicalement différents. Voici un tour d’horizon 👇 🔹 OLTP (OnLine Transaction Processing) 👉 Usage : applications web & mobiles, CRM, […]
Maîtriser la modern data stack ne peut se faire uniquement par des certifications ou des tutos. Rien ne vaut un vrai projet personnel, surtout lorsqu’on souhaite progresser en tant qu’analytics engineer ou data engineer. Bonne nouvelle : on peut tout faire gratuitement avec le généreux Free Tier que propose notamment GCP (même après la période
Construire un datamart pour la sécurité financière, la conformité ou le KYC, c’est comme jouer à Tetris avec des pièces invisibles. 🎯 Les directions veulent souvent : Et dans la vraie vie ?🧨 Tu te retrouves avec 3 sources hétérogènes, un modèle « en l’état » livré par l’IT, et 4 métiers qui ne sont pas d’accord
La dette technique SQL, on la connaît tous : 🎯 L’objectif ? Basculer progressivement ce spaghetti SQL dans une architecture claire, modulaire et gouvernée avec un outil moderne, comme par exemple dbt. 🧭 Étape 1 – Comprendre le legacy Avant de toucher à une ligne de code : 📌 Astuce : un petit EXPLAIN bien
Avec l’émergence du rôle d’Analytics Engineer, la data entre dans le monde du Software Engineering : versioning, testing, documentation, déploiement automatisé… bref, du CI/CD 🛠️ Et la bonne nouvelle ?Des outils comme dbt (core ou cloud) ou SQLMesh nous facilite cette transition. 🔁 Pourquoi faire du CI/CD dans la data ? ✅ Fiabiliser les transformations
💡 Gagner en efficacité avec l’update incrémental dans Dataiku : un incontournable en production ! Quand on manipule des volumétries importantes dans Dataiku, le chargement des tables sources peut vite devenir un goulot d’étranglement à chaque exécution de pipeline. Résultat : des temps de traitements qui augmentent de jours en jours, une charge sur l’infra,
Si tu utilises Tableau, tu as probablement déjà croisé le terme LOD (Level of Detail) sans trop savoir comment l’exploiter. Pourtant, bien maîtrisé, le LOD permet d’avoir plus de contrôle sur l’agrégation des données et d’optimiser tes visualisations BI. 🔥 🔎 Pourquoi utiliser le LOD ?Par défaut, Tableau agrège les données selon les dimensions présentes
🧩 La couche de virtualisation, ce chaînon manquant dans les architectures data modernes ? Dans un monde où les architectures data évoluent vers plus de fédération (data mesh), de maillage intelligent (data fabric) ou d’autonomie des consommateurs (data marketplace/catalog, etc)… une technologie discrète tire son épingle du jeu : la virtualisation des données. ⚙️ Mais
🔍 Data Mesh vs Data Fabric : deux buzzwords… ou deux visions complémentaires ? Aujourd’hui, quand on parle d’architectures data modernes, deux approches reviennent en boucle :➡️ Le Data Mesh➡️ Le Data Fabric Et bien que ces deux concepts soient parfois mis en opposition, ils répondent à des problèmes différents, avec des philosophies différentes. Voici
Vous avez déjà lancé une requête SQL sur un gros dataset pourtant partitionné… et attendu… longtemps ?C’est là qu’intervient une technique aussi simple qu’efficace : le partition pruning 🔥 🎯 Mais c’est quoi exactement ?Quand vous partitionnez une table (par date, par pays, etc.), le moteur de base peut — s’il est bien guidé —
