DE Expertise · mandat de 3 mois et plus
Data Engineering & Evidence Architecture
Rendez chaque décision data reconstructible, de la source jusqu’au tableau de bord.
Transformer des données dispersées en décisions traçables et réutilisables.
Toutes les preuves de cette page indiquent leur niveau de provenance, limites comprises. Voir les preuves
Le moment où ça devient un sujet
Vous reconnaissez l’un de ces moments, ou ce n’est pas encore le sujet.
Ce sont des situations datables, pas des symptômes généraux. Si aucune ne vous parle, cette page peut se refermer ici.
-
Deux tableaux de bord affichent deux chiffres différents pour la même question, et le comité tranche à la voix.
-
Une donnée est corrigée en base sans que rien n’enregistre qui l’a corrigée, ni pourquoi.
-
Un audit demande d’où vient un chiffre publié il y a six mois. Le pipeline a changé trois fois depuis.
-
Le rapport mensuel dépend d’un script sur le poste d’une seule personne.
Aucune de ces situations n’est urgente en soi. Chacune le devient à une date connue d’avance.
Ce que ça coûte si rien ne change
Trois blocages, et le contournement qui ne les réduit pas.
Chaque blocage reçoit une réponse plus bas — dans les offres, le déroulé ou les engagements. Aucun n’est laissé ouvert.
Le chiffre n’a pas de provenance
Une valeur affichée ne porte ni sa source, ni sa date d’extraction, ni la version de la règle qui l’a produite. Elle ne peut donc être ni défendue, ni reproduite, ni corrigée avec certitude.
Le contournement habituel, et sa limite
Documenter le pipeline dans un wiki ne suffit pas : le wiki et le code divergent dès la première correction urgente.1
La qualité est un contrôle a posteriori
Les anomalies sont trouvées par ceux qui lisent le rapport, pas par le système qui l’a produit. Le coût de la correction est payé en confiance, pas en heures.2
Le contournement habituel, et sa limite
Ajouter des alertes sur les volumes détecte la panne, pas l’erreur silencieuse — celle qui produit un chiffre plausible et faux.
La reprise dépend d’une personne
Rejouer un traitement demande de savoir quel ordre, quels paramètres et quelles corrections manuelles ont été appliqués. Cette connaissance est dans une tête.
Le contournement habituel, et sa limite
Un ordonnanceur qui relance la tâche ne restitue pas l’état : il rejoue le code d’aujourd’hui sur les données d’hier.3
Pour qui, et sous quelle pression
Le décideur qui achète ce mandat, et ce qui pèse sur lui.
Head of Data / Lead Data Engineer
Julien Rocher
Aujourd’hui
Deux tableaux de bord donnent deux chiffres pour la même question, et le comité tranche à la voix.
Après le mandat
Un indicateur qui porte sa source et la version de sa règle, et une équipe qui répond « d’où vient ce chiffre » en ouvrant un lien.
Un avatar de décision sert à clarifier le problème et le résultat attendu. Il reste à valider avec vos entretiens et les comportements que vous observez. Les avatars, en entier
Avant de réserver quoi que ce soit
Quatre conditions d’entrée, quatre motifs de refus.
Elles sont écrites ici plutôt que découvertes au devis. La colonne de droite a le même poids que celle de gauche.
C’est le bon mandat si
- Une décision réelle est en jeu : une promotion en production, un audit, un renouvellement, un lancement ou un remplacement de système.
- Un sponsor nommé peut arbitrer le périmètre et signer la recette.
- L’accès aux systèmes, aux données ou aux documents nécessaires est possible sous NDA dans les trois premières semaines.
- Des données existent déjà et servent à décider — la question est leur défendabilité, pas leur collecte.
Ce n’est pas le bon mandat si
- Vous cherchez un panorama de tendances ou une veille : le format court de la clinique de décision coûte moins cher et répond mieux.
- Le résultat attendu dépend d’une signature réglementaire que seul un rôle statutaire de votre organisation peut porter.
- Aucun accès aux preuves n’est possible : sans données, sans journaux et sans documents, il n’y a rien à rendre défendable.
- Vous cherchez une plateforme data clé en main à opérer pour vous : la mission construit et transfère, elle n’exploite pas.
Un « non » dit à cette étape coûte vingt minutes. Dit après le devis, il coûte un trimestre à tout le monde.
L’état d’arrivée
Ce que le mandat déplace.
des données dispersées dont on discute la fiabilité
des décisions traçables jusqu’à leur source, rejouables et réutilisables
L’état d’arrivée n’est pas un entrepôt de plus. C’est la capacité à répondre « d’où vient ce chiffre » en ouvrant un lien, pas en ouvrant une enquête.
Axe par axe, avant et après
Trois axes, et ce qui change sur chacun.
Un axe par ligne, comparé des deux côtés. Une colonne de frustrations face à une colonne de fonctionnalités ne serait pas une comparaison.
Provenance d’un chiffre
Aujourd’hui
Reconstituée à la demande, par entretien
Après
Portée par la donnée : source, version de règle, date
Détection d’anomalie
Aujourd’hui
Par le lecteur du rapport
Après
Par des contrôles versionnés, avant publication
Rejeu d’un traitement
Aujourd’hui
Dépend d’une personne et de sa mémoire
Après
Déterministe : mêmes entrées, même sortie, journal à l’appui
Ce qui est visé, et de quel type
Deux critères de recette, un exemple déjà construit, aucun résultat observé.
Chaque ligne indique son statut : critère de recette, estimation modélisée, ou exemple déjà construit.
-
Visé — critère de recette
Tout indicateur publié porte sa source et la version de sa règle
Critère de recette du socle de lignage.
-
Visé — critère de recette
Aucune publication sans passage des contrôles qualité
Porte appliquée par le pipeline, pas par une relecture.
-
Exemple — déjà construit
Registres append-only et invariants transactionnels en production interne
Architecture de ce site et de sa chaîne de preuve, publique et vérifiable.
Aucun de ces résultats n’est présenté comme mesuré chez un client : les métriques de production sont sous NDA sur chaque mandat. Reste la question qui suit — sur quoi ces engagements reposent-ils ?
Ce sur quoi ça repose, et ce que ça ne prouve pas
Des preuves proportionnées à la promesse.
Architecture de systèmes data intensifs, registres append-only, provenance et invariants transactionnels.
Projet public original
Folder Mapper (Rust · SQLite)
Traversée de système de fichiers et persistance SQLite. 7 commits sur 7 attribués à RickOwri. • Capability demonstrated : Source — inventaire reproductible avec provenance et version de chaque fichier.
Examiner la preuveProjet public
AI/RAG Experiment Portfolio — crawler Scrapy
Extraction structurée et routeur LangChain, pièces d’un pipeline data alimentant la récupération. • Capability demonstrated : Transformation — extraction et routage reproductibles alimentant la récupération.
Examiner la preuveParcours régulé
Structuration de données cliniques et biologiques
7+ ans d’opérations santé : collecte, normalisation et contrôle qualité sous contrainte de traçabilité. • Capability demonstrated : Provenance — traçabilité exigée appliquée à la collecte et normalisation clinique.
Manquant
Pipeline de production sous NDA
La métrologie de données de production et la disponibilité des pipelines clients sont décrites au niveau architecture sous NDA. Aucune métrique de production n’est publiable tant que le mandat client n’est pas clos.
Sources & méthodes 3 placements · 3 unités de preuve
Chaque marqueur numéroté renvoie à une observation bornée : ce qui a été mesuré, sur quelle population, sur quelle période, et ce que le chiffre n’établit pas. Une affirmation qui ne peut pas être adossée à une de ces unités perd son marqueur — elle n’est pas rattachée à une source plus vague.
-
Le modèle PROV du W3C formalise les concepts de version, de dérivation et de reproductibilité d’une donnée.
Famille de spécifications techniques du W3C ; ce n’est pas un échantillon. 2013
Ce que ce texte n’exige pas Le modèle supporte les concepts de version, de dérivation et de reproductibilité ; aucun gain business chiffré n’est revendiqué.
PROV-Overview — an overview of the PROV family of documents · World Wide Web Consortium, 2013
-
L’intégration et l’ingestion représentaient 47 % des questions de développeurs dans l’échantillon étudié.
Échantillon défini par l’étude sur la qualité des pipelines de données. 2023
Ce que ce chiffre n’établit pas Échantillon de l’étude uniquement ; aucune inférence d’efficacité de service.
Foidl et al., data pipeline quality · arXiv:2309.07067, 2023
-
Les difficultés observées dans 1 000 publications Apache Airflow échantillonnées se répartissent en sept catégories de premier niveau.
1 000 publications échantillonnées parmi 9 591 questions Apache Airflow. 2024
Ce que ce chiffre n’établit pas Taxonomie d’un écosystème d’orchestration ; pas de généralisation à toutes les plateformes data.
Yasmin et al., developers’ challenges in workflows as code · arXiv:2406.00180, 2024
Chaque élément indique sa nature et son niveau de provenance. Les limites sont affichées au même titre que les réalisations. Le registre complet des projets et de leur provenance
Évaluer la missionCe qui est dedans, ce qui n’y est pas
Le périmètre, ses exclusions et ses dépendances.
Dans le périmètre
- Modélisation, ingestion, transformation et contrôles qualité.
- Lignage, provenance et APIs auditables.
- Reprise, rejeu et gestion des corrections.
Hors périmètre, explicitement
- Administration de bases de données en production.
- Choix d’un éditeur ou négociation de licence.
- Conformité RGPD : je fournis les contrôles techniques, votre DPO qualifie.
Ce qui dépend de vous
- Un sponsor joignable qui tranche un arbitrage de périmètre en moins d’une semaine.
- L’accès aux systèmes, journaux ou documents concernés, sous NDA.
- Une ou deux personnes de votre équipe disponibles pour la phase de passation — sans elles, le mandat produit une dépendance au lieu d’une capacité.
Format 3–9 mois · data backbone · architecture et implémentation
Le déroulé, et où l’on peut s’arrêter
Quatre phases, quatre sorties possibles.
Chaque phase se termine par un artefact et une décision. Vous pouvez vous arrêter à la fin de n’importe laquelle avec quelque chose entre les mains.
-
Inventaire
Ce qui alimente réellement les décisions, et ce qui alimente seulement des écrans.
Sortie de phase Carte des flux et des ruptures de provenance.
-
Socle
Modèle, ingestion et transformations sous contrôle de source.
Sortie de phase Pipeline reproductible.
-
Contrôles
Les règles de qualité deviennent exécutables et bloquantes.
Sortie de phase Jeu de contrôles et porte de publication.
-
Passation
Votre équipe ajoute une source et un contrôle, seule.
Sortie de phase Runbook et procédure de reprise.
Les blocs de travail
Quatre blocs, activables séparément et dans n’importe quel ordre.
Modélisation
Entités, clés, historisation, et la règle de gestion écrite à côté.
Ingestion
Sources, fréquences, idempotence, gestion des reprises.
Contrôle qualité
Règles exécutables, seuils, blocage, file d’exceptions.
Lignage
Provenance de bout en bout, interrogeable depuis l’indicateur.
Un bloc que vous tenez déjà sort du périmètre et du devis. C’est la première chose qu’on regarde à l’appel de qualification.
Ce qui est garanti, et ce qui ne peut pas l’être
Ce qui est garanti est le produit de travail, jamais le résultat d’une autorité.
Périmètre écrit avant facturation
Le périmètre, les exclusions, les dépendances et les critères de recette sont écrits et acceptés avant le premier jour facturé. Un changement de périmètre est un avenant, pas une surprise en fin de mission.
Livrables complets ou repris
Un livrable qui ne satisfait pas ses critères de recette est repris jusqu’à ce qu’il les satisfasse, sans facturation supplémentaire. Les critères sont écrits avant de produire, pas après.
Réversibilité à la sortie
Code, données, schémas, décisions et journaux vous appartiennent et partent avec vous. Aucun composant propriétaire, aucune licence, aucun hébergement dont dépendrait la suite du travail.
Frontière de confidentialité
Tout livrable ou exercice qui manipule vos données porte une classification et une règle explicite : autorisé, anonymisé, synthétique ou interdit. La règle est écrite avant la manipulation, pas constatée après.
Frontière de décision humaine
Chaque cas traité indique où l’assistance automatique s’arrête et où une validation humaine est obligatoire. Un système qui décide sans que la limite soit écrite n’est pas livré.
Noyau neutre vis-à-vis des outils
Objectifs, critères de recette et preuves sont écrits indépendamment d’un fournisseur ou d’un modèle donné. Un changement d’outil est un avenant, jamais une reprise à zéro de l’investissement.
Ce qui n’est pas garanti, et ne peut pas l’être honnêtement
- La qualité des données sources n’est pas garantie : elle est mesurée, et ses défauts deviennent visibles avant publication.
- Aucune garantie de performance sur une infrastructure que je ne dimensionne pas.
Les conditions contractuelles complètes — acompte, préavis, propriété intellectuelle, confidentialité — sont publiées et ne sont pas reformulées ici. Lire les conditions
Ce qui reste à lever
Quatre questions, avec la réponse et sa raison.
Les questions qui changent le périmètre, le prix ou la responsabilité sont déjà répondues plus haut. Ici, le reste.
Faut-il changer d’entrepôt ou d’outil ?
Presque jamais. Le lignage, les contrôles et la provenance se posent sur l’outil en place. Un changement n’est proposé que si l’outil rend l’un des trois impossible, et il est alors chiffré séparément.
Combien de sources peut-on traiter dans une mission ?
Le socle est construit sur deux ou trois sources représentatives, puis votre équipe ajoute les suivantes. Une mission qui absorbe vingt sources produit une dépendance, pas une capacité.
Et si nos règles métier ne sont écrites nulle part ?
C’est le cas courant, et c’est une part du travail : les règles sont extraites du code et des entretiens, écrites, puis validées par le métier avant d’être implémentées.
Le lignage ralentit-il les traitements ?
Marginalement, et c’est mesuré avant/après. La provenance est écrite au fil de l’eau, pas recalculée : le coût est en stockage, pas en temps de traitement.
La prochaine étape, en entier
Évaluer la mission en 20 minutes
Le premier échange sert à décider s’il y a un mandat, pas à le vendre. S’il n’y en a pas, vous repartez avec la raison.
- 20 minutes, en visio ou au téléphone.
- Vous, le sponsor si ce n’est pas vous, et moi. Pas de commercial : il n’y en a pas.
- On y regarde le contexte, la décision en jeu, le niveau de risque et les preuves accessibles.
- Vous repartez avec un avis fit / no-fit motivé et, si c’est fit, le périmètre et la fourchette de la première étape.
Le bon format d’intervention, avant le premier rendez-vous.
Décrivez la décision à prendre — pas votre budget. Vous repartez avec le format d’intervention adapté et les ressources qui y mènent.
Cette expertise appliquée à votre cas : quatre écrans, une lecture gratuite, et l’offre qu’elle désigne.
Preuve