200 sources lues. 5 gardées.
Cette semaine, deux certitudes ont explosé en vol. Un fondateur pensait son produit mort : il lisait la mauvaise ligne. Un dev pensait sa faille colmatée : son test mentait. Le point commun : on mesure ce qui rassure, pas ce qui compte. Voilà ce qu'on garde.
Le fait Un développeur maintient llm-council, un outil CLI qui soumet une question à plusieurs modèles et les fait se noter mutuellement. Le 26 juillet, il pointe l'outil sur son propre repo. Résultat : une faille d'injection de prompt - que son test unitaire couvrait déjà. Le test passait. La faille existait. Pourquoi : les délimiteurs de "fence" étaient des chaînes fixes, publiées dans le repo public. N'importe quel modèle entraîné sur ce code pouvait les reproduire et injecter des instructions. (https://dev.to/mk023/i-wrote-a-test-for-prompt-injection-it-passed-while-the-attack-worked-kc9)
Et alors, lundi matin Si tu chaînes des modèles, la sortie de l'un devient l'entrée de l'autre. C'est OWASP LLM01 dans sa forme la plus simple. Tes délimiteurs ne doivent jamais être prédictibles. Et un test vert ne prouve rien si le test lui-même est contournable.
ON ACHÈTE - à condition de revoir tes propres fences.
Le fait Un dev a arrêté de croire les "98% de précision" affichés par les vendors. Sa méthode : prendre 20 PRs déjà mergées avec de vrais commentaires humains, faire tourner l'outil, classer chaque flag en trois catégories : Real (trouvaille utile), Noise (pinaillage ignorable), Wrong (conseil dangereux). Le seul chiffre qui compte : le bad-advice rate - le ratio de flags qui introduiraient un bug si on les suivait. (https://dev.to/cole_halton_42f71d71b809b/how-i-actually-eval-ai-code-review-tools-no-vendor-numbers-621)
Et alors, lundi matin Avant de payer un outil de review IA, fais-le tourner sur tes propres PRs. Un outil qui détecte une race condition mais propose un fix pire a une valeur négative. 30 minutes de test manuel battent 3 mois d'abonnement inutile.
ON ACHÈTE - la méthode, pas l'outil.
Le fait Un développeur a construit mcptoon, un client MCP (Model Context Protocol) en Python pur. Zéro dépendances tierces. 250 KB. 486 tests. Le déclencheur : l'incident de sécurité uv - une vulnérabilité supply chain dans une dépendance transitive a touché des milliers de projets. Son constat : "Combien de dépendances ai-je auditées l'an dernier ? Zéro." Autre chiffre : 255 outils MCP = ~91K tokens de JSON injectés dans ta fenêtre de contexte avant même de travailler. (https://dev.to/mcptokensaver/zero-dependencies-250kb-486-tests-what-i-learned-building-an-mcp-client-439i)
Et alors, lundi matin Chaque dépendance est une surface d'attaque que tu n'audites pas. Et 91K tokens de schémas JSON, c'est du budget contexte brûlé avant que ton agent fasse quoi que ce soit. Le minimalisme n'est pas de l'élégance - c'est de la survie.
ON ATTEND - trop technique pour la plupart, mais le signal supply chain est réel.
Le fait Le 13 août, un stack d'observabilité auto-hébergé (Prometheus, Grafana, OpenTelemetry) a cessé d'écrire sur disque. Erreur "no space left on device", 60 fois par heure. Pendant des heures. Pourtant : la page de statut publique affichait des chiffres corrects. Les health checks HTTP étaient verts. Grafana dessinait des graphes. Pourquoi : Prometheus répond aux requêtes depuis le head block en mémoire. De l'extérieur, une base qui n'a rien persisté depuis des heures est indistinguable d'une base saine. (https://dev.to/mk023/the-alarm-wasnt-silent-it-was-lying-iam)
Et alors, lundi matin Tes dashboards mesurent ce qui va bien, pas ce qui casse. Un health check HTTP qui répond 200 ne prouve pas que tes données sont écrites. Si ton monitoring ne surveille pas sa propre capacité à persister, tu pilotes à l'aveugle.
ON ACHÈTE - vérifie tes propres sondes.
Le fait Un solo founder a construit Katto, un outil IA qui transforme des vidéos longues en clips verticaux. Pré-lancement, zéro budget pub. Un mardi matin, il fixe son dashboard en temps réel, convaincu que tout s'effondre. Puis il lit vraiment les données : 129 users, 58 dans les 7 derniers jours, 100% organique. Ce n'est pas un produit mort. Le vrai problème était ailleurs : 6 jobs sur 10 échouaient. Moitié à cause du mur anti-bot YouTube, moitié à cause de vidéos trop longues pour le plan gratuit. (https://dev.to/anthony_builds/i-built-a-saas-then-i-asked-chatgpt-to-recommend-it-it-had-never-heard-of-me-1dfc)
Et alors, lundi matin Arrête de fixer le compteur temps réel. Lis la tendance. Et quand tu as du trafic mais pas de conversion, cherche les fuites avant de blâmer la distribution. Le mur anti-bot YouTube et les limites de plan sont des problèmes connus - traite-les comme du code, pas comme de la malchance.
TROP TÔT - le produit existe, la distribution non.
Tout le monde s'excite sur les benchmarks des outils de code review IA. Voilà ce que personne ne te dit.
C'EST DU BRUIT - jusqu'à ce que tu le prouves toi-même.
Slot maison, on le dit.
Tu lis 200 sources par semaine. Ton équipe en écrit 0. On inverse ça : un système de contenu qui tourne pendant que tu bosses. Pas de la production en vrac - du contenu qui filtre, qui traduit, qui assume. Le même standard que cette newsletter, appliqué à ta boîte.
Tu utilises un outil de code review IA en prod ?
Résultats d'hier : "Tu audites tes dépendances tierces ?" - Jamais (61%) / Parfois (28%) / Systématiquement (11%). Le 11% ment ou n'a pas de dépendances.
On se retrouve demain. D'ici là, vérifie que tes tests testent vraiment ce qu'ils prétendent tester.
— Jeremy
PS : Tu vends un outil qui aide les agences à bosser mieux ? Waitlist partenaires ouverte. Réponds à ce mail.