Recherche appliquée en intelligence artificielle

Cent à trois cents cas réels, tirés de vos propres documents, avec la réponse attendue écrite à la main. C'est long, c'est ingrat, et c'est la seule chose qui rende la suite discutable. Sans ce jeu, toute comparaison entre deux approches se réduit à une impression et à la confiance qu'on accorde à celui qui la formule.

Ce jeu vous reste. Il sert à la décision initiale, puis à chaque évolution du modèle, et il vous permet de vérifier un fournisseur suivant sans repartir de zéro.

• Cas réels tirés de vos documents, pas d'exemples fabriqués
• Réponse attendue rédigée avec vos experts métier
• Cas difficiles et cas pièges inclus délibérément
• Jeu livré et réutilisable sans nous

Nous mettons en concurrence la mise en contexte simple, la recherche documentaire augmentée, la spécialisation d'un modèle ouvert et l'appel à un modèle propriétaire. Pour chacune, nous mesurons la justesse sur le jeu d'évaluation, le coût par appel, la latence et le taux d'erreurs coûteuses.

Le résultat tient en un tableau et une recommandation. Il arrive qu'il conclue qu'aucune approche ne justifie le projet, et nous le disons avant d'avoir engagé un développement.

• Quatre familles d'approches mises en concurrence
• Justesse, coût par appel, latence, taux d'erreurs coûteuses
• Modèles ouverts exécutés sur notre infrastructure, en Suisse
• Rapport écrit, chiffré, remis quelle que soit la conclusion

Quand la conclusion est favorable, la mise en production réutilise le jeu d'évaluation comme test de non-régression. Chaque changement de modèle, de fournisseur ou d'invite est mesuré avant d'être déployé. C'est ce qui évite la dérive silencieuse, ce moment où un système continue de tourner en produisant des résultats moins bons sans que personne ne s'en aperçoive.

• Jeu d'évaluation converti en test de non-régression
• Mesure avant chaque changement de modèle ou de fournisseur
• Suivi de la dérive dans la durée
• Réversibilité assumée : revenir en arrière reste possible