Automatisation de l'évaluation des réponses des LLMs appliquée aux données géoscientifiques

IFP Energies nouvelles (IFPEN) est un acteur majeur de la recherche et de la formation dans les domaines de l’énergie, du transport et de l’environnement. Depuis les concepts scientifiques en recherche fondamentale jusqu’aux solutions technologiques en recherche appliquée, l’innovation est au cœur de son action, articulée autour de quatre orientations stratégiques : climat, environnement et économie circulaire ; énergies renouvelables ; mobilité durable ; hydrocarbures responsables.

Dans le cadre de la mission d’intérêt général confiée par les pouvoirs publics, IFPEN concentre ses efforts sur l’apport de solutions aux défis sociétaux et industriels de l’énergie et du climat, au service de la transition écologique. Partie intégrante d’IFPEN, IFP School, son école d’ingénieurs, prépare les générations futures à relever ces défis.

Automatisation de l’évaluation des réponses des LLMs appliquée aux données géoscientifiques

Les modèles de langage (LLMs), comme GPT- 4o, révolutionnent l'exploitation de données dans des domaines complexes comme la géoscience. Cependant, évaluer la qualité des réponses générées par ces modèles reste un défi.

Un travail récent, basé sur l'intégration d’approches avancées, combinant GraphRAG et des architectures agentiques de type ReAct, a démontré des résultats significatifs en matière de compréhension et d'exploitation de documents géologiques, surpassant les approches RAG classiques.

Ce stage a pour objectif de développer des techniques permettant d'automatiser le scoring des réponses fournies par les LLMs. Une telle automatisation permettra de standardiser l'analyse des performances, de mieux comparer les approches, et de faciliter leur adoption dans des environnements professionnels exigeants, comme ceux des géosciences.

Objectifs

1. Réaliser une revue des approches actuelles pour évaluer les performances des réponses des LLMs (heuristiques, modèles de scoring supervisés, LLMs évaluateurs, etc.)
2. Définir et mettre en oeuvre un système automatisé de scoring des réponses basées sur des critères qualitatifs (précision, pertinence, complétude, etc.), en comparant plusieurs méthodes (heuristiques, apprentissage supervisé, modèles préentraînés).
3. Intégrer ce système dans un pipeline pour analyser des réponses générées par un LLM utilisant une architecture GraphRAG.
4. Tester et valider l'approche sur un corpus de documents géologiques et un ensemble de questions métiers définies par des experts du domaine.

Profil recherché

Étudiant(e) en M2 ou dernière année d’école d’ingénieur, spécialisé(e) en Intelligence Artificielle, Informatique ou Data Science.

• Compétences en traitement du langage naturel (NLP), en métriques d'évaluation de modèles et en développement de scripts ou de systèmes automatisés (Python).
• Intérêt pour les applications de l’IA à des domaines scientifiques comme les géosciences.
• Curiosité, rigueur, autonomie, et capacité à structurer et communiquer des résultats techniques.