IFP Energies nouvelles (IFPEN) est un acteur majeur de la recherche et de la formation dans les domaines de l’énergie, du transport et de l’environnement. De la recherche à l’industrie, l’innovation technologique est au cœur de son action, articulée autour de trois priorités stratégiques : mobilité durable, énergies nouvelles et hydrocarbures responsables.
Dans le cadre de la mission d’intérêt général confiée par les pouvoirs publics, IFPEN concentre ses efforts sur :
Partie intégrante d’IFPEN, l’école d’ingénieurs IFP School prépare les générations futures à relever ces défis.
Evaluation des technologies Rasdaman et Dask sur un cluster Hadoop pour développer des fonctionnalités interactives de traitement d’images tomographiques 3D de grande taille
Contexte
Dans le cadre de sa transformation digitale, l’IFPEN, organisme de recherche sur les énergies et l'environnement, a une intense activité de recherche dans le domaine du BigData afin de mieux valoriser les données collectés dans ses différents métiers autour de la science des matériaux, de la caractérisation des roches et des milieux poreux.
Dans ce contexte, le traitement 3D d’images tomographiques acquises à différentes énergies est devenu une activité clé dans la compréhension des phénomènes physiques étudiés par ces métiers.
Dans ce cadre IFPEN évalue les technologies émergentes du BigData pour maitriser sa chaîne globale de traitement : du stockage et de la gestion des gros volumes de données (notamment de type image) jusqu’à leur visualisation interactive en développant à chaque étape de nouvelles fonctionnalités performantes et en mettant à disposition des workflows métiers spécifiques
Objectifs
Le travail proposé consistera à développer et valider une infrastructure logicielle basée sur des outils autour de la base de donnée Rasdaman et du moteur parallèle de traitement des données en python Dask.
Il s’agira pour cela de développer des fonctionnalités interactives de traitements d’images 3D stockées dans une base de donnée Rasdaman et d’améliorer leur performance avec la technologie Dask.
Ces traitements auront pour vocation d’être exécutés soit en local sur une station de travail soit en déporté sur un cluster de données de type Hadoop-Yarn.
Profil recherché
Élève Master 1 ou Ingénieur en 2ème année d'école, option informatique.