Evaluation des technologies Rasdaman et Dask sur un cluster Hadoop pour développer des fonctionnalités interactives de traitement d'images tomographiques 3D de grande taille

IFP Energies nouvelles (IFPEN) est un acteur majeur de la recherche et de la formation dans les domaines de l’énergie, du transport et de l’environnement. De la recherche à l’industrie, l’innovation technologique est au cœur de son action, articulée autour de trois priorités stratégiques : mobilité durable, énergies nouvelles et hydrocarbures responsables.

Dans le cadre de la mission d’intérêt général confiée par les pouvoirs publics, IFPEN concentre ses efforts sur :

• l’apport de solutions aux défis sociétaux de l’énergie et du climat, en favorisant la transition vers une mobilité durable et l’émergence d’un mix énergétique plus diversifié ;
• la création de richesse et d’emplois, en soutenant l’activité économique française et européenne et la compétitivité des filières industrielles associées.

Partie intégrante d’IFPEN, l’école d’ingénieurs IFP School prépare les générations futures à relever ces défis.

Evaluation des technologies Rasdaman et Dask sur un cluster Hadoop pour développer des fonctionnalités interactives de traitement d’images tomographiques 3D de grande taille

Contexte

Dans le cadre de sa transformation digitale, l’IFPEN, organisme de recherche sur les énergies et l'environnement, a une intense activité de recherche dans le domaine du BigData afin de mieux valoriser les données collectés dans ses différents métiers autour de la science des matériaux, de la caractérisation des roches et des milieux poreux.

Dans ce contexte, le traitement 3D d’images tomographiques acquises à différentes énergies est devenu une activité clé dans la compréhension des phénomènes physiques étudiés par ces métiers.

Dans ce cadre IFPEN évalue les  technologies émergentes du BigData pour maitriser sa chaîne globale de traitement : du stockage et de la gestion des gros volumes de données (notamment de type image) jusqu’à leur visualisation interactive en développant à chaque étape de nouvelles fonctionnalités performantes et en mettant à disposition  des workflows métiers spécifiques

Objectifs

Le travail proposé consistera à développer et valider une infrastructure logicielle basée sur des outils autour de la base de donnée Rasdaman et du moteur parallèle de traitement des données en python Dask.

Il s’agira pour cela de développer des fonctionnalités interactives de traitements d’images 3D stockées dans une base de donnée Rasdaman et d’améliorer leur performance avec la technologie Dask.

Ces traitements auront pour vocation d’être exécutés soit en local sur une station de travail soit en déporté sur un cluster de données de type Hadoop-Yarn.

Profil recherché

Élève Master 1 ou Ingénieur en 2ème année d'école, option informatique.

• Intéressé par le développement informatique dans le domaine du BigData en mode distribué et du traitement d’images.
• Élève ayant une connaissance des langages de programmation de type python, java C,C++.