Les physiciens doivent stocker plusieurs PetaOctets de données produits chaque année par des accélérateurs de particules, des téléscopes, ou différents détecteurs (ondes gravitationnelles, neutrinos, rayons cosmiques, ...)
Pour répondre à ces besoins, le Centre de Calcul de l'IN2P3 (le bâtiment mystérieux en face du Nautibus) dispose d'un système de stockage de masse hiérarchique composé de plusieurs dizaines de milliers de bandes magnétiques et de plusieurs milliers de disques durs.
De nombreuses questions se posent lorsqu'il s'agit de dimensionner ce type de système ou de choisir le bon hardware (disques mécaniques ou SSD ?) et bon software (système de fichiers distribués, serveur de fichiers, object store, datalake, ...) à déployer. Ces choix sont généralement effectués en fonction de l'expérience, des habitudes et des usages et sont donc trèèèès subjectifs.
Le but de ce POM est de contribuer à la mise en oeuvre d'une approche plus objective pour aider le centre de calcul et les physiciens à faire ces choix. Pour cela, quoi de mieux que la simulation et que d'étendre l'outil SimGrid ? SimGrid est efficace, rapide et précis mais expose des abstractions de trop bas niveau (disque et lecture/écriture directe) pour répondre simplement aux questions posées.
Les objectifs de ce POM sont:
- Analyser différents systèmes de stockage pour en déterminer les grands principes
- Développer (en C++ de préférence) des prototypes de simulateur de ces systèmes de stockage
- Comparer simulations et expériences sur la plate-forme Grid'5000 (le bac à sable des expérimentateurs informaticiens)
Pourquoi choisir ce sujet:
- Contribuer à un projet open-source reconnu ;
- Mettre en pratique vos connaissances en administration système ;
- Appliquer une démarche favorisant la reproducibilité des expériences ;
- Le centre de calcul et les physiciens ont besoin de vous !