Skip to content

Instantly share code, notes, and snippets.

Avatar

Frederic Suter frs69wq

  • CNRS / CC-IN2P3 / Inria
  • Lyon
View GitHub Profile
@frs69wq
frs69wq / POM-eduwrench.md
Created Dec 2, 2020
Sujet de POM : Apprentissage du calcul parallèle et distribué
View POM-eduwrench.md

Le projet WRENCH permet de façon modulaire et réaliste l'exécution de workflows scientifiques sur une infrastructure distribuée à large échelle (clusters, clouds, systèmes de stockage, services de localisation, ...).

Cet outil est également utilisé aux Etats-Unis pour l'enseignement du calcul parallèle et distribué dans le cadre du projet EduWrench. EduWrench propose plusieurs modules aux objectifs pédagogiques distincts. Certains de ces modules permettent de lancer des simulations pour résoudre l'exercice demandé.

L'objectif de ce POM sera d'initier la version française d'EduWrench. Il s'agira pour cela de :

  • Mettre en place un site web équivalent à celui d'EduWrench;
  • Comprendre, tester et traduire les modules existants;
  • Adapter les modules au système éducatif français si besoin.

En fonction du temps restant, il sera également possible de proposer de nouveaux modules en collaboration avec les développeurs d'Ed

@frs69wq
frs69wq / POM-simulation-stockage.md
Last active Nov 8, 2019
Sujet de POM : simulation de systèmes de stockage
View POM-simulation-stockage.md

Les physiciens doivent stocker plusieurs PetaOctets de données produits chaque année par des accélérateurs de particules, des téléscopes, ou différents détecteurs (ondes gravitationnelles, neutrinos, rayons cosmiques, ...)

Pour répondre à ces besoins, le Centre de Calcul de l'IN2P3 (le bâtiment mystérieux en face du Nautibus) dispose d'un système de stockage de masse hiérarchique composé de plusieurs dizaines de milliers de bandes magnétiques et de plusieurs milliers de disques durs.

De nombreuses questions se posent lorsqu'il s'agit de dimensionner ce type de système ou de choisir le bon hardware (disques mécaniques ou SSD ?) et bon software (système de fichiers distribués, serveur de fichiers, object store, datalake, ...) à déployer. Ces choix sont généralement effectués en fonction de l'expérience, des habitudes et des usages et sont donc trèèèès subjectifs.

Le but de ce POM est de contribuer à la mise en oeuvre d'une approche plus objective pour aider le centre de calcul et les physiciens à faire ces c