Writing a Reproducible Article

Overview & Synopsis

Nous avons récemment soumis à Europar notre premier article dont l'analyse est reproductible de bout en bout. L'objectif de cette intervention est d'expliquer comment nous avons procédé et de discuter sur la généralisation possible de cette approche à d'autres cas d'étude. Cet article porte sur la validation d'un modèle permettant de simuler StarPU, un runtime à base de tâches pour architectures hybrides, à l'aide de SimGrid. Pour valider ce modèle, un nombre conséquent d'expériences sur des architectures variées a du être réalisé. L'ensemble des traces des exécutions réalisées sur ces différentes plates-formes ainsi que l'ensemble des informations sur leur provenance et nécessaires à leur réalisation (versions des codes, type de machine, OS, options de compilation, ...) ont été consignées systématiquement grâce à une utilisation combinée de git et d'org-mode dans l'équivalent d'un cahier de laboratoire. Il a alors été très simple de rédiger un article sur le même principe. Concrètement, les traces ont été migrées sur figshare et les sources du document contiennent l'intégralité des scripts nécessaires à la réalisation de l'analyse. La compilation du document commence par télécharger l'ensemble des traces en local avant d'en extraire les informations importantes pour l'analyse et de générer les courbes figurant dans l'article. Il devient donc possible pour quiconque de partir d'un graphique et de remonter jusqu'aux informations sur les conditions expérimentales sous-jacentes.