[fr] L'utilisation croissante de l'apprentissage profond (DL) exploite des modèles de plus en plus complexes avec une quantité croissante de données. Le DL distribué (DLL) permet d'entraîner rapidement des modèles en répartissant la charge de calcul. Nous proposons une approche empirique pour accélérer la distribution en se concentrant sur les stratégies de parallélisation locales.
Les résultats montrent que la stratégie de parallélisation locale impacte l'accélération globale du DDL en fonction de la complexité du modèle et de la quantité de données. De plus, notre approche surpasse Horovod qui est le framework DDL de l'état de l'art.
Disciplines :
Computer science
Author, co-author :
Lerat, Jean-Sébastien ; Université de Mons - UMONS > Faculté Polytechnique > Service Informatique, Logiciel et Intelligence artificielle
Mahmoudi, Sidi ; Université de Mons - UMONS > Faculté Polytechnique > Service Informatique, Logiciel et Intelligence artificielle
Mahmoudi, Saïd ; Université de Mons - UMONS > Faculté Polytechnique > Service Informatique, Logiciel et Intelligence artificielle
Language :
French
Title :
Apprentissage profond distribué : d’un seul nœud vers plusieurs nœuds de calcul