[01] Outils
PyTorch 2.15 passe au backend NCCL réécrit et écrit un post-mortem quand un collectif se bloque
Le backend NCCL réécrit devient le défaut de tout groupe de processus nccl, avec TORCH_DIST_USE_NCCL2=0 et nccl-legacy comme chemins de retour, et un enregistreur de vol qui écrit un post-mortem sur disque quand une collective se bloque, un timeout sur un rang déclenchant la capture sur tous les autres. FSDP2 accepte désormais un dtype par paramètre et une étape d’accumulation de gradient entière dans un seul graphe CUDA ; Apple Silicon gagne FP8, un grouped_mm à 1,32–1,34× le débit de décodage MoE sur M3 Ultra et une API publique torch.mps.Stream. La version compte 3 117 commits de 583 contributeurs, avec CUDA 13.2 par défaut.
Pourquoi ça compte Un blocage de training multi-GPU se diagnostique à partir des traces de chaque rang au lieu d’une reproduction manuelle : c’est des heures de cluster en moins par incident, à condition d’accepter une API encore marquée instable.