[01] Labo
Nanbeige publie un dense de 33 milliards de paramètres sous Apache 2.0, avec 512K de contexte
Nanbeige4.3-33B est un modèle dense de 33 milliards de paramètres publié en BF16 sous Apache 2.0, en anglais et en chinois, avec 52 couches, un vocabulaire de 166 912 entrées et un contexte de 524 288 tokens. Selon la carte du modèle, il devance Qwen3.8-27B sur Terminal-Bench 2.1 (80,9 contre 73,0), DeepSWE (65,5 contre 42,5) et GPQA Diamond (89,5 contre 89,2), mais reste derrière sur SWE-Bench Pro (60,3 contre 61,7) ; il est présenté comme le professeur dont sera distillé un Nanbeige4.3-3B, et 51 quantifications communautaires étaient déjà en ligne le 25 octobre.
Pourquoi ça compte Un dense de 33B sous Apache 2.0 avec 512K de contexte tient quantifié sur une carte de 80 Go et sert de professeur pour un 3B : la distillation d’un agent de codage devient faisable sans budget de pré-entraînement, à condition de vérifier soi-même les scores annoncés.