Új hozzászólás Aktív témák

• #49908 b. félisten S_x96x_S #49903

  Új Válasz 2025-10-14 23:37:22 #49908

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  b.

  félisten

  válasz S_x96x_S #49903 üzenetére

  [link]
  "NVIDIA just did the impossible. They trained a 12B-parameter language model on 10 trillion tokens entirely in 4-bit precision. It’s called NVFP4, and it might redefine how frontier AI models are trained. Here’s why this matters: • NVFP4 delivers 2–3× faster math throughput and 50% less memory vs FP8 • Accuracy? Practically identical. (MMLU-Pro: FP8 = 62.62%, NVFP4 = 62.58%) • Stability issues? Solved using Random Hadamard transforms, stochastic rounding, and 2D scaling • Trained entirely on NVIDIA Blackwell GPUs the first 4-bit run stable across 10T tokens This is the first successful demonstration of large-scale 4-bit pretraining without losing accuracy. The next generation of frontier models will be faster, cheaper, and greener without compromise."

• #49906 b. félisten S_x96x_S #49903

  Új Válasz 2025-10-14 15:13:09 #49906

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  b.

  félisten

  válasz S_x96x_S #49903 üzenetére

  Na így mindjárt más tehát nem a teljes MI450 lesz 2 nm csak részben. Mindjárt ésszerűbb döntésnek tűnik már amennyire én laikusan ezt meg tudom ítélni.Ahol fontos ott 2 nm ahova elég ott 3.

  FP4 ben Toms's szerint
  ". AMD's Helios rack-scale solution with 72 Instinct MI450 GPUs will also carry more HBM4 memory (31TB vs 21TB) and offer more memory bandwidth (1,400 TB/s vs 936 TB/s) compared to Nvidia's Rubin-based NVL144 machine. However, Nvidia's next-generation rack-scale solution will offer tangibly higher FP4 (well, NVFP4) performance compared to AMD's Helios (3,600 PFLOPS vs 2,900 PFLOPS), so it remains to be seen which of the systems will be faster and more power efficient, especially given uncertainties with UALink scale-up interconnections for the Instinct MI450-series GPUs."

Új hozzászólás Aktív témák