Hirdetés

  2. Fórumok
  3. Infotech
  4. Mesterséges intelligencia topik

Új hozzászólás Aktív témák

  • #1353 S_x96x_S addikt
    Új Válasz #1353
    Új hozzászólás
    Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra
    Privát üzenet küldése

    S_x96x_S

    addikt

    Jelenleg úgy tűnik, hogy a helyi nagy ( >32GB) LLM-ek (inference) futtatásra

    Az új Mac Mini M4 Pro - lesz az ideális hobby megoldás.
    999 990 Ft -tól.
    - 64 GB egyesített memória ( ez a max )
    - Apple M4 Pro chip 12 magos CPU‑val, 16 magos GPU‑val és 16 magos Neural Engine-nel
    - 273GB/s of memory bandwidth

    Persze az M4 Max -os laptopok még ideálisabbak - mivel a mem. sávszélesség is elég fontos a helyi LLM-ek futtatásánál.
    ( M4 Max supports up to 128GB of fast unified memory and up to 546GB/s of memory bandwidth )
    de ez már >=2 349 990 Ft

    ----------

    A részleteket kedvelőknek nem árt tudni, hogy a
    Az új CPU-s "SME" támogatás az Apple M4 -ben elég érdekes:
    "Apple's matrix accelerator is a dedicated hardware unit — it is not part of the CPU core. There is one AMX/SME block in a CPU cluster, shared by all CPU cores. This has a number of interesting consequences. First, the matrix accelerator has access to much higher bandwidth than the individual CPU cores, since it is directly fed from the cluster L2. Second, the latency of executign SME instructions is high, as data communication needs to happen via the L2 cache (there is presumably a fast control bus to share the execution state). Third, one does not need to resort to parallel programming to harvest the performance benefits of SME. Initial experiments suggest that a single CPU tread can already achieve peak processing rate on the SME unit. Finally, those seeking highest possible performance can use on-CPU SIMD (Neon) and SME simultaneously for an additional boost."
    https://github.com/tzakharko/m4-sme-exploration

    ------------
    ha nincs más, akkor az új Intel és AMD AI 370 mini -pc is szóba jöhetnek - 64/96GB DDR5 Ram-al ; de a legnagyobb problémájuk a szűk memória sávszélesség.
    és emiatt lasabbak.

    Alternativa lehet még a több GPU-s megoldás, de az már sokkal drágább és bonyolultabb is.

    ------

    Remélem, hogy jövőre több alternatíva lesz.

Új hozzászólás Aktív témák