Új hozzászólás Aktív témák

• #1126 DarkByte addikt freddirty #1123

  Új Válasz 2024-09-15 19:36:15 #1126

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  DarkByte

  addikt

  válasz freddirty #1123 üzenetére

  Köszi!

  Mondjuk én ettől nem várok csodát. Már egy nagyobb 70B-s LLM modellnél, ha dolgozik a CPU+GPU offload, az is messze elmarad a tisztán GPU teljesítménytől. Ez meg még behozza a hálózatot is, amelyen rohangálnak a rétegek közötti információk. Tippre kegyetlen lassú lesz. Egyetlen előnye hogy elmondhatod hogy otthon el tudtál indítani valami tényleg nagy modellt, hogy pötyöghessen neked pár betűt, aztán lelődd a fenébe

• #1124 S_x96x_S addikt freddirty #1123

  Új Válasz 2024-09-15 17:10:01 #1124

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  S_x96x_S

  addikt

  válasz freddirty #1123 üzenetére

  > exo && és lesz bináris/gyári konténer (ha egyáltalán valaha...)

  Dolgoznak rajta. : https://github.com/exo-explore/exo/pull/173
  Dockerfile : https://github.com/exo-explore/exo/pull/173/files#diff-dd2c0eb6ea5cfc6c4bd4eac30934e2d5746747af48fef6da689e85b752f39557

Új hozzászólás Aktív témák