Új hozzászólás Aktív témák
-
S_x96x_S
addikt
Valóság meg : [Analysis’ Hardware Benchmarking shows NVIDIA achieving a ~5x tokens-per-dollar advantage over TPU v6e (Trillium), and a ~2x advantage over MI300X, in our key inference cost metric]
ha google 5x sebességre lép előre és ugyan ezen az áron adja mint a V6e modellt ( amit kétlek)akkor is csak utolérné az Nvidia H100 gyorsítót nem hogy előnye lenne.
A kedvenc szakértőd ( "Dylan Patel" )
az általam korábban linkelt cikkben
egy külön bekezdést szentelt
az általad linkelt tpu bench kritikájának.https://newsletter.semianalysis.com/p/tpuv7-google-takes-a-swing-at-the?open=false#%C2%A7vllm-tpu-benchmarks-are-not-relevant-yet
"""
vLLM TPU Benchmarks are not relevant yet
This week, there was an new inference benchmark on TPUv6e that dropped claiming that TPUv6e has 5x worst performance per dollar than NVIDIA GPUs. We disagree mainly due to 2 reasons. First of all, this is benchmark is on vLLM on TPUs which was only released an couple month ago thus does not yet have optimized performance. Google internal Gemini workloads & Anthropic workloads work on an internal custom inference stack that has better perf per TCO than NVIDIA GPUs.
Secondly, Aritifical Analysis’s cost per million tokens is using the list price of $2.7/hr/chip for TPUv6e. No major customers of TPUs is paying anywhere close to that much for TPUv6e given the BOM is a tiny fraction of the H100. As everyone knows, most clouds have an high ball list price such that their account sales executives can do “car salesman” tactics and give massive discounts so that the customer thinks they are getting a good deal. The SemiAnalysis AI TCO Model tracks the acutal market rental price of TPUs across all the various contract lengths (1 month, 1 year, 3 years, etc).
"""" -
S_x96x_S
addikt
ha google 5x sebességre lép előre és ugyan ezen az áron adja mint a V6e modellt ( amit kétlek)akkor is csak utolérné az Nvidia H100 gyorsítót nem hogy előnye lenne.
nyilvánvalóan a gyakorlati döntéseknél
te - se csak 1játék - 1tesztelő által végzett ad-hoc tesztjére
hagyatkozol,
mert sok minden félremehet.És az is tuti biztos,
hogy nem a te linkeden található teszt
alapján döntenek.[ Valószínüleg ]
a Google kiküldött 5-10 szuper fejlesztőt az Anthropic/OpenAI/Meta/*/* -hoz
akik az adott cég LLM modeljét
extrém módon kioptimalizálták
és pariba hozták az nvidiás megoldással,
és emellé tettek még egy vonzó költség ajánlatot,
ami nyilván nem az, amit kisembereknek a honlapon feltüntetnek.Emellé tedd hozzá, hogy az nvidia függést is diverzifikálni lehet ezzel a lépéssel, és igy az adott cégnek lesz alternativája, hogyha
az nvidia duzzogásból büntetni akarja őket.
És ezt nyiltan kommunikálják az ügyfeleknek,
( ~ megfenyegetik )
nehogy más AI céggel is próbálkozzanak,
mert annak következménye lesz.
Persze ezt a fenyegetést/kényszert
- polkorrektül "Agressziv Sales technikának" nevezik,
de annyira túltolta az nvidia,
hogy a hatóságok ( nem csak az USA ) elkezdtek vizsgálódni.
"Here’s why Nvidia’s aggressive sales tactics are in the DOJ’s crosshairs" ( Fortune ; September 4, 2024 )
( a vádak szerint "kötési megállapodásokat" alkalmaz az nvidia (pl. hálózati felszerelést kell venni az AI-chippel együtt),
és kizáró kedvezményeket adnak,
ha a vevők elkerülik a versenytársakat. )Az nvidia hozzáállása, valószínüleg még jobban gyorsítja
a cégek leválását az nvidiáról - amint van egy reális alternativa.
Az OpenAI-t csak erőfeszítéssel "TALÁN" sikerült kimenteni a GoogleTPU markából, ami az OpenAI - negyedik lába lett volna
az ismert másik 3 mellett (NVIDIA | AMD | Broadcom )
Azért csak "TALÁN "- mert még mindog nincs meg a végleges deal,Vajon miért nem akar még
mindig megegyzeni az NVidia és az OpenAI ?
2025-nov-20: "NVIDIA Says There’s No Guarantee OpenAI Will Proceed With the $100 Billion Mega-Deal, But the Firm Remains Disciplined With Its Execution"
amikor az AMD és a Broadcom deal már végleges;Szerintem (==spekuláció) a Google még jobb ajánlatott tett le az OpenAI -nak ; és most megy a további egyezkedés,
hogy az nvidia ad -e újabb kedvezményt.Ettől függetlenül az nvidia termékei műszakilag jók és toppon vannak, viszont egy jobb versenyhelyzet a piacnak és a technikai fejlődésnek is jobb lenne.
( Persze az nvidia az ökosziszitéma feletti kontrollban hisz, és egyre inkább kihagyja a partnereit ; és ennek a taktikának vannak előnyei és hátrányi is )Tanulságos az Intel 10-15 évvel ezelőtti hozzáállása;
ami az akkor monopol helyzetéből akadt. És annek a következménye az Apple - arm -ra váltása
( amint volt alternativa )---
a TREND ....
1.) a hyperscalerek (Microsoft, Google, Meta)
egyre inkább saját AI-chipet fejlesztenek,
csökkentve az nvidia-monopóliumot.
2.) az nvidia bruttó margó csúcsa (80% körül -2025 -ben)
már a múlté, mert a vásárlók alkupozíciója egyre erősödik.Fortune - November 18, 2025
"Nvidia looked invincible. Now it’s showing cracksBy helping fund buyers like OpenAI and CoreWeave, Nvidia is shaping demand for its own chips—along with the risks that come with it."
Új hozzászólás Aktív témák
A topikban az OFF és minden egyéb, nem a témához kapcsolódó hozzászólás gyártása TILOS!
Megbízhatatlan oldalakat ahol nem mérnek (pl gamegpu) ne linkeljetek.
- GYÖNYÖRŰ iPhone 14 Pro 128GB Space Black -1 ÉV GARANCIA - Kártyafüggetlen, 100% Akkumulátor
- Xiaomi Redmi 13 4G 128GB, Kártyafüggetlen, 1 Év Garanciával
- ÚJ AKKU! Ár/ÉRTÉK BAJNOK! Dell Latitude 5330 i3-1215U 6mag! 16GB 512GB 13.3" FHD 1 év gar
- Shure Podcast mikrofon
- ÁRGARANCIA!Épített KomPhone i5 10400F 16/32/64GB RAM RX 7600 8GB GAMER PC termékbeszámítással
Állásajánlatok
Cég: BroadBit Hungary Kft.
Város: Budakeszi
Cég: ATW Internet Kft.
Város: Budapest