Seed-Coder: nyílt forráskódú, 8B paraméteres LLM kódgenerálásra

A ByteDance Seed-Coder egy nyílt forráskódú, 8 milliárd paraméteres nagy nyelvi modell, kifejezetten kódgenerálásra és -kiegészítésre tervezve.

Célja, hogy paraméter-hatékonyan közelítse meg a nagy, 30–70B paraméteres modellek szintjét, leküzdve a méret és pontosság közti kompromisszumot.

Modell-központú: A Seed-Coder túlnyomórészt LLM-eket használ a kézzel készített szabályok helyett a kódadatok (GitHub-repo, commitok, webes kódblokkok) szűrésére, minimalizálva a manuális erőfeszítéseket az előképzési adatok építésében.
Teljesen átláthatóság: Részletesen dokumentált, hogyan gyűjtik és tisztítják a GitHub-kódokat, commitokat és webes kódblokkokat – így bármely fejlesztő pontosan követheti a teljes adatfeldolgozást .
Kiemelkedő, paraméter-hatékony teljesítmény
Mindössze 8,2 milliárd paraméterrel ér el elméletileg olyan pontosságot kódgenerálásban és -kiegészítésben, ami korábban csak jóval nagyobb modellekre volt jellemző .

Három változat egy csomagban
– Base: az alapmodell
– Instruct: Az utasításkövető modell tovább lett finomhangolva, hogy jobban értse és kövesse a felhasználói utasításokat. Kiváló teljesítményt mutat kódgenerálási, kódszerkesztési és szoftvermérnöki feladatokban
- Reasoning: Az érvelő modell megerősítő tanulást (reinforcement learning) használ, különösen egy Long-Chain-of-Thought (LongCoT) nevű módszert, hogy javítsa a több lépésből álló kódolási problémák megoldását

Hosszú kontextus kezelése (max. 32 768 token): a “Needle in the Code” teszten 100 % pontosságot ért el ebben a hosszúságban.
A méréseik szerint a Base változat a HumanEval+ benchmarken 77,4 % pass@1, a MBPP+ esetén 82,0 % fölött teljesít, felülmúlva minden más ~8 B modellt

Az Instruct variáns a MHPP (Mostly Hard Python Problems) benchmarkon 36,2 % pass@1, a LiveCodeBench-en pedig 24,7 % pass@1 értékkel előzi meg a hasonló méretű nyílt modelleket

A Reasoning modell az IOI’2024 versenyen 1918 ELO és a Codeforces-en 1553 pontot gyűjtött, meghaladva a 32 B-s QwQ-32B-t is

Teljesen nyílt forráskódú, elérhető GitHubon és Hugging Face-en, elősegítve a közösségi fejlesztést és a kutatást

*Linkek*
ByteDance Seed Seed-Coder: https://bytedance-seed-coder.github.io/
Kutatási anyag: https://github.com/ByteDance-Seed/Seed-Coder/blob/master/Seed-Coder.pdf
Hugging Face modell: https://huggingface.co/ByteDance-Seed/Seed-Coder-8B-Instruct
GitHub: https://github.com/ByteDance-Seed/Seed-Coder