Search Arena, a nyílt közösségi értékelési platform

A Search Arena egy nyílt, közösségi értékelési platform. Célja, hogy elemezze a kereséssel kiegészített nagy nyelvi modelleket (LLM-eket). A Chatbot Arena nevű webes alkalmazás részeként működik, egy külön lapként.

Egyszerűen fogalmazva, ez egy olyan hely, ahol a felhasználók tesztelhetnek olyan mesterséges intelligencia modelleket, amelyek hozzáférnek a webes kereséshez. A platformon két különböző, anonim modell válaszát hasonlíthatod össze egy adott kérdésre, és szavazhatsz arról, hogy melyik választ találod jobbnak. A felületet úgy alakították ki, hogy ösztönözze a keresést igénylő kérdéseket.

A Search Arena segítségével a kutatók és a fejlesztők jobban megértik, hogyan használják a felhasználók ezeket a kereséssel kiegészített AI rendszereket, milyen kérdéseket tesznek fel, és mit várnak el a válaszoktól. A platform nagyszabású adatokat gyűjt a felhasználói interakciókról és preferenciákról, beleértve a teljes beszélgetéseket, a szavazatokat, és a modellek által használt információkat (mint például a keresési eredmények).

Az egyik fontos jellemzője, hogy a Search Arena által gyűjtött adatok sokféle felhasználói szándékot lefednek (például piaci elemzés, egészségügyi tanács, vásárlás vagy kreatív tartalomkészítés), és nem korlátozódnak egyszerű, egyfordulós, tényalapú kérdésekre, mint sok korábbi adatgyűjtés. Emellett több mint 70 nyelven tartalmaz adatokat.

A Search Arena elemzései alapján kiderült például, hogy a felhasználók általában a hosszabb válaszokat és a több hivatkozást tartalmazó válaszokat részesítik előnyben. Azt is megfigyelték, hogy a felhasználók preferenciái az alapján is változnak, hogy milyen forrásokat hivatkozik a modell (például a kódolással kapcsolatos vagy közösségi forrásokat kedvezőbben ítélik meg, mint a Wikipédiát).

*Linkek*
Kutatási anyag: https://arxiv.org/pdf/2506.05334
GitHub Search Arena: Analyzing Search-Augmented LLMs: https://github.com/lmarena/search-arena
Chatbot Arena: https://legacy.lmarena.ai/