PewDiePie sa popri YouTube v poslednom období stále viac venuje aj umelej inteligencii a teraz predstavil svoj vlastný model Ajax. Ide o upravenú verziu Qwen3.5-9B, ktorá má približne 9 miliárd parametrov a je navrhnutá tak, aby mohla fungovať lokálne na domácom PC. Model vznikol pre jeho self-hosted AI prostredie Odysseus, kde má fungovať ako osobný AI agent schopný vyhľadávať na internete, pracovať s e-mailmi, kalendárom a ďalšími nástrojmi.
PewDiePie Ajax označuje za „necenzurovaný“ model. Pomocou open-source nástroja Heretic upravil mechanizmy, ktoré spôsobujú, že AI určité požiadavky automaticky odmieta. Tvrdí však, že model stále nemá byť určený na poskytovanie nebezpečných návodov a ponechal v ňom obmedzenia týkajúce sa ubližovania sebe alebo iným.
Zaujímavejší je však samotný proces tréningu. PewDiePie tvrdí, že OpenAI mu počas vývoja Ajaxu dvakrát deaktivovalo účet. V jednom z e-mailov, ktorý ukázal vo svojom videu, bola ako dôvod uvedená „distillation“. Ide o metódu, pri ktorej sa výstupy výkonnejšieho AI modelu používajú ako tréningové dáta pre menší model.
Po prvom zablokovaní sa mu účet podarilo obnoviť, neskôr však podľa jeho slov nasledoval ďalší ban po tom, ako model OpenAI opäť použil na vytvorenie počiatočných tréningových dát. PewDiePie reagoval otázkou: „Ako to vôbec vedeli?“ OpenAI zatiaľ verejne nevysvetlilo konkrétne okolnosti jeho prípadu, takže detaily o detekcii vychádzajú len z jeho vlastného opisu udalostí.
PewDiePie zároveň kritizuje veľké AI spoločnosti za to, že chránia vlastné modely pred podobným získavaním dát, zatiaľ čo samotné modely boli vytvorené tréningom na obrovskom množstve obsahu. Práve distilácia je dnes citlivou témou, keďže umožňuje preniesť časť schopností veľkých modelov do výrazne menších systémov, ktoré následne môžu fungovať lacnejšie a dokonca úplne lokálne.
To je aj hlavná myšlienka Ajaxu. PewDiePie tvrdí, že pre bežného osobného asistenta nemusí byť potrebný gigantický model so stovkami miliárd či biliónom parametrov. Menší model špecializovaný na konkrétne úlohy môže byť dostatočný, pričom používateľ nad ním získava väčšiu kontrolu a jeho dáta nemusia opúšťať počítač. Ajax chce ďalej trénovať pomocou reinforcement learningu, následne ho kvantizovať a otestovať v benchmarkoch.
Komentáre