Három hét alatt látványosan javult a modell
Az AI21 Labs és a Deel Emet nevű AI-laborja közös fejlesztésben javította az NVIDIA Nemotron 3.5 Super VL teljesítményét. A cél egy olyan rendszer létrehozása volt, amely a világ különböző országaiban felmerülő bérszámfejtési kérdésekre megbízható, tényszerű és teljes válaszokat ad.
A projekt eredménye az AI21 közlése szerint figyelemre méltó: a finomhangolt modell 8 ponttal jobb eredményt ért el a Claude Opus 5.5-nél a globális bérszámfejtési feladaton, miközben tokenenként ötvenszer alacsonyabb költséggel működött. A fejlesztésről az aihirek.info beszámolója szerint három hét alatt született meg az eredmény.
A Deel több mint 45 000 vállalatot támogat több mint 150 országban. A munkavállalók kérdéseire adott válaszok ezért gyakran az adott ország adószabályaitól, a munkaszerződéstől és a vállalati irányelvektől is függnek. Ezek a feltételek idővel változhatnak, így a modellnek nemcsak ismereteket kellett használnia, hanem a Deel terminológiáját, szabályait és válaszstílusát is követnie kellett.
Nem a téves, hanem a hiányos válaszok okozták a gondot
Az alapmodell legnagyobb hibája többnyire nem a téves információ volt. A Nemotron 3.5 Super gyakran bizonytalanul fogalmazott egyértelmű jogszabályok esetén is, nem közölt konkrét számokat, fontos háttérinformációkat hagyott ki, vagy összekeverte az egymáshoz kapcsolódó fogalmakat.
A fejlesztők ebből arra következtettek, hogy a modellben nagyrészt megvolt a szükséges tudás, de megfelelő irányításra volt szüksége. Az EmBench Payroll nyilvános benchmarkban a kérdésekhez 3 és 6 közötti állítás tartozott. Ezek konkrét tényeket, a válasz teljességét és a megfelelő megfogalmazást ellenőriztek. Az eredményeket a GPT-6 Sol értékelte bíróként.
A kiinduló modell a fejlesztési kérdések 51,3 százalékánál teljesítette a kritériumok átlagos részét, és a kérdések 10 százalékára adott minden szempontból teljes választ. A Claude Opus 5.5 ugyanezekből a kritériumokból 64,0 százalékot teljesített, a kérdések 26,3 százalékát pedig teljesen megválaszolta.
Két külön lépésben tanították a teljesebb válaszokat
Elsőként a kutatók a modell saját, úgynevezett közelpolitikai válaszait használták fel. A generálás során tippekkel terelték a rendszert arra, hogy figyeljen a feladat elvárásaira, a szükséges részletességre, a Deel szóhasználatára, valamint azokra a fogalmi különbségekre, amelyeket a felhasználók gyakran összekevernek. Ezek a tippek nem új szaktudást adtak, hanem a már meglévő ismeretek használatát segítették.
A 412 példából álló, minden értékelési állítást teljesítő mintát felügyelt finomhangolással, vagyis SFT-vel tanították be. Ennek hatására a fejlesztési adathalmazon a kritériumok teljesítésének aránya 0,513-ról 0,657-re emelkedett. A minden szempontból teljes válaszok aránya 0,100-ról 0,229-re nőtt.
Ezután önlepárlásos irányelv-optimalizálást, SDPO-t alkalmaztak. Ennél az eljárásnál a tanuló modell válaszát ugyanaz a modell értékeli, miközben kérdésenként hozzáfér a fejlesztők által megadott többletinformációhoz. A módszerhez 698 kérdést használtak. Az alapmodellről indított SDPO 0,638 és 0,183 értékre javított. Az SFT-vel megerősített modell további SDPO-tréningje már 0,720 és 0,339 eredményt hozott.
Az eredmény a költségeknél is fontosabb lehet
Az AI21 szerint a végső Nemotron 3.5 Super VL 20,7 pontos javulást ért el az alapmodellhez képest, és 8 ponttal haladta meg a Claude Opus 5.5 teljesítményét a globális bérszámfejtési feladaton. A vállalat állítása alapján a rendszer egymillió tokenre vetítve ötvenszer olcsóbb volt az Opus 5.5-nél.
A fejlesztés azt példázza, hogy célzott utótréninggel és viszonylag kis adathalmazzal is jelentősen javítható egy modell teljesítménye szűk, szakmai területen. Az AI21 értékelése szerint ebben az SFT és az SDPO során használt tanulási jeleknek is fontos szerepük volt. Ezek a modell saját korábbi válaszaihoz közeli, illetve friss, saját generálásból származó mintákra épültek.
