Hallalækkun: hvernig gervigreind lærir

Þegar mállíkan svarar spurningu á lýtalausri íslensku er freistandi að halda að einhver hafi forritað málfræðina inn í það. Það gerði enginn. Líkanið lærði hana sjálft, með einni ótrúlega einfaldri aðferð sem er endurtekin ótrúlega oft: giskaðu, mældu hversu rangt giskið var og færðu þig örlítið í áttina sem minnkar villuna. Þessi aðferð heitir hallalækkun (gradient descent) og hún er hjartað í nánast allri nútímagervigreind. Sá sem skilur hana hættir að búast við töfrum og byrjar að mæla.

Þjálfun er að lágmarka villu

Mállíkan er í grunninn risastór reikniformúla með stillanlegum tölum. Þessar tölur kallast vogtölur (weights) og í stærstu líkönunum skipta þær hundruðum milljarða. Áður en þjálfun hefst eru þær nánast tilviljanakenndar og líkanið framleiðir merkingarlaust bull.

Þjálfunin sjálf er einföld hugmynd. Líkanið fær texta og á að giska á næsta orð. Síðan er giskið borið saman við rétta orðið og villan mæld með svokölluðu tapfalli (loss function). Tapfallið er bara tala sem segir hversu rangt giskið var: há tala þýðir slæmt gisk, lág tala þýðir gott gisk. Í orðum mætti lýsa einu algengu tapfalli svona: $L = $ hversu litlar líkur líkanið gaf rétta orðinu. Ef líkanið var nokkuð visst um rétta svarið er tapið lágt, ef rétta orðið kom því í opna skjöldu er tapið hátt.

Öll þjálfunin snýst um eitt markmið: að finna þær vogtölur sem gera tapið eins lágt og hægt er yfir gríðarlegt safn texta. Ekkert annað. Málfræði, staðreyndir og rökhugsun eru aldrei sett inn sem reglur, þau eru aukaafurð af því að lágmarka villu í næsta orðs giski.

Að ganga niður brekku í þoku

Vandinn er að leitarrýmið er óskiljanlega stórt. Með milljarða vogtalna er engin leið að prófa allar samsetningar. Hér kemur klassíska myndlíkingin: ímyndaðu þér að þú standir á fjallshlíð í niðaþoku og viljir komast niður í dalinn. Þú sérð ekki dalinn, ekki einu sinni tíu metra fram fyrir þig. Það eina sem þú finnur er hallinn undir fótunum á þér.

Skynsamlega leiðin er þá augljós: finndu í hvaða átt hallinn liggur bröttast niður á við, taktu lítið skref í þá átt og endurtaktu. Skref eftir skref, án þess að sjá nokkurn tíma heildarmyndina, endar þú neðar en þú byrjaðir.

Þetta er nákvæmlega það sem hallalækkun gerir. Landslagið er tapfallið: hver punktur í landslaginu er ein möguleg stilling á öllum vogtölunum og hæðin í punktinum er villan sem sú stilling gefur. Líkanið sér aldrei allt landslagið, en stærðfræðin gefur því hallann þar sem það stendur, það er að segja í hvaða átt villan minnkar hraðast. Það tekur lítið skref í þá átt og mælir aftur. Í þjálfun stórra mállíkana er þetta skref endurtekið gríðarlega oft, á texta sem telur milljarða setninga.

Uppfærslureglan, útskýrð lið fyrir lið

Öll þessi vinna rúmast í einni línu af stærðfræði, uppfærslureglunni:

$$\theta_{t+1} = \theta_t - \eta , \nabla L(\theta_t)$$

Hún lítur verr út en hún er. Tökum hana í sundur:

• $\theta_t$ eru allar stillingar líkansins, vogtölurnar, eins og þær standa í skrefi númer $t$. Staðan þín í fjallshlíðinni núna.
• $\nabla L(\theta_t)$ er halli villunnar (gradient): áttin þar sem tapið vex hraðast miðað við núverandi stillingar. Mínusmerkið fyrir framan snýr áttinni við, því við viljum niður brekkuna, ekki upp.
• $\eta$ er skrefstærðin, oft kölluð lærdómshraði (learning rate). Of stór skref og þú stekkur yfir dalinn og lendir upp í hlíðinni hinum megin, of lítil skref og ferðin tekur óralangan tíma.
• $\theta_{t+1}$ er svo nýja staðan: gamla staðan plús eitt lítið skref niður í móti.

Hvert einasta skref hnikar milljörðum vogtalna örlítið til, og skrefin eru tekin á milljörðum setninga. Engin einstök uppfærsla kennir líkaninu neitt merkjanlegt. En summan af öllum þessum örsmáu hnikum er líkan sem beygir sagnorð rétt, þýðir milli tungumála og skrifar samantektir. Mynstrin setjast í vogtölurnar án þess að nokkur manneskja hafi skrifað eina einustu reglu.

Hvað þýðir þetta fyrir þitt fyrirtæki?

Þetta hljómar kannski eins og fræðileg forvitni, en þrjár hagnýtar ályktanir fylgja beint af því hvernig þjálfunin virkar:

• Ný útgáfa er nýtt líkan, ekki uppfærsla á því gamla. Þegar framleiðandi gefur út nýja útgáfu liggur að baki ný þjálfunarkeyrsla með nýjum vogtölum. Verkflæði sem virkaði fullkomlega í fyrri útgáfu getur hegðað sér öðruvísi í þeirri næstu, til hins betra eða verra. Þess vegna þarf að endurprófa mikilvæg verkflæði við útgáfuskipti.
• Geta líkans er mæld, ekki lofuð. Enginn ákvað fyrirfram hvað líkanið kann, getan varð til sem aukaafurð af villulágmörkun. Framleiðandinn sjálfur kemst að því með prófunum hvað líkanið ræður við. Það sama gildir um þig: eina leiðin til að vita hvort líkan ræður við þitt verkefni er að prófa það á þínum gögnum.
• Fínþjálfun og kerfisleiðbeiningar eru önnur lög en grunnþjálfunin. Fínþjálfun (fine-tuning) hnikar vogtölunum áfram með sömu uppfærslureglu, bara á minna og sértækara gagnasafni. Kerfisleiðbeiningar (system prompt) breyta engum vogtölum, þær eru texti sem stýrir hegðun í rauntíma. Að vita hvaða lag leysir hvaða vanda sparar bæði tíma og peninga.

Teymi sem skilja þetta hætta að spyrja "af hverju lofar enginn að þetta virki?" og byrja að spyrja "hvernig mælum við hvort þetta virki hjá okkur?". Það er þroskaðri og miklu arðbærari spurning.