Šioje epochoje Transformatoriai yra galingiausi modeliai, kurie davė geriausius rezultatus atliekant daugybę NLP (natūralios kalbos apdorojimo) operacijų. Iš pradžių jis buvo naudojamas kalbų modeliavimo užduotims, įskaitant teksto generavimą, taip pat klasifikavimą, mašininį vertimą ir daug daugiau. Tačiau dabar jis taip pat naudojamas objektų atpažinimui, vaizdų klasifikavimui ir daugeliui kitų kompiuterinio matymo užduočių.
Šioje pamokoje pateiksime teksto klasifikavimo naudojant transformatorius procedūrą.
Kaip atlikti teksto klasifikaciją naudojant transformatorius?
Norėdami atlikti teksto klasifikaciją naudodami transformatorius, pirmiausia įdiekite „ transformatoriai “ biblioteką vykdydami pateiktą komandą:
! pip diegti transformatoriai
Kaip matote, nurodyta biblioteka sėkmingai įdiegta:
Tada importuokite „ dujotiekis ' nuo ' transformatoriai biblioteka:
iš transformatorių importo vamzdyno
Čia „ dujotiekis “ apims NLP užduotį, kurią turime atlikti, ir norimą transformatoriaus modelį šiai operacijai kartu su žetonu.
Pastaba: Žetonizatorius naudojamas apdoroti tekstą, kurį turi pateikti modelio įvestis, atskiriant tekstą į žetonus.
Po to naudokite „ vamzdynas () “ funkciją ir perduokite jai „ nulinio šūvio klasifikacija “ kaip argumentą. Tada perduokite kitą parametrą, kuris yra mūsų modelis. Mes naudojame „Facebook“ BARTAS “ transformatoriaus modelis. Čia nenaudojame žetonų, nes jį galima automatiškai nustatyti pagal nurodytą modelį:
teksto_klasifikatorius = konvejeris ( „nulinė klasifikacija“ , modelis = 'facebook/bart-large-mnli' )
Dabar paskelbkite „ sek “ kintamasis, kuriame yra mūsų įvesties tekstas, kurį reikia klasifikuoti. Tada pateikiame kategorijas, į kurias norime klasifikuoti tekstą ir išsaugoti „ lab “, kuris žinomas kaip etiketės:
laboratorija = [ 'atnaujinti' , 'klaida' , 'svarbu' , 'patikrinimas' ]
Galiausiai paleiskite dujotiekį kartu su įvestimi:
Atlikus konvejerį, kaip matote, modelis numatė, kad mūsų pateikta seka bus klasifikuojama:
Papildoma informacija: Jei norite pagreitinti modelio veikimą, turite naudoti GPU. Jei taip, tuo tikslu galite nurodyti konvejeriui įrenginio argumentą ir nustatyti jį į „ 0 “, kad panaudotumėte GPU.
Jei norite klasifikuoti tekstą daugiau nei vienoje sekos / įvesties teksto sakinyje, galite įtraukti juos į sąrašą ir perduoti kaip įvestį į konvejerius. Tuo tikslu peržiūrėkite kodo fragmentą:
sek = [ „Koregavimas ir redagavimas yra būtini komponentai, užtikrinantys aiškumą, nuoseklumą ir be klaidų“ ,„Šioje šiuolaikinėje eroje SEO optimizavimas yra būtinas, kad straipsniai būtų gerai reitinguojami ir pasiektų platesnę auditoriją“ ]
teksto_klasifikatorius ( sek , lab )
Išvestis
Viskas! Mes sudarėme lengviausią teksto klasifikavimo būdą naudojant Transformerius.
Išvada
Transformatoriai naudojami kalbos modeliavimo užduotims atlikti, pvz., teksto generavimui, teksto klasifikavimui ir mašininiam vertimui, taip pat kompiuterinio matymo užduotims, įskaitant objektų atpažinimą ir vaizdų klasifikavimą. Šioje pamokoje iliustravome teksto klasifikavimo naudojant transformatorius procesą.