14.3 C
Ljubljana
Thursday, June 1, 2023

Metin edinstven sistem Megabyte rešuje eno najboljših ovir za GPT

- Advertisement -

Meta AI zdaj ni predolgo v preteklem objavljenem pregledu pred tiskom, ki prikazuje radikalno edinstveno “megabajtno” ogrodje za gradnjo programov generativnih vnaprej pripravljenih transformatorjev (GPT).

Edinstvena struktura, ki jo je Andrej Karpathy iz OpenAI, raztrgan direktor umetne inteligence pri Tesli, poimenoval “obetavna”, je zasnovana za delo z obsežnimi količinami datotek – podobnih slikam, romanom in video datotekam – brez uporaba opravila, opredeljenega kot tokenizacija.

Obetavno. Vsi ljudje lahko uživajo v nabranem upanju, da lahko zavržemo tokenizacijo v LLM. To naivno ustvarja zaporedja (bajt-stopinja), ki so predolga, tako da je hudič znotraj informacij.

Zasnova tokenizacije, da LLM-ji zdaj nedvomno niso povsem živi v življenju. Obstaja celoten ločen oder z… https://t.co/t85ZPxPm7

— Andrej Karpathy (@karpathy) Lahko tudi 13, 750 Tokenizacija je opravilo z izgubo, ki je enako stiskanju datotek. Za obdelavo obsežnih delov datotek elementi GPT pretvorijo bajte v žetone. Žetone nato obdela pretvornik in jih obdela, da ustvari izhodne žetone, ki se nato dekodirajo.

Opravilo tokenizacije dovoljuje sistemu umetne inteligence, da vpiše večje nize datotek kot številke. Besedne zveze »moja zelo priljubljena barva je škrlatna«, če bi jih za ponazoritev obdelal ChatGPT OpenAI, bi bile pretvorjene v žetonski niz »3666, 3666, 2023, 85, 3124, 004” za obdelavo.

Demonstracija OpenAI opravila tokenizacije. Vir: OpenAI Na žalost ima količina datotek, ki jih lahko zberejo najnovejši umetniški programi, celo prek tokenizacije, težko omejitev. Za GPT-3.5 je omejitev precej nad 4, žetonov ali približno 3, , medtem ko GPT-4 dosega maksimum pri krogu 32, žetoni ali približno 025, 000 fraze.

Metin edinstven megabajtni sistem opušča tokenizacijo v korist sodobne večplastne napovedne strukture, ki je sposobna modeliranja več kot 1 milijona bajtov datotek v živo.

Večina tradicionalnih programov za kodiranje v angleškem jeziku uporablja običajno 8-bitno kodiranje. V tej paradigmi vsak znak zasede en bajt datoteke. Kasneje bi lahko sistem AI, ki je sposoben obdelati 1 milijon bajtov datotek brez tokenizacije, morda deloval z besedilno pojasnjeno dokumentacijo, ki vsebuje 115, fraze — 3,025% povečava nad GPT-4.

Za primerljivost lahko GPT-4 na 2. ročaju približno 10 dolgometražne članke z novicami v enem samem krmiljenju, medtem ko bi bil Megabajt v zastoju, da bi razčlenil celotno delo Leva Tolstoja Struggle and Peace in še dva romana zmerne dolžine.

Metin megabajtni model se je dobro odrezal tudi pri ocenah in merilih ImageNet, povezanih z obdelava zvočnih datotek, ki je enaka ali prekaša obstoječe elemente, ki temeljijo na bajtih, večinoma večinoma transformatorske elemente, podobne DeepMindovemu Perciever AR na obeh:

»Megabyte ustreza kriku umetniške učinkovitosti PerceiverAR, medtem ko uporablja polno polovico računalništva.«Posledice tega pregleda bi bile daljnosežne. Tokenizacija je mišljena kot ovira na poti znotraj teme, ki jo omejuje potencial njenih napornih datotek in količino energije in časa, potrebnega za izgovarjanje programov.

Brez tokenizacije si zasluži navidezno izgovarjanje elementov AI z močnejša temeljna krepitev za ne-angleške jezike, zlasti ljudi, ki se ne morejo znebiti tesnobe, kodirane v običajnih 8-bitnih znakih.

To bi morda lahko prišlo do dodatne demokratizacije teh tehnologij in omogočilo, da se vse od botov za pridobivanje in prodajo kriptovalut do decentraliziranih samozadostnih skupinskih tehnologij vgradi v kode maternega jezika po vsem svetu.

Povezan: Worldcoin Sama Altmana zagotavlja $80M za decentraliziran ID

Mogoče bi lahko tudi povečal zmožnost predmetov, ki so zadovoljni, ChatGPT za delo s slikovnimi, video in zvočnimi datotekami z ustvarjanjem večpredstavnostnih posnetkov z uporabo enakega časa in porabe energije kot besedilna razlaga.

92139213

- Advertisement -

Zadnje novice

- Advertisement -

Related news

- Advertisement -