Meta stel Llama 3 bekend, 'n KI-model wat beelde intyds op WhatsApp kan genereer

Vandag (18/4) is die meta het die eerste twee modelle van die volgende generasie van die Lama aangekondig, die Meta Lama 3, gereed om omvattend gebruik te word. Hierdie nuwe weergawe bevat vooraf-opgeleide en verfynde taalmodelle, met parameters 8B e 70B, in staat om aan 'n wye verskeidenheid behoeftes te voldoen. Na aanleiding van die tradisie om die oopbrongemeenskap te ondersteun, het Meta die Lama 3 vir die gemeenskap. Dit beteken ook dat die Meta AI, kunsmatige intelligensie wat op die maatskappy se sosiale netwerke teenwoordig is, sal ook verbeter word, insluitend die vermoë om beelde in reële tyd te skep in die WhatsApp. Sien meer!

Ontmoet Llama 3

Met die Lama 3 die maatskappy is van voorneme om oop modelle te ontwikkel wat meeding met die beste eie taalmodelle wat tans beskikbaar is, soos die geval is met GPT-4. Ontwikkelaarterugvoer is geprioritiseer om die algehele bruikbaarheid van Llama 3 te verbeter, volgens Meta, "die handhawing van 'n verbintenis tot leierskap in die verantwoordelike gebruik en implementering van Grand Language Models (LLM's)".

Na aanleiding van die beginsels van oop kode, 'n vroeë en gereelde vrystelling-benadering is aangeneem, wat die gemeenskap in staat stel om toegang te verkry tot en by te dra tot die ontwikkeling van hierdie modelle in reële tyd. Die teksgebaseerde sjablone wat vandag bekendgestel word, is net die eerste in die Llama 3-reeks. Die visie vir die toekoms sluit die uitbreiding van Llama 3 in om meertalige en multimodale ondersteuning te bied, konteksvermoë te verhoog en voortdurend prestasie oor alle sleutelaspekte van te verbeter. LLM's, soos redenering en kodering.

In lyn met die ontwerpbenadering in Lama 3, Meta het 'n transformator-argitektuur gekies slegs dekodeerder, wat 'n verstek keuse is. Llama 3 gebruik tokenisering met 'n uitgebreide woordeskat van 128 duisend tokens, wat meer doeltreffende taalkodering tot gevolg het en gevolglik verbeterde modelprestasie. Om die afleidingsdoeltreffendheid van Llama 3-modelle te optimaliseer, het die maatskappy die gegroepeerde navraag-aandagtegniek (GQA) in twee verskillende groottes: 8B en 70B. Tydens opleiding het die reekse wat gebruik word 'n lengte van 8.192 XNUMX tokens, en 'n masker word toegepas om te verseker dat selfaandag binne die dokumentgrense bly.

Om die beste taalmodel op te lei, is dit noodsaaklik om 'n groot opleidingsdatastel van hoë gehalte te hê. In ooreenstemming met ons ontwerpbeginsels het ons aansienlik in vooropleidingsdata vir Llama 3 belê. Hierdie model is vooraf opgelei op meer as 15 biljoen tokens, alles uit publieke beskikbare bronne. Ons opleidingdatastel is sewe keer groter as dié wat vir Llama 2 gebruik word en bevat vier keer soveel kode.

Ter voorbereiding vir toekomstige meertalige gebruiksgevalle, bestaan ​​meer as 5% van die Llama 3-vooropleidingsdatastel uit data van hoë gehalte in ander tale as Engels, wat meer as 30 tale dek. Meta verwag egter nie om dieselfde vlak van prestasie in hierdie tale te behaal as wat in Engels behaal word nie.

Om te verseker dat Llama 3 opgelei word met die hoogste gehalte data, is 'n reeks datafilterpyplyne ontwikkel. Hierdie pypleidings sluit die gebruik van heuristiese filters, filters vir onvanpaste inhoud, semantiese dedupliseringstegnieke en teksklassifiseerders om datakwaliteit te assesseer. Vorige weergawes van Llama is effektief in data-identifikasie van hoë gehalte, dan is Llama 2 gebruik om die opleidingsdata te genereer vir die tekskwaliteitklassifiseerders wat Llama 3 voed.

Daarbenewens het Meta selfs eksperimente gebruik om die beste maniere te bepaal om data van verskillende bronne in die finale vooropleidingsdatastel saam te voeg. Hierdie eksperimente het ons in staat gestel om 'n kombinasie van data te kies wat verseker dat Llama 3 goed presteer in 'n verskeidenheid gebruiksgevalle, insluitend trivia vrae, STEM (wetenskap, tegnologie, ingenieurswese en wiskunde), kodifikasie, historiese kennis, onder andere.

Vergelyking met Lama 2

Die nuwe modelle Lama 3, met parameters van 8B en 70B, verteenwoordig 'n voorskot in verhouding tot die Lama 2, wat 'n nuwe standaard vir LLM-modelle op hierdie skale stel. Meta beweer dat as gevolg van verbeterings in beide voor- en na-opleiding, vooraf-opgeleide en instruksie-fyn-ingestelde modelle tans die onbetwiste leiers op die 8B- en 70B-parameterskaal is.

Optimalisasies in na-opleidingsprosedures het gelei tot 'n die vermindering van foutiewe verwerpingskoerse, bykomend tot die verbetering van belyning en die verhoging van diversiteit in modelreaksies. Beduidende verbeterings is ook waargeneem in kenmerke soos redenering, kodegenerering en toekomstige leiding, wat Llama 3 selfs meer aanpasbaar en geteiken maak.

Tydens die ontwikkeling van Llama 3 was daar 'n ontleding van die model se prestasie, beide in standaard maatstawwe en in werklike scenario's. Om effektiewe optimering vir praktiese toepassings te verseker, is 'n nuwe hoë-gehalte menslike evaluering suite geskep. Hierdie stel bestaan ​​uit 1.800 12 opdragte wat XNUMX hoofgebruiksgevalle dek, insluitend vra vir raad, dinkskrum, sorteer, beantwoord geslote vrae, kodering, kreatiewe skryfwerk, onttrek, verpersoonlik karakters/personas, beantwoord oop vrae, redeneer, herskryf e opsomming.

Om die oorpas (of oorpas, die mees gebruikte term) toevallig van modelle tot hierdie evaluasiestel, selfs Meta se eie modelleringspanne het nie toegang daartoe nie. Die voorgestelde grafiek toon die saamgestelde resultate van menslike evaluasies in hierdie kategorieë en aansporings, en vergelyk die prestasie van Llama 3 met die modelle Claude Sonnet, Mistral Medium e GPT-3.5.

Hoe Llama 3 Meta AI verbeter

As gevolg van die vordering wat met Meta Llama 3 gemaak is, kondig die maatskappy die internasionale uitbreiding van Meta AI aan - onthou dat die hulpbron eksklusief aan die Verenigde State was. Meta AI is 'n sterk mededinger vir bestaande modelle en is nou beskikbaar vir meer mense regoor die wêreld, wat gebruikers van die Facebook, Instagram, WhatsApp e Messenger geniet hierdie gratis tegnologie om 'n verskeidenheid aksies uit te voer, inhoud te skep en inligting intyds te verkry.

Meta AI is aanvanklik tydens Connect verlede jaar geopenbaar, en nou gebruikers in lande soos Australië, Kanada, Ghana, Jamaika, Malawi, Nieu-Seeland, Nigerië, Pakistan, Singapoer, Suid-Afrika, Uganda, Zambië e Zimbabwe kan ook die voordele daarvan geniet. As deel van die uitbreiding van Meta AI, sal mense nou ook toegang daartoe kan kry meta.ai, in die webweergawe.

Beplan jy om saans saam met vriende uit te gaan? Vra Meta AI om 'n restaurant met 'n wonderlike uitsig en selfs veganistiese opsies aan te beveel. Reël jy 'n reis vir die naweek? Vra Meta KI om shows vir Saterdagaand te vind. Berei jy voor vir 'n toets? Vra Meta KI om te verduidelik hoe oorerflike eienskappe werk. Trek jy in jou eerste woonstel in? Vra Meta AI om die estetika wat jy wil hê te “verbeel” en die assistent sal ’n paar inspirasiefoto's vir jou meubels genereer. 

Meta verduidelik 'n bietjie hoe AI jou kan help

O Meta AI dit sal ook direk in die soekfunksie van Facebook, Instagram, WhatsApp en Messenger beskikbaar wees. Dit beteken jy kan toegang tot inligting vanaf die internet intyds sonder om tussen toepassings te wissel. Stel jou byvoorbeeld voor dat jy 'n reis saam met vriende in 'n Messenger-groepklets beplan. Met Messenger-soektog kan jy Meta AI – aangedryf deur die nuwe Llama 3 – vra om vlugte van jou oorsprong na jou bestemming te vind, en ontdek die stadigste naweke om te besoek. En dit alles natuurlik sonder om die Messenger-toepassing te verlaat.

Mense sal ook die vermoë hê om toegang tot Meta AI te kry terwyl hulle deur hul Facebook-stroom blaai. As jy 'n plasing vind wat jou belangstelling wek, kan jy meer inligting direk vanaf Meta AI vanaf daardie plasing versoek, net soos 'n gewone Google-soektog, net binne 'n Facebook-plasing.

Meta versnel die beeldproses om mense in staat te stel om intydse beelde uit teks te skep deur Meta AI se Imagine-funksie te gebruik. Die ontplooiing van hierdie kenmerk het vandag in beta begin, beskikbaar op WhatsApp en die Meta AI-webervaring in die Verenigde State. Wanneer hulle begin tik, sal mense sien dat 'n prent onmiddellik verskyn. Hierdie prent sal ontwikkel met elke paar letters wat jy tik, sodat jy kan kyk hoe Meta AI jou idee intyds tot lewe bring.

Volgens die maatskappy bied hierdie gegenereerde beelde 'n verbeterde skerpte en kwaliteit, wat 'n beter vermoë bied om teks in beelde in te sluit. Boonop sal dit voorstelle gee vir die verbetering van die beeld, sodat jy kan voortgaan om te verfyn vanaf jou aanvanklike beginpunt. Wanneer jy 'n prent kry, vra eenvoudig Meta AI om dit te animeer, dit aan te pas na 'n nuwe formaat, of selfs omskep in 'n GIF om met jou vriende te deel.

Alhoewel hierdie opdaterings spesifiek vir Meta AI op Facebook, Instagram, WhatsApp, Messenger en die web is, is dit belangrik om te onthou dat Meta AI ook in die Verenigde State beskikbaar is vir slimbrille Ray-Ban Meta, en binnekort Meta-soeke - Meta virtuele realiteit toestelle.

Deursigtigheid met oopbron en sekuriteit

Die potensiaal van generatiewe KI-tegnologie kan werklik die gebruikerservaring van Meta se produkte en die breër ekosisteem verbeter. Nog 'n punt wat aangespreek moet word, is om te verseker dat dit in 'n verantwoordelik e verseker. Daarom neem die maatskappy maatreëls om risiko's te evalueer en te versag in alle stadiums van KI-ontwikkeling en implementering. Dit sluit in die integrasie van voorsorgmaatreëls in die Llama-basismodelontwerp en vrystellingsproses, sowel as die ondersteuning van die ontwikkelaarekosisteem om verantwoordelike praktyke te bevorder.

Daarom is met Lama 3 'n sistematiese benadering gevolg wat integreer voorsorgmaatreëls in alle stadiums van ontwikkeling. Dit beteken dat spesiale sorg toegepas is op opleiding en instelprosesse, benewens die aanbieding van nutsmiddels wat ontwikkelaars in staat stel om modelle verantwoordelik te implementeer.

Hierdie benadering versterk nie net pogings in verantwoordelike KI nie, maar weerspieël ook die visie van oop innovasie, wat ontwikkelaars bemagtig om hul produkte veilig aan te pas om hul gebruikers te bevoordeel. Meta het ook die Verantwoordelike gebruiksgids, 'n belangrike bron vir ontwikkelaars, wat riglyne verskaf vir die bou van produkte.

Soos ons verduidelik het toe ons Llama 2 vrygestel het, is dit belangrik om doelbewus te wees in die ontwerp van hierdie maatreëls, aangesien daar sommige is wat slegs effektief deur die modelverskaffer geïmplementeer kan word, en ander wat slegs effektief werk wanneer dit deur die ontwikkelaar geïmplementeer word as deel van hul spesifieke aansoek.

Versterk die maatskappy

Sedert die bekendstelling van Meta AI verlede jaar, het die handelsmerk voortdurend die ervaring op verskeie gebiede verbeter:

• Meta KI se reaksies op politieke en sosiale kwessies is verfyn, met spesifieke riglyne vir hierdie onderwerpe. Die doel is om 'n verskeidenheid relevante standpunte oor 'n onderwerp te bied, terwyl die gebruiker se bedoelings respekteer word wanneer spesifieke vrae gevra word.
• Insluitend spesifieke instruksies en antwoorde om dit meer bruikbaar te maak, gebruik beloningsmodelle om jou gedrag te lei.
• Meta KI se prestasie word geëvalueer in maatstawwe en deur toetsing met menslike kundiges, wat enige kwessies wat in 'n deurlopende proses geïdentifiseer word, aanspreek.
• Versoek- en reaksievlakbeskermingsmaatreëls, insluitend filters en klassifiseerders om te verseker dat interaksies in lyn is met riglyne en veilig is.
• Terugvoernutsmiddels vir gebruikers om hul ervarings te deel, wat ons in staat stel om voortdurend Meta AI se werkverrigting te verbeter.

En jy, wat het jy van die nuus gedink? Ons kan nie wag om na Brasilië te kom nie, kan ons nie? Vertel ons wat jy in ons gevind het kommentaar!

Kyk ook:

Google Foto's gratis gratis AI-beeldbewerking vir alle gebruikers.

Met inligting van: Doelwit [1], [2] e [3].

Nagesien deur Glaucon Vital op 18/4/24.