Google a lansat Gemma 3, un model lingvistic AI bazat pe tehnologia Gemini, parte a seriei open-source a companiei. Această versiune apare la puțin peste un an după lansarea primelor două modele și consolidează strategia companiei de a folosi la toate modele tehnologia Gemini.
Modelele Gemma sunt un set de modele de inteligență artificială cu capacități generative, utilizate în diverse sarcini. Versiunea Gemma 3 aduce îmbunătățiri majore versii anterioare, inclusiv suport pentru imagini și text, context de intrare mai mare și suport extins pentru limbi, potrivit Google, informează stiripesurse.
De asemenea, Gemma 3 introduce tehnologia multimodalități și aceptă intrări în limbaj vizual și ieșiri text. Acesta gestionează ferestre contextuale de până la 128k token-uri, înțelege peste 140 de limbi și oferă capacități îmbunătățite de matematică, gândire și conversație, inclusiv rezultate structurate și apeluri.
Totodată, Gemma 3 este disponibil în patru dimensiuni (1B, 4B, 12B și 27B), atât ca modele pre-pregătite, care pot fi ajustate pentru propriile cazuri de utilizare și domenii, cât și ca versiuni cu instrucțiuni generale ajustate.
Noua versiune permite dezvoltatorilor să creeze aplicații AI care pot rula pe o gamă variată de dispozitive, de la smartphone-uri la stații de lucru.
Cu Gemma 3, dezvoltatorii pot crea aplicații bazate pe AI care pot rula pe orice device, de la un smartphone la o stație de lucru și suportă peste 35 de limbi. Google susține că Gemma 3 depășește alte modele open-source, precum Llama și DeepSeek, datorită optimizărilor avansate și a strategiilor de antrenare.
Cum a fost construit modelul Gemma 3
Procesele de pre-formare și post-formare ale Gemma au fost optimizate prin utilizarea unei combinații de procese de distilare, învățare prin consolidare și fuzionare a modelelor.
De asemenea, Gemma 3 utilizează un nou tokenizator pentru un suport multilingv mai bun pentru peste 140 de limbi și a fost antrenat pe 2T token-uri pentru 1B, 4T token-uri pentru 4B, 12T token-uri pentru 12B și 14T token-uri pentru 27B, pe Google TPU utilizând JAX Framework.
Pentru post-formare, Gemma 3 utilizează 4 componente: distilarea dintr-un model de formare mai mare în puncte de control Gemma 3 pre-format, învățarea prin consolidare din feedback uman (RLHF) pentru a alinia predicțiile modelului cu preferințele umane, învățarea prin consolidare din feedback-ul mașinii (RLMF) pentru a îmbunătăți raționamentul matematic și învățarea prin consolidare din feedback-ul de execuție (RLEF) pentru îmbunătățirea capacităților de codificare.
