Google Research i DeepMind predstavili su VaultGemma, otvoreni jezički model sa 1 milijardom parametara, u potpunosti treniran s diferencijalnom privatnošću radi minimiziranja rizika od memorisanja i curenja podataka. Model postavlja novi standard u privatno orijentisanom AI razvoju i dolazi s formalnim garancijama privatnosti, iako performanse zaostaju za ne-privatnim modelima slične veličine.

VaultGemma je novi otvoreni jezički model fokusiran na privatnost, razvijen od strane Google Research i DeepMind timova kao najveći model treniran od nule s diferencijalnom privatnošću. Cilj je adresirati napade memorisanja i ekstrakcije osjetljivih podataka koji prijete modelima treniranim na web-skalnim skupovima podataka. Model dodaje kalibrisanu buku tokom treniranja kako bi ograničio uticaj pojedinačnih primjera, bez kompromitiranja upotrebljivosti u realnim scenarijima.

Šta donosi VaultGemma

VaultGemma kombinira arhitekturalnu efikasnost malih otvorenih modela sa rigoroznim privatnosnim mehanizmima, nudeći novi balans između sigurnosti podataka i praktične upotrebe. Iako je veličine 1B parametara, naglasak nije na maksimalnim rezultatima već na mjerljivim garancijama da pojedinačni zapisi ne utiču značajno na ponašanje modela. Time se smanjuje rizik da model reproducira osjetljive nizove teksta iz skupa za treniranje.

Tehnička inovacija i privatnost

Model je treniran tehnikom DP-SGD sa klipovanjem gradijenata i dodavanjem Gaussove buke, uz formalnu garanciju privatnosti na nivou sekvence od ϵ≤2.0,δ≤1.1×10−10ϵ≤2.0,δ≤1.1×10−10. Korišten je skup od približno 13 triliona tokena sličan onom za Gemma 2, dominantno iz engleskih web dokumenata, koda i naučnih radova. Tim je razvio nove skalirajuće zakonitosti za DP modele koje kvantifikuju kompromis između računa, privatnosti i korisnosti, te su poslužile za precizno planiranje resursa na velikom TPU klasteru.

Performanse i dostupnost

VaultGemma pokazuje nedetektabilno memorisanje prema empirijskim testovima, ali performanse su ispod ne-privatnih modela slične veličine. Na akademskim mjerilima, rezultati su približni ne-privatnim modelima od prije nekoliko godina; npr. na ARC‑C bilježi oko 26.45 naspram oko 38.31 za noviji Gemma‑3 1B. Težine modela i prateća tehnička dokumentacija dostupni su zajednici radi ubrzanja istraživanja privatnog AI razvoja.

Zašto je ovo važno

Regulatorni i etički zahtjevi za zaštitu podataka zahtijevaju modele s formalnim garancijama, a VaultGemma demonstrira da se takve garancije mogu postići u LLM-ovima bez potpunog žrtvovanja praktične vrijednosti. Istraživanje i objavljene metodologije olakšavaju ponovljivost i unapređenje budućih privatnih modela. Ovaj korak pomaže smanjivanju jaza između privatnih i ne-privatnih modela kroz mjerljive inženjerske smjernice.

Za koga je VaultGemma

• Timovi koji obrađuju osjetljive tekstualne podatke i traže stroge privatnosne garancije.
• Istraživači koji razvijaju i testiraju nove algoritme za DP treniranje i evaluaciju memorisanja.
• Inženjerski timovi koji žele male, efikasne i privatno orijentisane modele za lokalnu ili perimetarsku primjenu.

Primarne upotrebe

• Sažimanje i klasifikacija sadržaja uz smanjeni rizik od curenja specifičnih zapisa.
• Privatno orijentisani pomoćnici i chatbotovi u regulisanim domenima.
• Naučno-istraživački eksperimenti sa DP skalirajućim zakonitostima i budžetima privatnosti.

Ograničenja i budući rad

• Niže performanse naspram ne-privatnih parnjaka slične veličine, posebno na zadacima koji traže široko znanje.
• Kratki kontekst prozor i ograničenja manjeg modela mogu zahtijevati precizno uputstvo i prompt inženjering.
• Očekuje se daljnje zatvaranje jaza kroz optimizaciju mehanizama DP treniranja i efikasnije raspodjele budžeta privatnosti.

Zaključak

VaultGemma predstavlja ključni iskorak ka modelima “privatnost-po-dizajnu” koji balansiraju sigurnost podataka i praktičnu primjenjivost. Otvorena izdanja težina i metodologije daju zajednici konkretne alate da gradi sljedeću generaciju sigurnih i odgovornih AI sistema.