Stabilna difuzija () jest model dubokog učenja za generiranje slika iz teksta, objavljen 2022. godine i zasnovan na difuzionim tehnikama. Razvoj modela uključivao je istraživače iz grupe CompVis pri LMU Munich, kompaniju Runway i kompaniju Stability AI, a model je postao jedan od najpoznatijih proizvoda u ranom valu generativne vještačke inteligencije.
Pored generiranja slika iz tekstualnih opisa, može se koristiti i za inpainting, outpainting te transformaciju jedne slike u drugu uz pomoć tekstualnog upita. Za razliku od ranijih zatvorenih sistema poput DALL-Ea i Midjourneya, kod i unaprijed istrenirane težine modela objavljeni su javno, što je omogućilo pokretanje modela i na potrošačkom hardveru s relativno skromnim GPU-om.
Razvoj Stabilna difuzija proizašao je iz projekta Latent Diffusion, razvijenog u Njemačkoj pri LMU Munich i Univerzitetu Heidelberg. Među izvornim autorima latentnog difuzionog pristupa bili su Robin Rombach, Andreas Blattmann, Patrick Esser, Dominik Lorenz i Björn Ommer. Kasnije su pojedini autori prešli u Stability AI, koja je objavila naredne verzije Stable Diffusiona.
Tehnologija mini|desno|300px|Dijagram latentne difuzione arhitekture korištene u Stable Diffusionu mini|desno|300px|Ilustracija procesa uklanjanja šuma pri generiranju slike
Arhitektura Stabilna difuzija je latentni difuzioni model, odnosno varijanta difuzionog modela u kojoj se obrada ne odvija neposredno nad pikselima slike, nego u komprimiranom latentnom prostoru. Sistem se sastoji od varijacionog autoenkodera (VAE), mreže U-Net i opcionalnog tekstualnog enkodera. VAE komprimira sliku iz prostora piksela u latentni prostor, U-Net postupno uklanja dodani šum, a dekoder zatim rekonstruira konačnu sliku.
Za uvjetovanje tekstom koristi se unaprijed istrenirani CLIP tekstualni enkoder i mehanizam unakrsne pažnje (cross-attention). Prema izvorima iz ranog perioda razvoja, model s približno 860 miliona parametara u U-Netu i 123 miliona u tekstualnom enkoderu smatran je relativno laganim za svoje vrijeme, te je mogao raditi i na potrošačkim grafičkim karticama.
Skupovi podataka i treniranje Model je istreniran na parovima slika i opisa preuzetih iz skupa LAION-5B, javno dostupnog korpusa izvedenog iz podataka Common Crawla. Za treniranje su korišteni podskupovi laion2B-en, laion-high-resolution i laion-aesthetics v2 5+. Prema jednom sažetku iz izvornog članka, proces treniranja izvršen je na 256 grafičkih procesora Nvidia A100 na Amazon Web Services infrastrukturi.
U kasnijim analizama isticano je da skupovi podataka sadržavaju i privatne ili osjetljive podatke, što je otvorilo pitanja privatnosti i zakonitosti prikupljanja podataka za treniranje generativnih modela.
Verzije Serija modela Stable Diffusion tokom vremena je proširena s početnih izdanja 1.1–1.4, preko verzija 1.5 i 2.0, do kasnijih sistema kao što su SDXL i Stable Diffusion 3/3.5. SDXL je donio veći model i nativnu podršku za slike rezolucije 1024 × 1024, dok je Stable Diffusion 3 prešao na arhitekturu zasnovanu na Rectified Flow Transformeru i MMDiT pristupu.
Mogućnosti i ograničenja Najpoznatija primjena jest generiranje slika na osnovu prirodnojezičnih opisa. Korisnik unosi prompt, a model iterativnim uklanjanjem šuma proizvodi novu sliku koja odgovara tekstualnom opisu. Osim toga, model podržava img2img postupak, kojim se postojeća slika modificira zadržavajući osnovnu strukturu, kao i selektivno popunjavanje ili proširivanje slike.
Rane verzije modela bile su istrenirane pretežno na slikama rezolucije 512 × 512, zbog čega je kvalitet generiranih slika mogao opadati izvan očekivanih dimenzija. Uočeni su i česti problemi pri generiranju ljudskih ruku, lica i čitljivog teksta, što se u izvorima dovodilo u vezu s ograničenjima i pristrasnostima trening-skupa. Također su isticane algoritamske pristrasnosti, budući da je model primarno treniran na slikama s opisima na engleskom jeziku i s naglašenijom zastupljenošću zapadnih kulturnih obrazaca.
Upotreba i kontroverze Zbog otvorenije dostupnosti, Stable Diffusion brzo je postao osnova za velik broj grafičkih sučelja, prilagođenih modela i zajedničkih projekata, ali je istovremeno otvorio rasprave o zloupotrebi, autorskim pravima, etici i privatnosti. Kritičari su ukazivali na mogućnost generiranja nasilnog, seksualno eksplicitnog ili obmanjujućeg sadržaja, dok su pristalice otvorenog pristupa tvrdile da objavljivanje modela smanjuje korporativnu kontrolu nad generativnom umjetnom inteligencijom.
Sudski sporovi U januaru 2023. umjetnice Sarah Andersen, Kelly McKernan i Karla Ortiz podnijele su tužbu protiv Stability AI, Midjourneya i DeviantArta, tvrdeći da su njihova prava i prava miliona drugih autora povrijeđena jer su AI alati trenirani na slikama preuzetim s interneta bez pristanka izvornih autora.
Istog mjeseca i Getty Images pokrenuo je postupak protiv Stability AI pred Visokim sudom Engleske i Walesa, navodeći da je kompanija bez dozvole preuzela milione Gettyjevih slika i koristila ih za treniranje Stable Diffusiona.
Licenca Za razliku od nekih konkurentskih modela, Stable Diffusion je objavljen sa javno dostupnim izvornim kodom i modelskim težinama. Izvorna licenca omogućavala je i komercijalnu upotrebu generiranih izlaza uz određena ograničenja, dok su novije verzije, uključujući Stable Diffusion 3.5, objavljene pod Stability AI Community License, uz posebne uslove za veća komercijalna preduzeća.
Također pogledaj Vještačka inteligencija u umjetnosti Difuzioni model Midjourney DALL-E Hugging Face
Reference
Kategorija:Vještačka inteligencija Kategorija:Strojno učenje Kategorija:Računarska grafika Kategorija:Softver iz 2022.