Stable Diffusion: Aus Text Bilder generierendes Maschinenlern-Modell

Die Open-Source-Software wird hauptsächlich zur Generierung detaillierter Bilder auf der Grundlage von Textbeschreibungen verwendet, kann aber auch für andere Aufgaben wie Inpainting, Outpainting und die Erzeugung von Bild-zu-Bild-Übersetzungen auf der Grundlage einer schriftlichen Aufforderung (Prompt) eingesetzt werden.

Stable Diffusion
Ein von Stable Diffusion generiertes Bild mithilfe des Prompts: „a photograph of an astronaut riding a horse“
Basisdaten
Entwickler	Stability AI
Erscheinungsjahr	August 22, 2022
Betriebssystem	Jedes, das CUDA unterstützt.
Programmiersprache	Python
Kategorie	Text-zu-Bild-Generator
Lizenz	Creative ML OpenRAIL-M
https://stability.ai/stable-image

Stable Diffusion verwendet ein latentes Diffusionsmodell als Variante eines tiefen generativen neuronalen Netzes, das von der CompVis-Gruppe an der LMU München in Zusammenarbeit von Stability AI, CompVis LMU und Runway mit Unterstützung von EleutherAI und LAION entwickelt wurde.

Im Oktober 2022 erhielt Stability AI in einer von Lightspeed Venture Partners und Coatue Management angeführten Finanzierungsrunde 101 Millionen US-Dollar.

Der Code und die Modellgewichte von Stable Diffusion wurden veröffentlicht und können auf vielen Consumer-Hardware-Systemen ausgeführt werden, sofern diese mit einer GPU mit mindestens 8 GB Grafikspeicher ausgestattet sind. Die Verwendung auf weniger leistungsfähiger Hardware bzw. ohne GPU-Beschleunigung ist mittlerweile ebenfalls möglich, jedoch deutlich langsamer. Dieser offene Ansatz stellt eine Abkehr von proprietären Text-zu-Bild-Modellen wie DALL-E und Midjourney dar, die nur über Cloud-Dienste zugänglich sind.

 

 

Trainingsdaten

Stable Diffusion wurde anhand von Bild- und Beschriftungspaaren aus LAION-5B trainiert, einem öffentlich zugänglichen Datensatz, der aus „Common Crawl“-Daten aus dem Internet abgeleitet wurde. Dabei wurden 5 Milliarden Bild-Text-Paare auf der Grundlage ihrer Sprache, Auflösung, vorhergesagter Wahrscheinlichkeit ein Wasserzeichen zu enthalten, und vorhergesagter „ästhetischer“ Bewertung (z. B. subjektive visuelle Qualität) in separate Datensätze gefiltert. Der Datensatz wurde von LAION erstellt, einer deutschen gemeinnützigen Organisation, die von Stability AI finanziert wird. Das Stable-Diffusion-Modell wurde auf drei Teilmengen von LAION-5B trainiert: laion2B-de, laion-high-resolution und laion-aesthetics v2 5+. Eine von Dritten durchgeführte Analyse der Trainingsdaten des Modells ergab, dass von einer kleineren Teilmenge von 12 Millionen Bildern aus dem ursprünglich verwendeten größeren Datensatz etwa 47 % der Bilder von 100 verschiedenen Domains stammten, wobei Pinterest 8,5 % der Teilmenge ausmachte, gefolgt von Websites wie WordPress, Blogger, Flickr, DeviantArt und Wiki Commons.

Eine Recherche des Bayerischen Rundfunks zeigte, dass die Datensätze von LAION, die auf Hugging Face liegen, große Mengen an privaten und sensiblen Daten enthalten.

Aufgrund der Kritik von Künstlern, Fotografen und anderen Kreativen hat Stability AI 2024 für Stable Cascade und Stable Diffusion 3 die vom Verein Spawning geschaffene Möglichkeit für Künstler genutzt, ihre Werke per Opt-Out von einem Training auszuschließen. Ebenso wären Daten von Institutionen und Personen ausgeschlossen worden, die Stablity AI direkt kontaktiert haben.

Stable Diffusion beansprucht keine Rechte an den generierten Bildern und räumt den Nutzern die Nutzungsrechte für alle aus dem Modell generierten Bilder ein, vorausgesetzt, der Bildinhalt ist nicht illegal oder schädlich für Personen. Die den Nutzern gewährte Freiheit bei der Verwendung der Bilder hat zu einer Kontroverse über die Ethik des Eigentums geführt, da Stable Diffusion und andere generative Modelle anhand von urheberrechtlich geschützten Bildern ohne die Zustimmung des Eigentümers trainiert werden.

Da visuelle Stile und Kompositionen nicht dem Urheberrecht unterliegen, wird häufig die Auffassung vertreten, dass Benutzer von Stable Diffusion, die Bilder von Kunstwerken generieren, nicht gegen das Urheberrecht von visuell ähnlichen Werken verstoßen. Allerdings können Personen, die in den generierten Bildern abgebildet sind, durch Persönlichkeitsrechte geschützt sein, wenn ihr Konterfei verwendet wird, und geistiges Eigentum wie erkennbare Markenlogos bleiben weiterhin durch das Urheberrecht geschützt. Dennoch haben bildende Künstler ihre Besorgnis darüber geäußert, dass der weit verbreitete Einsatz von Bildsynthese-Software wie Stable Diffusion dazu führen könnte, dass menschliche Künstler sowie Fotografen, Models, Kameraleute und Schauspieler allmählich ihre kommerzielle Rentabilität gegenüber KI-basierten Konkurrenten verlieren.

Im Vergleich zu anderen kommerziellen Produkten, die auf generativer KI beruhen, ist Stable Diffusion deutlich freizügiger, was die Art der Inhalte angeht, die die Nutzer erstellen dürfen, wie etwa gewalttätige oder sexuell eindeutige Bilder. Emad Mostaque, CEO von Stability AI, entgegnet den Bedenken, dass das Modell zu missbräuchlichen Zwecken eingesetzt werden könnte: „Es liegt in der Verantwortung der Menschen, ob sie diese Technologie auf ethische, moralische und legale Weise einsetzen“, und dass die Technologie trotz möglicher negativer Folgen einen Nettonutzen bringen würde, wenn die Fähigkeiten von Stable Diffusion der Öffentlichkeit zugänglich gemacht würden. Darüber hinaus argumentiert Mostaque, dass die Absicht hinter der offenen Verfügbarkeit von Stable Diffusion darin besteht, die Kontrolle von Unternehmen über solche Technologien zu beenden, die bisher nur geschlossene KI-Systeme für die Bildsynthese entwickelt haben. Dies spiegelt sich in der Tatsache wider, dass alle Beschränkungen, die Stability AI für die von den Nutzern erzeugten Inhalte auferlegt, aufgrund der Open-Source-Natur der Lizenz, unter der Stable Diffusion veröffentlicht wurde, leicht umgangen werden können. Neuere Versionen wie Stable Diffusion 2 und 3 sowie Stable Cascade wurden mit gefilterten Datensätzen trainiert, um die Erstellung von sexuellen oder gewalttätigen Bildern zu verhindern, eine Entscheidung, die in der Open-Source-Community stark umstritten ist.

Im Juli 2023 stellte Stability AI MindEye vor. Ein KI Model, das mittels Stable Diffusion und funktioneller Magnetresonanztomographie (fMRI) bildhafte Erinnerungen von Probanden rekonstruieren und auslesen kann. Im März 2024 veröffentlichte MedARC MindEye2. Das verbesserte Model soll nach nur einer Stunde Training auf Patientendaten Rekunstruktionen in hoher Qualität liefern.

Im Gegensatz zu Modellen wie DALL-E stellt Stable Diffusion seinen Quellcode zusammen mit den vortrainierten Gewichten zur Verfügung. Die Lizenz von Stable Diffusion verbietet bestimmte Anwendungsfälle, darunter Verbrechen, Verleumdung, Belästigung, Doxing, „Ausbeutung von Minderjährigen“, medizinische Ratschläge, die automatische Schaffung rechtlicher Verpflichtungen, die Erstellung juristischer Beweise und „die Diskriminierung oder Schädigung von Einzelpersonen oder Gruppen aufgrund von … sozialem Verhalten oder … persönlichen oder charakterlichen Eigenschaften … [oder] gesetzlich geschützten Merkmalen oder Kategorien“. Der Nutzer ist Eigentümer der Rechte an den von ihm erzeugten Bildern (sofern für KI-generierte Kunst überhaupt Urheberrecht beansprucht werden kann) und kann diese kommerziell nutzen.

• Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer: High-Resolution Image Synthesis with Latent Diffusion Models. 13. April 2022, doi:10.48550/arXiv.2112.10752. 

 

Commons: Stable Diffusion – Sammlung von Bildern, Videos und Audiodateien

• Stable Diffusion Demo
• Easy Diffusion Stable Diffusion für Windows 10/11, Linux und macOS.
• Der Rohstoff der KI sind wir: Recherche des Bayerischen Rundfunks zu sensiblen und privaten Daten im LAION5b-Datensatz