Veelvoorkomende Problemen met Generatieve Beeldmodellen

Generatieve AI, hoewel revolutionair, kent verschillende uitdagingen die de praktische toepassing kunnen belemmeren, met name op het gebied van efficiëntie en consistentie. Het genereren van aangepaste beelden kost veel middelen en vergt aanzienlijke rekenkracht en tijd. Deze inefficiëntie wordt nog groter bij het creëren van meerdere afbeeldingen die een consistente stijl en kwaliteit moeten behouden. Gebruikers ervaren vaak problemen met AI-uitvoer die in stijl varieert, wat meerdere generaties en verfijningen vereist om specifieke esthetische doelen te bereiken. Deze inconsistentie kan een belangrijke bottleneck worden, vooral in professionele omgevingen waar tijd cruciaal is en visuele samenhang essentieel.

Hoewel de huidige geavanceerde beeldmodellen in eerste instantie goede illustraties kunnen produceren, zijn deze beelden bij nader inzien vaak niet geschikt voor nabewerking. Veelvoorkomende problemen zijn inconsistente, vlakgekleurde vormen en rommelige achtergronden.

StyleSketch

StyleSketch pakt deze veelvoorkomende uitdagingen aan. Op het eerste gezicht lijkt het een webpagina met een verzameling illustraties, maar achter de schermen wordt het aangedreven door de nieuwste AI-technologieën. Het combineert de voordelen van traditionele illustratiewebsites – snelheid, SVG-exporten en doorzoekbare content – met de voordelen van generatieve beeldmodellen, zoals een enorme collectie en on-demand generatie. In dit blogbericht geven we inzicht in de technologieën die StyleSketch aandrijven.

De Illustratiehiërarchie

Het begint met het genereren van 'ideeën' voor de illustraties. We bestrijken een breed scala aan onderwerpen om StyleSketch aantrekkelijk te maken voor algemeen gebruik. Voor de eerste versie beginnen we met een reeks ideeën die zijn verzameld van populaire internetbronnen. Een enkel idee is een beschrijving van een specifieke illustratie. Deze ideeën worden gegroepeerd in collecties om een kleine hiërarchie van illustraties te creëren, waardoor ze doorzoekbaar zijn op de website.

We weten dat beeldgeneratiemodellen verre van perfect zijn. Uit de vorige versie van StyleSketch hebben we geleerd dat het meestal 10-20 pogingen kost om bevredigende resultaten te bereiken. Daarom genereren we meerdere versies voor elk 'idee'; met genoeg pogingen krijgen we uiteindelijk de 'perfecte' versie.

De Geautomatiseerde Pipeline

De pipeline bestaat uit de volgende stappen:

1. Idee naar beeldprompt

2. Beeldprompt naar ruwe illustratie

3. Ruwe illustratie naar schone illustratie

In de eerste stap zetten we grote taalmodellen (LLM's), zoals ChatGPT, in om 'ideeën' om te zetten in bruikbare prompts voor generatieve beeldmodellen. Bijvoorbeeld: "De Duitse Staande Korthaar, bekend als de 'perfecte staande hond', werd zorgvuldig gefokt door Duitse jagers om uit te blinken als vogelhond" kan worden: "Een illustratie van een Duitse Staande Korthaar, zwart-wit, tekening, geïsoleerd, …"

In de volgende stap wordt deze prompt gevoed aan een generatief beeldmodel, dat is verfijnd voor een specifieke stijl. Het generatieproces duurt enkele seconden op een GPU-cluster. Dit is de magie die alle illustraties op StyleSketch stijl-consistent maakt en ons in staat stelt de afbeeldingsdatabase opnieuw op te bouwen voor verschillende stijlen, zoals een specifieke merkstijl.

In de laatste stap pakken we ruisproblemen aan door de ruwe illustraties schoon te maken. We gebruiken een script om het aantal kleuren te verminderen, de resultaten glad te strijken en pixelafbeeldingen om te zetten in vectorformaat - een lichter en bewerkbaar formaat waarmee we achtergrondvormen kunnen verwijderen.

Verbeteren in de Loop van de Tijd

Nu hebben we een enorme database van illustraties, met meerdere versies voor elk idee. Natuurlijk zullen sommige illustraties niet bruikbaar zijn omdat ze door stochastische modellen zijn gegenereerd. Om dit te overwinnen, gebruiken we gebruikersinteracties om te bepalen welke versies van de hoogste kwaliteit zijn, gebaseerd op likes, downloadinteracties en weergaven. Deze gemeenschapsgerichte aanpak zorgt ervoor dat de hoogste kwaliteit afbeeldingen gemakkelijk toegankelijk zijn en verbetert de website in de loop van de tijd.

Conclusie

StyleSketch biedt een oplossing voor iedereen die op zoek is naar hoogwaardige, door AI gegenereerde beelden zonder de gebruikelijke wachttijden en inconsistenties. Door een samengestelde bibliotheek van vooraf gegenereerde afbeeldingen in een consistente stijl aan te bieden, vereenvoudigt het platform het creatieve proces voor gebruikers in verschillende velden. Het dynamische gebruikersinteractiesysteem, waarbij populaire afbeeldingen snel worden geïdentificeerd en uitgelicht, zorgt ervoor dat gebruikers gemakkelijk topkwaliteit visueel materiaal kunnen vinden.

We kijken ernaar uit om de ontwikkeling van StyleSketch voort te zetten, de kwaliteit te verbeteren en creatievelingen eenvoudige toegang te bieden tot illustraties.

Bezoek stylesketch.app en download enkele illustraties!