zondag, mei 19, 2024
HomeTechnologyMet Firefly stapt Adobe in het generatieve AI-spel

Met Firefly stapt Adobe in het generatieve AI-spel


Adobe springt in het generatieve AI-spel met de lancering van een nieuwe familie van AI-modellen genaamd Glimworm.

Gericht op het introduceren van AI in Adobe’s reeks apps en services, met name AI voor het genereren van media-inhoud, zal Firefly bestaan ​​uit meerdere AI-modellen die “in verschillende gebruikssituaties werken”, vertelde Adobe VP van generatieve AI Alexandru Costin aan TechCrunch in een e-mail interview.

Het is een uitbreiding van de generatieve AI-tools die Adobe vorig jaar introduceerde in Photoshop, Express en Lightroom tijdens de jaarlijkse Max-conferentie, waarmee gebruikers objecten, composieten en effecten kunnen maken en bewerken door ze simpelweg te beschrijven. Naarmate het enthousiasme rond de technologie groeit, heeft Adobe bijvoorbeeld geracet om het tempo vast te houden toestaan bijdragers om AI-gegenereerde kunstwerken te verkopen op zijn inhoudsmarktplaats.

“Firefly is de volgende stap op onze AI-reis – het samenbrengen van onze nieuwe ‘gentech’-modellen met tientallen jaren van investeringen in beeldvorming, typografie, illustratie en meer om activa te produceren,” zei Costin. “We zullen deze waarde toevoegen aan de workflows van onze klanten waar content wordt gecreëerd in Creative Cloud, Experience Cloud en Document Cloud.”

Firefly zoals het nu bestaat, in bèta en zonder vaste prijzen (Adobe zegt dat dat eraan komt), biedt een enkel model ontworpen om afbeeldingen en teksteffecten te genereren op basis van beschrijvingen. Het model is ontwikkeld met behulp van honderden miljoenen foto’s en kan inhoud creëren in Adobe-apps, waaronder Express, Photoshop, Illustrator en Adobe Experience Manager, mits een tekstprompt.

Adobe Firefly

Beeldcredits: Adobe

Naast het eenvoudig genereren van tekst naar afbeelding, kan Adobe’s eerste Firefly-model verschillende stijlen ‘overdragen’ naar bestaande afbeeldingen à la Prisma. Op basis van door de gebruiker aangeleverde beschrijvingen kan het ook stijlen of texturen toepassen op letters en lettertypen.

Adobe zegt dat illustraties die zijn gemaakt met behulp van Firefly-modellen metadata zullen bevatten die aangeven dat het gedeeltelijk – of geheel – door AI is gegenereerd. Dat is zowel een praktische als een juridische overweging; artiesten op platforms zoals ArtStation hebben opgevoerd protesten om hun onvrede te uiten over de stortvloed aan nieuwe door AI gegenereerde kunst, terwijl China onlangs het eerste land werd dat dit deed verbieden Door AI gegenereerde media zonder watermerken.

“Met Firefly kan iedereen die content creëert – ongeacht ervaring of talent – zijn eigen woorden gebruiken om content te genereren op de manier waarop ze het bedenken,” zei Costin.

Bouwen voor makers

Op technisch vlak verschilt het eerste Firefly-model niet van tekst-naar-beeld-AI zoals OpenAI’s DALL-E 2 en Stable Diffusion. Beide kunnen de stijl van de ene afbeelding op de andere overbrengen en nieuwe afbeeldingen genereren uit tekstbeschrijvingen.

Maar Adobe beweert dat Firefly de ethische en logistieke valkuilen zal vermijden waarvan veel van zijn rivalen het slachtoffer zijn geworden. Dat is een grote opdracht.

AI zoals het eerste Firefly-model “leert” nieuwe afbeeldingen te genereren op basis van tekstprompts door bestaande afbeeldingen te “trainen”, die vaak afkomstig zijn van datasets die bij elkaar zijn geschraapt door openbare websites voor het hosten van afbeeldingen te doorzoeken. Sommige experts suggereren dat trainingsmodellen die gebruikmaken van openbare afbeeldingen, zelfs auteursrechtelijk beschermde afbeeldingen, eronder vallen fair use-doctrine in de VS Maar het is een kwestie die is onwaarschijnlijk binnenkort worden geregeld, vooral in het licht van de tegenstrijdige wetten die in het buitenland worden voorgesteld.

Twee bedrijven achter populaire AI-kunsttools, Midjourney en Stability AI, staan ​​namelijk in het vizier van een juridische zaak die beweert dat ze de rechten van miljoenen artiesten hebben geschonden door hun tools te trainen op web-geschraapte afbeeldingen. Stockbeeldleverancier Getty Images heeft Stability AI apart voor de rechter gedaagd naar verluidt zonder toestemming miljoenen afbeeldingen van zijn site gebruiken om het kunstgenererende model te trainen Stabiele verspreiding.

Afgezien van onopgeloste vragen over compensatie voor artiesten en platforms, is een van de meest urgente problemen met generatieve AI de neiging om repliceren afbeeldingen, tekst en meer – inclusief auteursrechtelijk beschermde inhoud – van de gegevens die zijn gebruikt om het te trainen. Sommige platforms voor het hosten van afbeeldingen hebben verboden Door AI gegenereerde inhoud uit angst voor juridische terugslag, en experts hebben gewaarschuwd dat generatieve AI-tools bedrijven in gevaar kunnen brengen als ze ongewild auteursrechtelijk beschermde inhoud opnemen die door de tools is gegenereerd in een van de producten die ze verkopen.

Adobe Firefly

Beeldcredits: Adobe

De oplossing van Adobe is als het ware Firefly-modellen uitsluitend te trainen op inhoud van Adobe Stock, de royaltyvrije mediabibliotheek van het bedrijf, samen met openlijk gelicentieerde inhoud en inhoud in het publieke domein waarvan het auteursrecht is verlopen. In de toekomst zullen gebruikers Firefly-modellen kunnen trainen en verfijnen met behulp van hun eigen inhoud, zegt Adobe, waarbij de output van de modellen wordt gestuurd naar specifieke stijlen en ontwerptalen.

Adobe zegt ook een compensatiemodel voor Stock-bijdragers te onderzoeken waarmee ze “hun talenten kunnen verzilveren” en kunnen profiteren van alle inkomsten die Firefly genereert. Het lijkt misschien op dat van Shutterstock dat onlangs is gelanceerd Donateurs Fondsdat makers vergoedt van wie het werk wordt gebruikt om AI-kunstmodellen te trainen.

Maar makers van inhoud die ervoor kiezen, kunnen zich afmelden voor training, zegt Adobe, door een “do not train”-referentielabel aan hun werk te koppelen.

“We begrijpen dat er vragen zijn over de impact die generatieve AI zal hebben op het vermogen van makers om te profiteren van hun vaardigheden, krediet en controle over hun werk te behouden, evenals vragen over de levensvatbaarheid van gegenereerde inhoud in commerciële omgevingen.” zei Costin. “We ontwerpen generatieve AI om makers te ondersteunen bij het profiteren van hun vaardigheden en creativiteit.”

Artiesten hebben hun redenen, zoals door AI gegenereerde kunstwerken in hun stijl die volgens hen niet goed passen crediteer ze. Ze zijn ook bang om geassocieerd te worden met een model dat kan worden gebruikt om aanstootgevende inhoud te genereren, zoals ultragewelddadige afbeeldingen, vooringenomen voorstellingen van geslacht, etniciteit en seksualiteit en niet-consensuele deepfakes.

Op het tweede punt, Costin zegt dat Firefly-modellen zijn getraind met behulp van “zorgvuldig samengestelde” en “inclusieve” beeldgegevenssets en dat Adobe een reeks technieken gebruikt om giftige inhoud te detecteren en te blokkeren, waaronder geautomatiseerde en menselijke moderatie en filters. De geschiedenis heeft aangetoond dat dit soort maatregelen kunnen worden omzeild, maar Costin suggereert dat het een zorgvuldig begeleid — zij het onvolmaakt — leerproces zal zijn.

Adobe Firefly

Beeldcredits: Adobe

“We hebben veel geïnvesteerd in modellen om vooringenomenheid en schade te voorkomen in de inhoud die Firefly genereert. Die modellen analyseren zowel de prompts als de inhoud om ervoor te zorgen dat Firefly een breed scala aan afbeeldingen genereert die een evenwicht tussen culturen en etniciteiten vertegenwoordigen, en om ervoor te zorgen dat Firefly geen schadelijke afbeeldingen genereert.zei Costin. “We zullen Firefly regelmatig updaten om de prestaties te verbeteren en schade en vooringenomenheid in de uitvoer te beperken. We bieden ook feedbackmechanismen voor onze gebruikers om mogelijk bevooroordeelde resultaten te rapporteren of om suggesties te doen voor onze test- en ontwikkelingsprocessen.”

Het bovengenoemde opt-out-mechanisme – dat daarna komt kritiek van de creatieve gemeenschap met betrekking tot het AI-beleid van Adobe — zal worden georkestreerd via het Content Authenticity Initiative (CAI) en Coalition for Content Provenance and Authenticity, twee verenigingen die zijn opgericht om industriestandaard herkomstmetadata voor media te promoten. (Adobe is lid van beide.) Adobe zegt dat het aandringt op acceptatie door de industrie van de “do not train”-tag, zodat deze inhoud volgt waar deze ook wordt gebruikt, gepubliceerd of opgeslagen, en ervoor zorgt dat modellen niet worden getraind op inhoud buiten het bereik ongeacht waar de inhoud terechtkomt.

Die van Adobe is slechts een van de vele pogingen om kunstenaars meer controle te geven over de rol van hun kunst in generatieve modeltraining. In november lanceerde DeviantArt een nieuwe bescherming die vertrouwt op een HTML-tag om te voorkomen dat de softwarerobots die pagina’s crawlen voor afbeeldingen, die afbeeldingen downloaden voor trainingssets. En AI-startup Spawning, dat partnerschappen heeft met platforms als ArtStation en Shutterstock, biedt een tool waarmee artiesten hun afbeeldingen kunnen verwijderen uit datasets die worden gebruikt om AI-modellen te trainen.

Door de grootte van de CAI – ongeveer 900 leden – is de kans groter dat de voorstellen van Adobe enige aantrekkingskracht zullen krijgen. Maar er is geen garantie. Kunstenaars kunnen in een situatie terechtkomen waarin ze gedwongen worden om meerdere opt-out-tools te gebruiken om te voorkomen dat hun kunstwerken worden getraind.

Auteursrechtuitdagingen

Adobe-klanten zullen een andere hoofdpijn hebben om mee om te gaan: uitzoeken of ze daadwerkelijk de rechten bezitten op door Firefly gegenereerde illustraties.

In de VS zijn de laatste federale richtlijnen niet bijzonder duidelijk over de auteursrechtstatus van AI-kunst. Na aanvankelijk de auteursrechten te hebben afgewezen voor door AI gegenereerde afbeeldingen die zijn gemaakt door Midjourney, het Amerikaanse Copyright Office gezegd dat auteursrechtelijke bescherming “afhangt van de omstandigheden” – met name “hoe de AI-tool werkt en hoe deze werd gebruikt om het uiteindelijke werk te maken.”

Costin geeft toe dat de De wet op het eigendom van door AI gegenereerde kunst hangt momenteel een beetje in de lucht. Maar het is de overtuiging van Adobe, zegt hij, dat gebruik makend van zijn hulpmiddelen om “creatieve input” aan een gegenereerde afbeelding toe te voegen, zouden voldoende moeten zijn om een ​​maker in staat te stellen auteursrecht te verkrijgen.

“Zoals altijd zullen makers zelf de auteursrechten moeten zoeken en doen wat nodig of vereist is om dat eigendom te verkrijgen”, zei Costin, waarmee hij zijn weddenschappen enigszins afdeed.

Adobe Firefly

Beeldcredits: Adobe

Afgezien van een grote tegenslag op het gebied van copyright of licenties, is Adobe van plan om door te gaan met Firefly en uiteindelijk modellen te introduceren die niet alleen afbeeldingen en tekst genereren, maar ook illustraties, grafische ontwerpen, 3D-modellen en meer. Costin was onvermurwbaar dat het een belangrijk investeringsgebied is voor Adobe, wiens laatste grote gok – de overname van startup Figma ter waarde van $ 20 miljard – op het punt staat te worden geblokkeerd door een rechtszaak van het ministerie van Justitie, naar verluidt.

Met generatieve AI speelt Adobe voor altijd. Firefly is niets anders dan ambitieus – als het een beetje laat op het feest is. Natuurlijk heeft Adobe het voordeel van een enorm ingebouwd klantenbestand; Creative Cloud heeft maandelijks 600 miljoen actieve gebruikers, terwijl Experience Cloud 12.000 klanten heeft, waaronder 87% van de Fortune 100.

Dat zijn veel potentiële Firefly-licenties om te verkopen. En als de projecties kloppen, zou het een zeer lucratieve nieuwe inkomstenbron zijn vanuit het perspectief per klant. Acumen Onderzoek en advies schattingen dat de markt voor generatieve AI in 2030 meer dan 110 miljard dollar waard zal zijn.

Maar alleen de tijd zal uitwijzen of Adobe in staat is om de vele hindernissen (en concurrenten) die haar in de weg staan ​​te overwinnen, waarvan de minste onderhouden de kostbare rekenkracht die nodig is om door te gaan met het ontwikkelen en uitvoeren van nieuwe Firefly-modellen. Afgezien van juridische en ethische hindernissen, moet Adobe de verloren tijd inhalen — en mindshare, wat nooit een gemakkelijke taak is in een hypercompetitief veld.

Costin, een en al optimisme, zegt dat het bedrijf klaar is voor de uitdaging.

“Toekomstige Firefly-modellen zullen gebruikmaken van een verscheidenheid aan middelen, technologie en trainingsgegevens van Adobe en anderen,” voegde hij eraan toe. “We ontwerpen generatieve AI om makers te ondersteunen bij het profiteren van hun vaardigheden en creativiteit. Door Firefly rechtstreeks in de workflows van onze klanten in te bouwen, kunnen we creatieve professionals helpen efficiënter te werken en hun tijd te besteden aan het waardevollere werk waar ze van houden.”

RELATED ARTICLES

LAAT EEN REACTIE ACHTER

Vul alstublieft uw commentaar in!
Vul hier uw naam in

- Advertisment -
Google search engine

Most Popular

Recent Comments