Het afgelopen jaar zijn er talloze pogingen geweest om AI te gebruiken om 3D printbare modellen te maken op basis van tekst prompts. Een van de bekendere voorbeelden is van LumaAI, en misschien herinner je je dit project van OpenAI eerder dit jaar.
In dit artikel zullen we een andere methode van AI-aangedreven tekst-naar-3D-printing bekijken, deze keer met behulp van een programma genaamd “Marigold”, dat volgens de website “op Diffusion gebaseerde beeldgeneratoren hergebruikt voor monoculaire diepteschatting”. Omdat het genereren van AI-kunst één ding is, maar het daadwerkelijke diepte geven, wat nodig is voor 3D printing, een heel ander verhaal is. Maar de makers van Marigold lijken precies dat te hebben gedaan.
Wat is Marigold?
Marigold is ontworpen door onderzoekers van de ETH Zürich en kan diepte-informatie genereren uit een 2D-beeld. Afkomstig uit het Stable Diffusion-framework, maakt Marigold gebruik van synthetische gegevens voor verfijning, waardoor het kennis efficiënt kan overbrengen naar onbekende gegevens. Deze aanpak heeft ertoe geleid dat Marigold de voorheen toonaangevende methode, LeRes, op dit gebied heeft overtroffen.
De functionaliteit van Marigold hangt af van het verfijnen van de U-Net-component van de Stable Diffusion-opstelling. Het proces omvat het coderen van zowel het beeld als de diepte in een latente ruimte met behulp van de originele Stable Diffusion VAE, gevolgd door het optimaliseren van het diffusiedoel ten opzichte van de latente dieptecode. Een opmerkelijk aspect is de aanpassing van de eerste laag van het U-Net om aaneengeschakelde latente codes te accepteren, waardoor de functionaliteit van de diepteschatting wordt vergroot.
Marigold codeert eerst het invoerbeeld, deze wordt vervolgens samengevoegd met een latente diepte. Deze combinatie wordt verwerkt via het aangepaste, verfijnde U-Net. Na verschillende ruisverwijderings iteraties wordt de latente diepte gedecodeerd in een beeld om de uiteindelijke diepteschatting af te leiden.
Marigold scoort heel goed wanneer je het model vergelijkt met andere gelijksoortige modellen. Dit is vooral opmerkelijk omdat Marigold deze resultaten behaalt zonder voorafgaande blootstelling aan ‘sample data’ met echte diepte. Voor een uitgebreid begrip van de methodologieën en benchmarks van Marigold biedt het gedetailleerde onderzoek diepgaande (geen woordspeling) informatie.
Omdat Marigold een beeld-naar-3D-oplossing is, betekent dit dat u door AI gegenereerde afbeeldingen als bron kunt gebruiken. En dat is precies wat een Redditor heeft gedaan, zoals je hieronder kunt zien.
DallE-naar-3D
Met behulp van de DallE tekst-naar-afbeelding AI, heeft Redditor “fredandlunchbox” een afbeelding gegenereert van een plastic fotolijstje met moderne kenmerken.
DallE heeft vervolgens de afbeelding gecreëerd, zie hieronder.
De Redditor gebruikte vervolgens Marigold om een dieptekaart te genereren, en deed vervolgens wat extra handmatig opruim werk in Cinema4D, Blender en Fusion360. Toen het model klaar was, exporteerde hij het als een STL en printte het. Het hele proces, van de DallE-tekstprompt tot het uiteindelijke geprinte object, duurde minder dan 24 uur, en je kunt de uiteindelijke geprinte versie hieronder bekijken.
De Redditor merkt op dat het proces niet automatisch verloopt, maar de makers van Marigold hebben onlangs een update aangekondigd waarmee “de gebruiker een printbare STL kan maken die klaar is om te worden geprint.”
Hoe printbaar dat precies is, valt nog te bezien, maar het klinkt als iets leuks om tijdens de feestdagen mee te experimenteren.
Als je wilt experimenteren met de diepteschatting en 3D printing functies van Marigold, volg dan deze link.
