Meta heeft het Segment Anything Model (SAM) aangekondigd, een AI-model dat objecten in afbeeldingen en video’s identificeert, zelfs als deze niet in de trainingsdataset voorkomen. SAM is een beeldsegmentatiemodel dat reageert op tekstprompts en klikken op objecten in een afbeelding.
Beeldsegmentatie deelt afbeeldingen op in verschillende segmenten op basis van de objecten in de afbeelding. Dankzij de technologie wordt het makkelijker om afbeeldingen te analyseren en verwerken. Meta wil deze technologie gebruiken voor het begrijpen van webpagina-inhoud, augmented reality en beeldbewerking.
Bovendien kan de technologie worden gebruikt voor wetenschappelijk onderzoek, bijvoorbeeld door dieren of objecten automatisch te lokaliseren en volgen. Met SAM wil Meta het creëren van een nauwkeurig segmentatiemodel toegankelijker maken, om zo verder onderzoek naar computervisie te bevorderen.
Naast SAM heeft Meta een dataset genaamd ‘SA-1B’ samengesteld die 11 miljoen afbeeldingen bevat. Het bedrijf stelt SAM en de dataset beschikbaar voor onderzoeksdoeleinden onder een Apache 2.0-licentie.
Demo beschikbaar
Op dit moment is de code van SAM beschikbaar op GitHub. Daarnaast biedt Meta een gratis interactieve demo van zijn segmentatietechnologie. In de demo kun je een foto uploaden en gebruik maken van tools als ‘Hover & Click’ (objecten selecteren met de muis), ‘Box’ (objecten binnen een selectiebox selecteren) of ‘Everything’ (waarbij de technologie automatisch elk object binnen de afbeelding probeert te herkennen.
Niet nieuw, wel opvallend
Hoewel beeldsegmentatietechnologie niet nieuw is, valt SAM wel degelijk op. Reden daarvoor is dat de technologie in staat is om objecten te identificeren die niet aanwezig zijn in de trainingsdataset.
Bovendien zou het beschikbaar stellen van het SA-1B-model een nieuwe generatie comnputervisie-applicaties kunnen opleveren. Ditzelfde gebeurde met het LLaMA-taalmodel van Meta, waar nu al veel nevenprojecten op zijn gebaseerd.
Meta-CEO Mark Zuckerberg bevestigde eerder dit jaar al volop bezig te zijn met het integreren van generatieve AI in de apps van het bedrijf. Hoewel Meta nog geen commercieel product heeft uitgebracht dat gebruikmaakt van dit type AI, werkt het intern al wel met een vergelijkbare tool als SAM om foto’s te taggen, inhoud te modereren en aanbevolen berichten te bepalen.