Sony lanceert vandaag ’s werelds eerste camerasensor met geïntegreerde AI-functionaliteit. De bijgevoegde chip moet ervoor zorgen dat niet langer videobeelden moeten worden bekeken door een algoritme, met privacy-problemen als gevolg. De sensor kan direct output leveren, zonder beeldmateriaal te tonen.
Sony maakt al langer beeldsensoren voor smartphones, veiligheidscamera’s en andere toepassingen. Hierbij zorgt de chip enkel voor het beeld en moet de fabrikant een architectuur (hardware en/of software) voorzien voor slimme toepassingen zoals gezichtsherkenning, nummerplaatherkenning of het tellen van mensen.
De nieuwe Sony-sensor schrapt de nood aan extra hardware door AI-capaciteit toe te voegen aan de beeldsensor. De sensor komt in twee smaken: IMX500 voor de chip (inclusief AI-module) en IMX501 als compleet product om ergens in te integreren. De Sony IMX500 is al sinds vorige maand beschikbaar voor fabrikanten; de IMX501 is vanaf juni beschikbaar.
Gestapelde configuratie
De nieuwe sensor bevat een gestapelde configuratie van een pixel-chip (back-illuminated) en een logic-chip (met DSP). Hiermee kan de beeldsensor AI-beeldanalyses uitvoeren en de resultaten verwerken op de logic-chip. Zo moet je niet langer videobeelden doorsturen voor verwerking, iets wat vandaag bijzonder veel bandbreedte vereist.
De sensor levert geen videobeelden maar metadata, oftewel semantische informatie die bij de beelddata hoort. Hiermee verschuif je de beeldanalyse van het datacenter naar de edge voor een snellere verwerking. Ook op vlak van privacy is het een belangrijke evolutie omdat de beelden niet langer moeten worden bekeken.
De chip aan boord van de beeldsensor haalt een snelheid van 3,1 milliseconden op de MobileNet V1-benchmark volgens Sony. Die snelheid is genoeg om een complete analyse te maken van één videoframe in 4K-resolutie.
AI-model naar keuze
Ontwikkelaars kunnen een AI-model naar keuze op de geïntegreerde geheugenmodule schrijven en kunnen die continu updaten door de module te herschrijven. Zo kan je op een locatie diverse cameramodules verwerken, elk met een ander doel. Denk daarbij aan het tellen van bezoekers, gedraganalyse, heatmaps en het detecteren van druktepunten.
Op drukke dagen kan je dan bijvoorbeeld alle camera’s configureren om druktepunten te meten. Een dag later kan opnieuw de klassieke meting gebeuren waarvoor de camera’s in dienst werden genomen.
De Sony IMX500 (en de IMX501) is een 12,3 megapixelcamera met een 1/2,3”-sensor en ondersteunt video-opnames tot 4K aan 60 fps. Van zodra er AI-analyse aan te pas komt, is de maximaal ondersteunde beeldkwaliteit 4K aan 30 fps. De IMX501 wordt geleverd als een keramische LGA-module van 12,5 mm bij 15 mm voor eenvoudige integratie.
Wie aan productontwikkeling doet, kan vandaag al aan de slag met de IMX500 en vanaf volgende maand met de IMX501. Het valt af te wachten welke toepassingen fabrikanten gaan bedenken voor de nieuwe beeldsensor van Sony. Door de geïntegreerde logic-chip heb je niet langer een aparte processor, geheugen en acceleratiekaart nodig, wat de oplossing ideaal maakt voor edge-toepassingen en de kostprijs flink kan drukken.