Google lanceert een ontwikkelaarsversie van zijn Edge-TPU: een stuk hardware specifiek ontworpen voor machine learning en AI met Tensorflow Lite.
Google bouwt al geruime tijd aan hardware toegespitst op Tensorflow-workflows. De Google Cloud TPU gaat al even mee, en dient om dergelijke workflows te versnellen in server-omgevingen. De TPU is een high performance stuk hardware. Omdat machine learning en AI niet altijd in een datacenter plaatsvindt, sleutelt Google nu ook aan een light-versie van de Cloud TPU. De Edge TPU wordt zoals de naam suggereert ontwikkeld om efficiëntie aan de netwerkrand of in bescheidenere toestellen te faciliteren.
Momenteel is de chip beschikbaar als onderdeel van ontwikkelaarshardware. Via Coral kan je de Edge TPU als Dev bordje of als USB-accelerator kopen. Beide stukken hardware lijken op elkaar, al is het bord ontwikkeld voor gebruik met Mendel Linux, en is de USB-accelerator compatibel met Debian. De USB-variant is bedoeld om in tandem te werken met bijvoorbeeld een Raspberry Pi. De hardware is specifiek bedoeld om workloads binnen het Tensorflow Lite-raamwerk te accelereren. Denk aan modellen zoals MobileNet V1 en V2.
Slim IoT
Google ziet de Edge TPU in de toekomst vooral gebruikt worden als onderdeel van een IoT-omgeving. Het bedrijf haalt zelf voorbeelden zoals predictive maintenance, machine vision en spraakherkenning aan, maar eigenlijk dient de chip voor integratie binnen alle hardware die AI-acceleratie zonder hulp van de cloud kan gebruiken. Met de juiste modellen is het vaak niet nodig en al zeker niet efficiënt om data over en weer te sturen naar een centrale server. Een IoT toestel kan zelf voldoende intelligentie bevatten, of die intelligentie kan desnoods naar de netwerkrand verplaatst worden. Ook zo zijn beslissingen mogelijk zonder dat daar een trip naar de cloud aan te pas komt.
De Edge TPU is met andere woorden geoptimaliseerd voor Inference. De chip gaat op een geoptimaliseerde manier aan de slag met modellen die eerder getraind werden. Voor dat trainen is dit nieuwe stuk hardware niet geschikt. De Cloud TPU blijft daarvoor de juiste keuze.
Wie vandaag aan de slag wilt met Googles Edge TPU, doet dat bij wijze van experiment om software te testen. De chip is nog niet breed beschikbaar, en blijft natuurlijk bedoeld voor een nichepubliek.
Gerelateerd: Microsoft lanceert Windows Server IoT 2019 voor de edge