Nvidia lanceert met EGX een platform voor AI-workloads in de edge in realtime te verwerken. Het platform combineert de kennis van Nvidia met die van het recent overgenomen Mellanox.
Nvidia EGX moet realtime AI-workloads in de network-edge faciliteren. Het platform bestaat uit een softwarestack van Nvidia zelf, gecomplementeerd met opslag, beveiliging en netwerktechnologie van recente aanwinst Mellanox. De Nvidia Edge Stack ondersteunt beeld- en spraakherkenning en analytics, en draait Red Hat OpenShift voor Kubernetes container-orchestratie.
Schaalbaar platform
Voor de EGX-servers werkt Nvidia samen met onder andere Atos, Cisco, Dell EMC, HPE en Lenovo. De oplossing is schaalbaar, en begint met een kleine Nvidia Jetson Nano geschikt voor beeldherkenning op kleinere schaal, en gaat tot een volledig rack van Nvidia T4-servers voor meer dan 10.000 TOPS aan rekenkracht. Een dergelijke setup is interessant wanneer cruciale data tot snelle beslissingen moet leiden, en een lage latency belangrijk is. In dat geval is het tijdsverlies om sensordata eerst naar de cloud te sturen.
Nvidia-hardware in de publieke cloud is compatibel met EGX in een hybride omgeving. Alle applicaties die in de cloud draaien, draaien op op EGX. Logisch, aangezien de softwarestack berust op Opensource-Kubernetes en containers. Nvidia-specifiek is de oplossing in staat om Cuda-geaccelereerde containers te draaien. Eén van de oplossingen die de AI-specialist in de kijker zet is beeldherkenning in onder andere grootwarenhuizen, waar Edge-servers vandaag al populair zijn.
Sneller beslissen
In essentie is Nvidia EGX een schaalbare server-oplossing on premises. Het idee erachter is om lokaal en met zo weinig mogelijk latency data te analyseren, of het nu om spraak, camerabeelden of iets anders gaat. Edge-computing wint al langer aan populariteit, aangezien het niet efficiënt is om de grote hoeveelheden data gegenereerd door IoT-toepassingen naar een centraal datacenter te sturen voor analyse. Bovendien brengt lokale verwerking een stuk veiligheid met zich mee. Denk maar aan een brand- of inbrekersalarm dat ook moet kunnen afgaan op basis van camerabeelden wanneer de internetverbinding is weggevallen.
Gerelateerd: Nvidia Quadro RTX-gpu’s komen naar mobiele workstations