Door de stijgende populariteit van artificiële intelligentie botsen de IT-capaciteiten van bedrijven op (en over) de limieten. Ligt de toekomst van AI in de cloud of in de edge?
Ook KubeCon 2023 kon niet ontsnappen aan het gespreksonderwerp van het moment: artificiële intelligentie. Dat (generatieve) AI de technologie van de toekomst is, daar leek iedereen het over eens te zijn tijdens de hoogmis voor cloud-native development. Maar naast optimisme was er ook aandacht voor de vele kopzorgen die de AI-race menig IT-bedrijf bezorgt.
Een AI-model ontstaat uiteraard niet zomaar. Kijk alleen al maar naar GPT-4: het taalmodel achter de razend populaire tool ChatGPT. Het model werd getraind op 170 biljoen parameters. Dat getal zegt op zichzelf misschien niet veel, maar het is een tienvoud van het aantal parameters voor GPT-3 en het maakt GPT-4 met afstand het meest complexe model tot nu toe. Hoe meer parameters, hoe meer een model kan en om AI te verbeteren zullen dus ook meer parameters moeten worden blijven toegevoegd.
Dit vereist enorme hoeveelheden terabytes aan data, en de nodige capaciteiten om die op te slaan en te verwerken. Microsoft spendeerde al honderden miljoenen dollars aan GPU’s om ChatGPT in leven te houden. Dat is voor Microsoft misschien geen geld, maar het doorsnee IT-bedrijf heeft daar niet de budgetten en de datacentercapaciteit voor. Zelfs OpenAI CEO Sam Altman waarschuwt dat de groeispurt van ChatGPT niet langer meer houdbaar is.
lees ook
Legt Europa een bom onder het voorbestaan van opensourcesoftware?
Zo dreigen kleine bedrijven stilaan uitgesloten te worden en komt AI in handen te liggen van het selecte clubje techreuzen. Maar ook de grote reuzen kunnen niet eeuwig datacenters blijven bijbouwen om al die algoritmen een plekje te geven. Tijdens KubeCon proberen experten uit de cloudindustrie de puzzelstukken te vinden om de capaciteitspuzzel op te lossen. Daarbij wordt ook met veel interesse richting de edge gekeken. Waar ligt de toekomst van AI?
Is edge de nieuwe cloud?
Edge computing wordt al langer als een technologie met een potentieel grote impact op de IT-sector beschouwd. Vandaag de dag wordt ongeveer tien procent van data voor enterprise IT buiten traditionele datacenters opgewekt en verwerkt. Volgens Gartner zal dit tegen 2025 al 75 procent bedragen. Op termijn zal de markt van edge computing tot vier maal groter dan die van de publieke cloud kunnen worden.
Om deze redenen wordt de edge wel eens de ‘nieuwe cloud’ genoemd, al moeten we voorzichtig zijn met dergelijke veralgemeningen, waarschuwt Arun Gupta van Intel. “Het klopt dat edge meer en meer workloads overneemt die zich vroeger in de cloud zouden hebben afgespeeld, maar beide zijn te verschillend om ze als perfecte substituten te zien.” Daniel Fröhlich van Red Hat omschrijft de edge liever als ‘alle computingtoepassingen die niet in de cloud of een datacenter gebeuren.’
Beide heren slaan spijkers met koppen. Eerst en vooral verlopen datastromen bij edge en cloud helemaal verschillend. De idee van cloud computing is dat apparaten data verzenden naar de cloud, waar die vanuit een centraal platform verwerkt en beheerd worden. Edge computing draait dit om. De data blijven zo veel mogelijk op het apparaat zelf en trekken de computinginfrastructuur bij wijze van spreken naar de data toe.
lees ook
Van cloud-first naar data-first: HPE brengt de cloud naar je data, en niet omgekeerd
Op dieet
Edge computing biedt zo heel wat voordelen voor organisaties met beperktere middelen. Eerst is er de latentie. Omdat bij cloud computing de data naar de datacenters van de cloudprovider worden gestuurd en daarna weer terug naar het apparaat, loopt het proces een vertraging op.
Die vertraging bedraagt slechts enkele milliseconden en is zelden met het blote oog merkbaar, maar ze is er toch. In een edge-omgeving heb je nauwelijks tot geen latentie omdat de data ter plaatse blijven. In de context van autonome voertuigen bijvoorbeeld kunnen die paar milliseconden het verschil tussen wel of geen botsing betekenen. Na de ingreep kunnen de data dan nog altijd naar de cloud verhuizen voor diepgaandere post-analyse.
Naast snelheid biedt edge ook voordelen op gebied van (kosten)efficiëntie. Workloads in de edge vereisen in principe minder krachtig IT-materiaal, omdat de workloads ook moeten kunnen draaien op locaties waar geen datacenter kan gezet worden. Of zoals Fröhlich illustreert tijdens zijn presentatie: “In de edge kunnen platformen op een dieet worden gezet”.
Daarmee bedoelt de Duitse ingenieur dat edgeplatformen doorgaans ‘lichter’ zijn dan hun tegenhangers in de cloud, maar toch volledige distributies bevatten. Zo kunnen cloud-native principes ook worden toegepast in een edge-omgeving waar minder pure rekencapaciteit voor handen is. Platformen zoals Red Hat MicroShift, KubeEdge en Azure Edge slaan dan de denkbeeldige brug tussen cloud en edge.
Datadilemma
Moet je nu per direct je cloudabonnement(en) opzeggen en al je workloads naar de edge verschuiven? Wacht daar toch nog maar even mee. Er spelen enkele factoren mee die zeker in het kader van artificiële intelligentie een obstakel kunnen vormen.
Hoe je het ook draait of keert, AI vereist rekenkracht. Veel rekenkracht. Het voordeel van de cloud is dat de storage- en computingcapaciteit flexibeler kan worden opgeschaald wanneer dat nodig blijkt te zijn. De (vele) data die nodig is om modellen te laten draaien, kan dan ook vanuit een centrale gegevenspool gepuurd worden. Gigantische modellen zoals GPT-4 lijken op dit moment dan ook nog veel te overweldigend voor de edge.
Een ander potentieel probleem waar Marino Wijay (Solo.io) de aandacht op vestigt, is de afwezigheid van een stabiel netwerk. Ook in de edge moeten servers en apparaten met elkaar communiceren. Maar edge-netwerken kunnen zich soms op afgelegen locaties bevinden waar geen wifi, 4G of 5G beschikbaar is. Hoe los je dat op? Hier komt een service mesh aan te pas. Een service mesh is een infrastructuurlaag die op een applicatie wordt gebouwd om het dataverkeer tussen applicaties te regelen.
Wat security betreft zijn er voor- en tegenargumenten voor zowel cloud als edge te bedenken. Bedrijven die met gevoelige data omspringen, zullen die wellicht liever in de edge bewaren. Zo hoeven ze die immers niet toe te vertrouwen aan een externe partij en hebben ze zelf in handen of de gegevens conform de privacywetgeving bewaard worden.
Daar staat wel tegenover dat edgebeveiliging een complexe aangelegenheid is. De voornaamste beveiligingsrisico’s voor edge servers zijn in principe niet anders dan de risico’s voor cloud: malware, routingaanvallen en DDoS zijn veelvoorkomende bedreigingen, ook fysieke beschadiging is iets waar je rekening mee moet houden. Maar omwille van het gedistribueerde karakter van edge is er nood aan een robuustere beveiligingsstrategie gebaseerd op geavanceerde authenticatiemethoden.
“Het klopt dat edge meer en meer workloads overneemt die zich vroeger in de cloud zouden hebben afgespeeld, maar beide zijn te verschillend om ze als perfecte substituten te zien.”
Arun Gupta, Intel
Geen zwart-wit-verhaal
De keuze tussen cloud of edge waar veel organisaties vandaag voor komen te staan, hoeft dan ook geen of-of-verhaal te zijn, maar eerder een en-en-verhaal. Omdat edge zo verschillend is van cloud, dient het eerder als een aanvulling dan als een vervanger gezien te worden. De ene workload zal beter renderen op een publieke cloudserver, terwijl andere workloads zich beter voelen op een edgeserver. We zien daarom bedrijven steeds vaker overschakelen op een gecombineerde, hybride aanpak om de voordelen van zowel cloud als edge te maximaliseren.
Ook tijdens KubeCon houden de experten de bal in het midden. “Er bestaat geen one-size-fits-all-oplossing”, concludeert Gupta. Artificiële intelligentie kent vele vormen en gedaanten. Organisaties die met de technologie aan de slag willen gaan, moeten zich dan ook eerst goed afvragen wat ze nu precies met AI willen bereiken, en zo doende daar hun infrastructuur op afstemmen.