IBM kondigt een nieuw opensource framework aan, genaamd CodeFlare. Het platform helpt bij de integratie en het opschalen van big data en artificiële intelligentie-workflows in multicloud infrastructuren.
Het nieuwe CodeFlare framework is gebouwd op basis van een opensource framework genaamd Ray. IBM heeft deze bestaande opensource software verder uitgebreid door verschillende elementen toe te voegen die het opschalen naar verschillende workloads makkelijker maken.
IBM legt uit dat het creëren van machine learning-modellen vandaag de dag een intensieve handmatige taak is. Onderzoekers moeten een model eerst trainen en optimaliseren. Voordat ze dat kunnen doen, moeten ze eerst de data opschonen en in kaart brengen. Met CodeFlare wil IBM deze handmatige taken vereenvoudigen.
Wat kun je met CodeFlare?
CodeFlare werkt op basis van een interface die gebaseerd is op Python. Via die interface kunnen onderzoekers een pipeline creëren, waardoor het makkelijker wordt om data te integreren, parallelliseren en delen. Vervolgens kan CodeFlare gebruikt worden om pipeline workflows die zich in meerdere cloud-platformen bevinden te verenigen, zonder dat het nodig is om een nieuwe taal te leren voor elk type infrastructuur.
Volgens IBM kunnen CodeFlare pipelines worden toegepast in elke cloudinfrastructuur, waaronder de nieuwe IBM Cloud Code Engine (een serverless platform) en Red Hat OpenShift.
CodeFlare biedt ook adaptoren voor event-triggers, zoals de toevoeging van een nieuw bestand. Hierdoor kunnen pipelines integreren en een brug leggen tussen meerdere cloud native ecosystemen. Verder kan CodeFlare data laden en segmenteren vanuit verschillende bronnen, zoals cloud object stores, data lakes en distributed file systems.
Sneller machine learning-modellen trainen met CodeFlare
Het grootste voordeel dat CodeFlare biedt bij het opzetten van nieuwe machine learning modellen is snelheid. IBM beweert CodeFlare de tijd voor het analyseren en optimaliseren van pipelines om machine learning-modellen te trainen vermindert van een uur tot slechts een kwartier.
IBM beweert dat deze verbetering in snelheid erg belangrijk is. Datasets worden alsmaar groter en machine learning-modellen worden steeds complexer. Dit zorgt ervoor dat onderzoekers veel tijd kwijt zijn aan het instellen van hun systemen, voordat ze een model kunnen gebruiken. Met CodeFlare wil IBM dat proces versnellen.
CodeFlare is nu beschikbaar
CodeFlare is vanaf vandaag te gebruiken via het IBM GitHub repository. Als aanvulling op zijn lancering, brengt IBM een aantal voorbeelden uit van CodeFlare pipelines die draaien op IBM Cloud en Red Hat OpenShift.
IBM zegt dat zijn werk aan CodeFlare door blijft gaan. In de toekomst wil IBM zorgen dat het framework ook complexere pipelines ondersteunt. Ook wil IBM de fouttolerantie consistentie van IBM verder verbeteren en data integratie voor externe bronnen uitbreiden.