Ridesharing bedrijf Lyft heeft haar machine learning-tool Flyte opensource gemaakt. Het bedrijf gebruikt de tool sinds drie jaar om onder andere prijzen, locaties en geschatte aankomsttijd te bepalen op basis van artificial intelligence.
Zelf beschrijft Lyft hun tool Flyte als een “gestructureerd platform voor realtime, schaalbare en onderhoudbare workflows voor machine learning.”
Nu data een belangrijk bezit is voor bedrijven, zijn berekeningen op grote schaal essentieel. Vanuit een operationeel standpunt kan dit echter problemen opleveren. Het opschalen, monitoren en managen van compute clusters wordt voor steeds meer product teams een last.
Het wordt hierdoor moeilijker om processen te herhalen, waardoor innovatie achterblijft. Zonder platform abstraction wordt samenwerking en hergebruik van processen over verschillende teams vrijwel onmogelijk.
Ontwikkelsnelheid voor machine learning
Het is de missie van Flyte om de ontwikkelsnelheid voor machine learning en data processing te verbeteren door deze overhead te reduceren. De tool levert mogelijkheden voor betrouwbare, schaalbare en georganiseerde compute, waardoor teams zich weer kunnen richten op de bedrijfslogica in plaats van op machines. Flyte maakt het mogelijk om te delen en hergebruiken, waardoor problemen slechts één keer opgelost hoeven te worden.
Flyte is een multi-tenant service, wat inhoudt dat teams kunnen werken aan aparte dataregisters en deze kunnen toepassen zonder de rest van het platform te beïnvloeden. De software code draagt versienummers en samengevoegd met de bijbehorende onderdelen. Hierdoor zijn alle toepassingen herhaalbaar. Daarnaast kan Flyte bewaarde resultaten gebruiken van eerdere berekeningen. Deze slimme toepassing bespaart zowel tijd als geheugen.
Een andere mogelijkheid die Flyte met zich meebrengt, is om taken aan elkaar te koppelen. Door middel van een op Python gebaseerde programmeertaal kan data tussen deze verschillende taken worden overgebracht. Elke verandering wordt in Flyte vastgelegd als een nieuwe versie. Hierdoor is het mogelijk om workflows eenvoudig terug te draaien en taken van verschillende versies te delen over verschillende workflows.
Containerondersteuning
Workflows bestaan vaak uit verschillende stappen, waarbij elke stap geschreven is in een andere programmeertaal en is gebaseerd op een ander framework. Door gebruik van containers ondersteunt Flyte deze verschillen. Om de mogelijkheden van de tool nog verder uit te breiden, ondersteunt Flyte twee verschillende opties: FlyteKit extensions en backend plug-ins.
Flyte is ontwikkeld om machine learning en data orchestration op de schaal van moderne producten, bedrijven en applicaties te ondersteunen en versnellen. Samen hebben Lyft en Flyte de enorme voordelen van een modern processing platform ervaren. “Door Flyte als opensource aan te bieden, hopen we dat ook ontwikkelaars hier nuttig gebruik van kunnen maken”, aldus Gale & Umare van Flyte. Meer leren over Flyte of de tool hier zelf uitproberen.