Microsoft maakt zijn interne tool Trill open source beschikbaar voor het grote publiek, zodat meer ontwikkelaars ermee aan de slag kunnen. De tool, waarvan den naam is afgeleid van “a trillion events per day”, is in staat om enorme hoeveelheden real-time data te verwerken.
James Terwilliger, Principal Software Engineer bij Microsoft Azure, maakt het nieuws bekend in een blogpost. Trill zag in 2012 het levenslicht als Microsoft Research-project en werd sindsdien beschreven in verschillende onderzoekspapers. Het wordt binnen Microsoft veelal gebruikt voor Azure Data-producten en andere bedrijfskritieke streaminginitiatieven, waaronder Bing Ads en Halo.
Streaming-engine
Naar eigen zeggen is Trill de eerste streaming-engine die technieken en algoritmen gebruikt die gebeurtenissen in kleine databatches verwerkt op basis van de latency die door de gebruiker wordt getolereerd. Het zou ook de eerste engine zijn geweest die deze batches in kolomvormige indeling organiseerde, waardoor query’s veel efficiënter dan voorheen kunnen worden uitgevoerd.
Voor gebruikers is werken met Trill hetzelfde als werken met elke .NET-bibliotheek, dus het is niet nodig om de .NET-omgeving te verlaten, aldus Microsoft. Gebruikers kunnen Trill integreren in verschillende gedistribueerde verwerkingsinfrastructuren, zoals Orleans en een streamingversie van Microsofts SCOPE-gegevensverwerkingsinfrastructuur.
Terwilliger haalt een aantal argumenten aan waarom ontwikkelaars volgens hem graag met Trill werken:
- Als een single-node engine library kan elke .NET-toepassing, -service of -platform eenvoudig Trill gebruiken en beginnen met het verwerken van query’s.
- Een temporele querytaal stelt gebruikers in staat om complexe query’s uit te drukken over real-time en/of offline datasets.
- De hoge prestaties van Trill in de bedoelde gebruisscenario’s zorgen ervoor dat gebruikers resultaten krijgen met een ongelooflijke snelheid en lage latency. Zo werken filters bijvoorbeeld met geheugenbandbreedtesnelheden tot meerdere miljarden gebeurtenissen per seconde, terwijl gegroepeerde aggregaten werken bij 10 tot 100 miljoen gebeurtenissen per seconde.
Basis voor temporele verwerking
Door Trill open source beschikbaar te maken, hoopt Microsoft dat de tool een sterke basis kan bieden voor streaming of tijdelijke verwerking voor huidige en toekomstige opensourceprojecten. Daarnaast wil het op deze manier de community betrekken bij de verdere ontwikkeling van Trill.