Helion is voortaan een foundation-hosted project binnen de PyTorch Foundation. Het project, aangebracht door Meta, moet de ontwikkeling van AI-kernels eenvoudiger maken en de overdraagbaarheid over verschillende hardwareplatformen verbeteren.
Helion vervoegt de PyTorch Foundation als nieuw project naast onder meer PyTorch, DeepSpeed, Ray en vLLM. Dat maakt de stichting zelf bekend tijdens de PyTorch-conferentie in Parijs. Het nieuws draait om een laag in de AI-stack die meestal minder zichtbaar is, maar wel mee bepaalt hoe efficiënt modellen draaien.
Meer efficiëntie
Helion is een in Python ingebedde domeinspecifieke taal voor het schrijven van machine learning-kernels. Het project compileert naar meerdere backends, waaronder Triton en TileIR. Het moet ontwikkelaars helpen om op een hoger abstractieniveau te werken, zodat minder handmatige code nodig is.
De PyTorch Foundation ziet daarin een manier om kernelontwikkeling toegankelijker te maken binnen het open AI-ecosysteem. Dat is relevant, aangezien ontwikkelaars zo meer efficiëntie kunnen verkrijgen.
Helion moet verder automatische ahead-of-time autotuning mogelijk maken. “De software test dan verschillende implementaties om voor een specifieke kernel de beste optie te vinden”, zegt Oguz Ulgen, software-ingenieur bij Meta Superintelligence Labs. “Autotunen kost intussen maar vijf tot tien minuten, maar dient nog steeds te gebeuren voor de productiefase.”
Afkomstig van Meta
Meta leverde Helion aan als bijdrage aan de stichting. De opname als foundation-hosted project betekent dat de verdere evolutie binnen een open source-kader gebeurt, samen met de bredere gemeenschap rond PyTorch en andere AI-projecten onder de Linux Foundation.
“Dat is een grote verandering voor Helion”, aldus Ulgen. “Tot nu toe waren alle maintainers mensen van Meta. Nu komen daar maintainers van andere bedrijven bij. Iemand van Thinking Machines zal het team al vervoegen. Er komt ook een sturingscomité om prioriteiten te bepalen.” Verder hamert Ulgen erop dat Helion vendor-neutraal wil zijn.
Ambitie tot groei
De toevoeging van Helion aan de stichting past binnen de ambitie van de PyTorch Foundation zelf. “Het is niet alleen belangrijk om nieuwe capaciteiten toe te voegen aan bestaande projecten onder de vleugels van de Foundation”, zegt Mark Collier, die aan het hoofd staat van de organisatie. “Maar we moeten ook volledig nieuwe projecten toevoegen.”
Helion vervoegt zo vLLM, Ray en DeepSpeed, die naast PyTorch al onder de vleugels van de PyTorch Foundation beheerd worden. “Met deze samenwerking breiden we onze capaciteiten uit”, voegt Collier nog toe. Ook ExecuTorch, eveneens gestart bij Meta, wordt onderdeel van PyTorch Core. Dat project richt zich op PyTorch-modellen voor edge- en on-device-omgevingen.