Meta lanceert Code Llama. Het bedrijf van Mark Zuckerberg heeft hiermee zijn eigen AI-codegenerator.
Gisteren lanceerde Meta zijn nieuwe opensource LLM-model Code Llama, een AI-tool voor codering. Zoals de naam doet vermoeden is Code Llama gebouwd op Llama 2.
Praktisch
Dit nieuwe model is dus volledig gefinetuned voor codering. Het is vrij te gebruiken voor research en commercieel gebruik.
Gebruikers kunnen Code Llama code laten genereren en bespreken via tekstprompts. Volgens Meta heeft het model potentieel om ontwikkelaars efficiënter laten werken, maar ook om de instapvrees te verminderen voor mensen die nog leren coderen.
Code Llama is dus een versie van Llama 2, maar dan gespecialiseerd in codering. Het nieuwe model trainde met datasets die daarop focusten. Zo kan Code Llama niet alleen code genereren, maar ook natuurlijke taal óver code. Hiervoor kan je zowel codeprompts, als natuurlijke taalprompts gebruiken.
Verder kan Code Llama ook code afwerken of zelfs debuggen. Het model ondersteunt de meeste grote programmeertalen zoals Python, C++, Java, PHP, Typescript (Javascript), C# of Bash.
lees ook
Meta lanceert nieuw groot AI-model in zoektocht naar universele vertaler
Meerdere versies
Meta lanceert drie formaten van Code Llama:
- 7 miljard parameters
- 13 miljard parameters
- 34 miljard parameters
Elke versie is getraind met vijfhonderd miljard codetokens en met codedata. De eerste twee formaten zijn ook getraind met FIM-bekwaamheid (fill-in-the-middle), waardoor ze nieuwe code kunnen integreren in reeds bestaande code.
Een ander verschil is dat elk formaat een verschillende vereiste heeft qua latency en servers. Voor de 7m-versie is één GPU bijvoorbeeld voldoende. De 34m-versie geeft betere resultaten en is meer geschikt voor assistentie bij codering, maar de andere twee zijn dan weer sneller en beter geschikt voor taken met een lagere latency.
Daarbovenop lanceert Meta ook nog eens twee variaties van het model:
- Code Llama – Python: een taalspecifieke versie die is getraind met honderd miljard Python-parameters, omdat deze programmeertaal de meest gebenchmarkte is voor codegeneratie en omdat ze volgens Meta een belangrijke rol speelt in de AI-gemeenschap
- Code Llama – Instruct: een meer gefinetunede en uitgelijnde versie van Code Llama, getraind met input in natuurlijke taal, maar ook met de verwachte output, om het model beter te laten begrijpen wat gebruikers verwachten van hun ingevoerde prompts
AI voor iedereen
Via Code Llama hoopt Meta ondersteuning te bieden aan softwareontwikkelaars in alle sectoren, van research en opensource projecten, over industrie en NGO’s. Het bedrijf juicht de verdere ontwikkeling van Llama 2 en bijbehorende producten en systemen ook toe in zijn communicatie.
Meta trekt, net als veel tech-bedrijven, steeds vaker de kaart van AI. Het bedrijf introduceerde recent ook SAM, een AI-model dat objecten in afbeeldingen en video’s identificeert.