Open-source modellen zoals Llama 2 presteren ondermaats tijdens een ‘zero-shot’ onderzoek in vergelijking met closed-source modellen zoals GPT-4 en Claude 2. Het onderzoek werd uitgevoerd binnen de medische sector.
Generatieve AI-modellen zoals Llama 2 van Meta stellen hun broncode beschikbaar voor gebruikers, in tegenstelling tot closed-source modellen zoals GPT-4 van OpenAI. Uit een onderzoek blijkt dat generatieve open-source LLM’s het niet beter doen dan closed-source LLM’s. Het onderzoek baseerde zich op een specifiek medisch gebied, namelijk de wetenschap van de nieren. Deze resultaten kunnen op basis van dit onderzoek dus niet algemeen doorgetrokken worden.
Eén van de bekendste open-source LLM’s is Meta’s Llama 2. Dit open-source model wordt gevoed door bijdrages van gebruikers en de broncode is voor iedereen zichtbaar. Dit in tegenstelling tot modellen als GPT-4 en Claude 2, waarbij de broncode niet beschikbaar is voor het publiek. Welk type model presteert nu beter?
‘Zero-shot’-taken
Om te testen welk type model beter presteerde, werden ze met elkaar vergeleken aan de hand van vragen binnen een specifiek gebied, in dit onderzoek ging het over medische kennis. Hieruit bleek dat Llama 2 slecht was in het beantwoorden van vragen over nefrologie (wetenschap van de nieren), met een ondermaatse kwaliteit en correctheid van de antwoorden. Het closed-source model GPT-4 daarentegen scoorde uitzonderlijk goed en kwam zelfs in de buurt van menselijke prestaties voor de meeste onderwerpen. Het model behaalde een score van 73,3 procent, dat net onder de 75 procent ligt dat voldoende is voor een mens om correcte vragen te beantwoorden.
lees ook
Kan AI de impact van cyberaanvallen vergroten?
Dit onderzoek was een test dat bekend staat als ‘zero-shot’-taken. Hierbij wordt een taalmodel gebruikt zonder aanpassingen of voorbeelden van goede en foute antwoorden. Zo wordt het vermogen van een taalmodel getest om nieuwe mogelijkheden te verwerven die nog niet in de trainingsgegevens stonden. Open-source LLM’s blijken dus een slecht ‘zero-shot’ vermogen te hebben in termen van nefrologie, wat in de toekomst verder onderzocht wordt binnen de medische training.