Itdaily - Anthropic bereikt doorbraak in werking neurale netwerken

Anthropic bereikt doorbraak in werking neurale netwerken

Wit netwerk van knooppunten en verbindingen over oude woordenboekpagina's, met een schip op de achtergrond.

Het Amerikaanse AI-bedrijf Anthropic heeft aangekondigd dat het vorderingen heeft gemaakt in het begrijpen van artificiële neurale netwerken.

De AI-startup Anthropic heeft een doorbraak bereikt in zijn begrip over de werking van artificiële neurale netwerken. Dat kondigde het bedrijf aan met een uitgebreide blog.

De uitdaging

Zoals de meeste AI-modellen zijn neurale netwerken getraind met data. Omdat ze echter niet werden geprogrammeerd om bepaalde regels te volgen, kunnen zulke modellen zich op heel wat manieren gedragen. Anthropic begrijpt de berekeningen achter de training van de netwerken, maar niet hoe die de gedragingen beïnvloeden. Dit limiteert diagnoses, herstellingen en veiligheid.

Experimenten kunnen wel de activatie van elke neuron in een artificieel netwerk vastleggen. Zo kunnen onderzoekers die stimuleren of net stilleggen en het netwerk testen. Helaas hebben neuronen geen consistente invloed op het gedrag van netwerken. De activatie van een neuron kan per context iets heel anders betekenen.

Experiment

Anthropic bouwde machines om units (‘features’) te vinden die gelinkt zijn aan patronen van neuronactiveringen. Hiermee kunnen onderzoekers neurale netwerken opbreken in meer begrijpbare stukken. Ze bouwen er bovendien mee verder op eerder verkregen informatie.

Links neuron 83 dat reageert op Koreaans, citaten en code; rechts feature 2937 dat consistent op DNA reageert.

Een laag met 512 neuronen is zo opgebroken in vierduizend units met verschillende betekenissen. Die zijn meestal onzichtbaar bij de individuele activering van neuronen. Dat gebeurde in een transformer language model.

Grafiek van de 4.096 kenmerken van een autoencoder, met voorbeelden zoals juridische taal en DNA-reeksen

De units bleken veel meer te interpreteren dan aparte neuronen.

Grafiek met manuele interpreteerbaarheid: features scoren hoger (mediaan 12) dan neuronen (mediaan 0)

Een LLM genereerde vervolgens omschrijvingen van de units. Die is vergeleken met de mogelijkheid van een ander model om met die omschrijving de activatie van een unit te voorspellen. Daarin deden aparte neuronen het opnieuw veel minder. Een unit artificieel activeren veranderde een model op voorspelbare wijze.

Schema: bij gestuurde kenmerken geeft het model voor 1 tot 10 tekst in Chinees, base64, DNA of Arabisch

Een set van lerende units bleek veelal universeel tussen verschillende modellen, dus de onderzoekers durven ze nu te generaliseren.

De resultaten zijn nog meer goed nieuws voor Anthropic, na de verwachte miljardeninvestering van Google. Dat is dan nog nadat Amazon al een keer hetzelfde deed.