Wat is Retrieval Augmented Generation (RAG)?

In 2023 stond het Canadese Algo Communications voor een grote uitdaging. Het bedrijf groeide snel, maar de klantenservicemedewerkers konden niet snel genoeg worden opgeleid om deze snelle groei bij te benen. Om deze uitdaging aan te pakken, kozen ze voor een moderne oplossing: generatieve AI.

Algo implementeerde een Large Language Model (LLM) om nieuwe medewerkers sneller in te werken. Het doel was om medewerkers te leren om complexe klantvragen nauwkeurig en zonder fouten te beantwoorden. Algo besefte al snel dat een gewone LLM niet voldoende was. Deze modellen worden meestal op basis van publieke data getraind en missen daardoor de specifieke en nodige zakelijke context. Uiteindelijk vonden ze de oplossing in Retrieval Augmented Generation, oftewel RAG.

De kans is groot dat je weleens met een LLM op basis van generatieve AI hebt gewerkt, bijvoorbeeld bij het opstellen van e-mails of het bedenken van social media-teksten. Denk aan chatapps zoals ChatGPT van OpenAI of Gemini van Google. Als je met AI hebt geëxperimenteerd, weet je dat het niet altijd eenvoudig is om de gewenste resultaten te bereiken. Dit geldt vooral als je nog niet goed weet hoe je effectieve prompts moet schrijven.

Dat komt doordat een AI-model beperkt is tot datgene wat erin is gestopt. Zo’n model kan pas echt iets betekenen als het de juiste context en feitelijke data heeft, dus geen generieke informatie. Een standaard-LLM is vaak niet up-to-date, heeft geen betrouwbare toegang tot je data en begrijpt niet hoe je klantrelaties in elkaar steken. Daar komt RAG om de hoek kijken.

Een AI-model heeft alleen waarde als het goed is getraind met de juiste informatie. Als het model alleen op basis van algemene data is getraind, kan het moeilijk zijn om specifieke, actuele antwoorden te geven. Dit komt doordat een standaard-LLM vaak niet up-to-date is, geen betrouwbare toegang heeft tot jouw eigen gegevens en niet begrijpt hoe jouw klantrelaties zijn opgebouwd. Hier komt RAG om de hoek kijken.

RAG is een AI-techniek waarmee bedrijven actuele en relevante interne data automatisch direct in hun LLM-prompt kunnen integreren. Dit gaat verder dan alleen gestructureerde data zoals spreadsheets of relationele databases. RAG haalt ook niet-gestructureerde gegevens op, zoals e-mails, pdf’s, chatlogs en social media-posts, om de AI-output te verbeteren.  

Retrieval Augmented Generation (RAG) is ontworpen om generatieve AI te verbeteren door interne data effectiever te benutten. Simpel gezegd, RAG helpt bedrijven om data uit verschillende interne bronnen te halen en te gebruiken. Dit betekent dat generatieve AI betere en relevantere resultaten kan leveren, omdat het toegang heeft tot jouw specifieke en actuele data. Dit helpt om zogenaamde ‘hallucinaties’ en andere ongewenste antwoorden te verminderen, wat zorgt voor meer betrouwbare en nauwkeurige output.

De precisie van RAG komt doordat het samenwerkt met een speciaal type database, een zogenaamde ‘vectordatabase’. In deze database worden gegevens opgeslagen in een numerieke structuur die de AI kan gebruiken. Wanneer de AI om informatie vraagt, worden de relevante gegevens uit deze vectordatabase opgehaald.

“RAG kan zijn werk niet doen als de vectordatabase zijn werk niet doet,” legt Ryan Schellack, AI Product Marketing Director bij Salesforce, uit. “Die twee moeten perfect samenwerken. Bedrijven die met RAG werken, hebben zowel een vectordatabase nodig om de informatie op te slaan als een machine learning-zoekmechanisme die met de data overweg kan.”

Hoewel de combinatie van vectordatabase en RAG kan zorgen voor aanzienlijk betere resultaten van LLM’s, is het geen magische oplossing. Gebruikers moeten nog steeds weten hoe ze duidelijke en effectieve prompts kunnen schrijven om het meeste uit de technologie te halen.

Nadat Algo Communications hun vectordatabase had gevuld met een enorme hoeveelheid niet-gestructureerde data, waaronder chatlogs en twee jaar aan e-mailcorrespondentie, liet het bedrijf de tool in december 2023 testen door een aantal klantenservicemedewerkers. Ze begonnen klein, met zo’n 10% van het productassortiment. De medewerkers hadden de tool in ongeveer twee maanden onder de knie. Het management was enthousiast over de verbetering: medewerkers konden dankzij RAG complexere vragen met meer zelfvertrouwen beantwoorden. Het was dus tijd om RAG verder uit te rollen.

“Door onze ervaringen met RAG hebben we geleerd om onze data veel beter te benutten,” zegt Ryan Zoehner, Commercial Operations Vice President van Algo Communications. “We kunnen complexe antwoorden nu in vijf of zes behapbare delen splitsen, zodat klanten echt kunnen merken dat ze door experts worden geholpen.”

Slechts twee maanden na de invoering van RAG was het klantenserviceteam van Algo in staat om cases sneller en efficiënter af te handelen. Daardoor konden ze 67% sneller door naar de volgende. RAG is inmiddels voor 60% van het productassortiment geïmplementeerd en wordt verder uitgebreid. Ook wordt de database aangevuld met nieuwe chatlogs en gesprekken, zodat er nog meer relevante context is. Dankzij RAG is de inwerktijd bij Algo gehalveerd en kan het bedrijf sneller groeien.

“We zijn efficiënter geworden dankzij RAG,” aldus Zoehner. “Onze medewerkers hebben meer plezier in hun werk en nieuwe mensen inwerken gaat sneller. In tegenstelling tot onze eerdere ervaringen met LLM’s kunnen we nu ons merk, onze identiteit en onze waarden vasthouden.”

Nu RAG de klantenservicemedewerkers van Algo ondersteunt met AI, kunnen zij klanten meer persoonlijke aandacht geven.

“Onze teamleden kunnen nu net dat beetje extra doen om ervoor te zorgen dat het antwoord goed overkomt,” zegt Zoehner. “Deze persoonlijke touch benadrukt waar ons merk voor staat en draagt bij aan onze kwaliteitsborging.”