Wat is Retrieval Augmented Generation (RAG)?

In 2023 stond het in Canada gevestigde Algo Communications voor een uitdaging. Het bedrijf was toegespitst op een snelle groei, maar het kon klantenservicemedewerkers (CSR's) niet snel genoeg opleiden om de groei bij te houden. Om deze uitdaging aan te gaan, wendde het bedrijf zich tot een nieuwe oplossing: generatieve AI.

Algo heeft een groot taalmodel (LLM) ingevoerd om de onboarding van nieuwe CSR's te versnellen. Om ze te trainen om complexe klantvragen nauwkeurig en vloeiend te beantwoorden, wist Algo dat het iets robuusters nodig had dan een kant-en-klare LLM, die doorgaans op het openbare internet wordt getraind en niet de specifieke zakelijke context heeft die nodig is om vragen nauwkeurig te beantwoorden. Zie daar 'retrieval augmented generation', beter bekend als RAG.

Inmiddels hebben velen van ons al een generatieve AI LLM gebruikt via chat-apps zoals OpenAI's ChatGPT of Google's Gemini (voorheen Bard) om te helpen bij het schrijven van e-mails of het maken van slimme social mediateksten. Maar het is niet altijd gemakkelijk om de beste resultaten te krijgen, vooral als je de fijne kunst en kennis van het maken van een geweldige prompt nog niet onder de knie hebt.

Dat komt omdat een AI-model slechts zo goed is als het getraind wordt te zijn. Een sterke AI heeft de juiste context en hoge aantallen feitelijke gegevens nodig, en geen algemene informatie. Een kant-en-klare LLM is niet altijd up-to-date en heeft ook geen betrouwbare toegang tot je gegevens of begrip van je klantrelaties. Hier biedt RAG echt een uitkomst.

RAG is een AI-techniek waarmee bedrijven automatisch hun meest actuele en relevante bedrijfseigen gegevens rechtstreeks in hun LLM-prompt kunnen insluiten. En dan hebben we het niet alleen over gestructureerde data zoals een spreadsheet of een relationele database. Dit betreft het ophalen van alle beschikbare gegevens, inclusief ongestructureerde gegevens: e-mails, pdf's, chatlogs, berichten op sociale media en andere soorten informatie die kunnen leiden tot een betere AI-output.

Met RAG kunnen bedrijven hun gegevens uit verschillende interne bronnen ophalen en gebruiken voor betere generatieve AI-resultaten. Omdat het bronmateriaal afkomstig is van uw eigen vertrouwde gegevens, helpt het hallucinaties en andere onjuiste outputs te verminderen of zelfs te elimineren. Kort gezegd: je kunt erop vertrouwen dat de antwoorden relevant en nauwkeurig zijn.

Om deze verbeterde nauwkeurigheid te bereiken, werkt RAG samen met een gespecialiseerd type database — een vectordatabase — om gegevens op te slaan in een numeriek formaat dat logisch is voor AI, en deze op te halen wanneer daarom wordt gevraagd.

"RAG kan niet functioneren zonder een functionele vectordatabase", zegt Ryan Schellack, directeur AI-productmarketing bij Salesforce. "Die twee gaan hand in hand. Als een bedrijf het heeft over het ondersteunen van augmented retrieval generation, ondersteunen ze minstens twee dingen: een vectoropslag voor het opslaan van informatie, en vervolgens een soort zoekmechanisme met machine-learning dat is ontworpen om tegen dat soort data te werken.

Door samen te werken met een vectordatabase kan RAG een krachtig hulpmiddel zijn voor het genereren van betere LLM-outputs, maar het is geen wondermiddel. Gebruikers moeten nog steeds de basisprincipes van het schrijven van een duidelijke prompt begrijpen.

Na het toevoegen van een enorme hoeveelheid ongestructureerde gegevens aan zijn vectordatabase, waaronder chatlogs en twee jaar e-mailgeschiedenis, begon Algo Communications in december 2023 met het testen van deze technologie met enkele van zijn CSR's. Ze werkten aan een kleine steekproefset: zo'n 10% van de productbasis van het bedrijf. Het duurde ongeveer twee maanden voordat de CSR's vertrouwd waren met de tool. Tijdens de implementatie was de bedrijfsleiding verheugd om te zien dat CSR's meer vertrouwen kregen in het beantwoorden van diepgaande vragen met de hulp van RAG. Daarna begon het bedrijf RAG breder te implementeren in het bedrijf.

"Door ons te verdiepen in RAG zagen we in dat we zoveel meer gegevens zouden kunnen binnenhalen", zegt Ryan Zoehner, vice-president, commerciële operaties voor Algo Communications. "Het zou ons in staat stellen om veel van die echt complexe antwoorden te doorgronden, en vijf- en zesdelige antwoorden te leveren op een manier dat klanten wisten dat het antwoord kwam van iemand die technisch onderlegd was."

In slechts twee maanden na het toevoegen van RAG was het klantenserviceteam van Algo in staat om zaken sneller en efficiënter af te handelen, waardoor ze 67% sneller konden reageren op nieuwe vragen. RAG wordt nu toegepast op 60% van de producten en dit zal blijven toenemen. Het bedrijf begon ook met het toevoegen van nieuwe chatlogs en gesprekken aan de database, waardoor de oplossing werd versterkt met nog meer relevante context. Door gebruik te maken van RAG heeft Algo ook de inwerktijd kunnen halveren, waardoor het sneller kan groeien.

"RAG maakt ons efficiënter," zei Zoehner. "Het maakt onze werknemers gelukkiger met hun werk en helpt ons de onboarding te versnellen. Wat dit anders maakt dan wat we eerder met LLM's probeerden te doen, is dat dit ons in staat stelde ons merk, onze identiteit en het ethos van wie we zijn als bedrijf te behouden."

Nu RAG de CSR's van Algo voorziet van AI-assistentie, heeft het team meer tijd kunnen besteden aan het toevoegen van een menselijk tintje aan klantinteracties.

"Ons team heeft net dat extra beetje moeite kunnen doen om ervoor te zorgen dat de reactie op de juiste manier landt," zei Zoehner. “Die menselijkheid stelt ons in staat om ons merk overal naar voren te blijven brengen. Het zorgt ook voor kwaliteitsborging over de hele linie."