O que é Geração aumentada por recuperação (RAG)?

Em 2023, a Algo Communications, com sede no Canadá, se viu diante de um desafio. A empresa estava preparada para um rápido crescimento, mas não conseguia treinar representantes de atendimento ao cliente (CSRs) com rapidez suficiente para acompanhar sua expansão. Para enfrentar esse desafio, a empresa recorreu a uma solução inovadora: IA generativa.

A Algo adotou um grande modelo de linguagem (LLM) para ajudar a integrar novos CSRs com mais rapidez. Para treinar os CSRs para responder a perguntas complexas de clientes com precisão e fluência, a Algo sabia que precisava de algo mais robusto do que um LLM pronto para uso, que normalmente é treinado na Internet pública e não tem o contexto comercial específico necessário para responder precisamente a perguntas. Aí entra a geração aumentada por recuperação, mais conhecida como RAG.

Atualmente, muitos de nós já usamos um LLM de IA generativa por meio de apps de chat como o ChatGPT da OpenAI ou o Gemini da Google (antigo Bard), para ajudar a escrever um e-mail ou criar conteúdo inteligente para redes sociais. Mas obter os melhores resultados nem sempre é fácil, especialmente se você ainda não dominou a arte e a ciência de criar um ótimo prompt.

Eis o porquê: um modelo de IA é tão bom quanto o que é ensinado a ele. Para ter êxito, ele precisa do contexto adequado e de uma grande quantidade de dados factuais, e não de informações genéricas. Um LLM pronto para uso nem sempre está atualizado, nem terá acesso confiável aos seus dados ou entenderá seus relacionamentos com os clientes. É aí que a RAG pode ajudar.

A RAG é uma técnica de IA que permite que as empresas incorporem automaticamente seus dados proprietários mais atuais e relevantes diretamente no prompt do LLM. E não estamos falando apenas de dados estruturados, como uma planilha ou um banco de dados relacional. Estamos falando de recuperar todos os dados disponíveis, incluindo dados não estruturados: e-mails, PDFs, registros de chat, postagens em redes sociais e outros tipos de informações que podem aperfeiçoar a saída de IA.

Resumindo, a RAG ajuda as empresas a recuperar e usar seus dados de várias fontes internas para obter melhores resultados com a IA generativa. Como o material de origem é proveniente de seus próprios dados confiáveis, a RAG ajuda a reduzir ou até mesmo eliminar alucinações e outras saídas incorretas. O resultado é que você pode confiar na relevância e na precisão das respostas.

Para obter essa precisão aprimorada, a RAG trabalha em conjunto com um tipo especializado de banco de dados, chamado banco de dados vetorial, para armazenar dados em um formato numérico compreensível para a IA e recuperá-los quando solicitado.

"A RAG não pode fazer seu trabalho sem que o banco de dados vetorial faça seu trabalho", disse Ryan Schellack, diretor de marketing de produtos de IA da Salesforce. "Os dois andam de mãos dadas. Quando uma empresa fala sobre geração aumentada por recuperação, ela está, no mínimo, falando de duas coisas: um armazenamento vetorial para armazenar informações e algum tipo de mecanismo de pesquisa de aprendizado de máquina projetado para funcionar com esse tipo de dados."

Trabalhando em conjunto com um banco de dados vetorial, a RAG pode ser uma ferramenta poderosa para gerar melhores saídas do LLM, mas ela não é uma solução mágica. Os usuários ainda precisam, entender os fundamentos da elaboração de um prompt claro.

Depois de adicionar uma quantidade enorme de dados não estruturados ao seu banco de dados vetorial, incluindo registros de chat e dois anos de histórico de e-mails, a Algo Communications começou a testar essa tecnologia em dezembro de 2023 com alguns de seus CSRs. A empresa trabalhou com um pequeno conjunto de amostras: cerca de 10% da base de produtos. Demorou cerca de dois meses para que os CSRs se familiarizassem com a ferramenta. Durante a implementação, a liderança da empresa ficou entusiasmada ao ver os CSRs ganharem maior confiança para responder a perguntas aprofundadas com a ajuda da RAG. Nesse ponto, a empresa começou a implantação geral da RAG.

"Explorar a RAG nos ajudou a entender que poderíamos trazer muito mais dados", disse Ryan Zoehner, vice-presidente de operações comerciais da Algo Communications. "Isso nos permitiria detalhar muitas dessas respostas realmente complexas e fornecer respostas divididas em cinco ou seis partes, de uma forma que os clientes percebessem que havia alguém tecnicamente experiente para respondê-las."

Em apenas dois meses após a adição da RAG, a equipe de atendimento ao cliente da Algo conseguiu concluir os casos com mais rapidez e eficiência, o que a ajudou a prosseguir para novas consultas 67% mais rapidamente. A RAG agora alcança 60% de seus produtos e continuará se expandindo. A empresa também começou a adicionar novos registros de chat e conversas ao banco de dados, reforçando a solução com um contexto ainda mais relevante. O uso da RAG também permitiu que a Algo reduzisse seu tempo de integração pela metade, acelerando seu crescimento.

"A RAG está nos tornando mais eficientes", disse Zoehner. "A RAG está deixando nossos colaboradores mais felizes com seu trabalho e nos ajudando a integrar tudo com mais rapidez. O que diferencia essa solução de tudo o que tentamos fazer com os LLMs é que ela nos permitiu manter nossa marca, nossa identidade e o espírito de quem somos como empresa."

Com a RAG fornecendo assistência de IA aos CSRs da Algo, a equipe conseguiu dedicar mais tempo para dar um toque humano às interações com os clientes.

"Isso permite que nossa equipe dedique um tempinho a mais para garantir que a resposta chegue da maneira certa", disse Zoehner. “Essa humanidade nos permite colocar nossa marca em tudo. A RAG também nos oferece uma garantia de qualidade geral."