Dia 4: RAG: finalmente

Aqui começa a parte que provavelmente terá maior retorno para a vaga.

RAG = Retrieval-Augmented Generation

A ideia básica é:

Usuário
   ↓
Pergunta
   ↓
Retrieval
   ↓
Documentos relevantes
   ↓
Contexto
   ↓
LLM
   ↓
Resposta

Ou:

Retrieve → Augment → Generate

Esse é o pipeline básico descrito também pela documentação do Google. Google Codelabs

Você precisa estudar o RAG em camadas:

Como os dados entram?

PDF
DOCX
HTML
Banco de dados
Website
   ↓
Parsing
   ↓
Cleaning
   ↓
Chunking

Estude:

chunk
 ↓
embedding model
 ↓
vector

Onde armazenamos os vetores?

Pesquise:

Não precisa aprender todos.

Escolha um.

Para seu primeiro projeto, eu escolheria Chroma ou FAISS, porque você quer entender o conceito antes de entrar em infraestrutura.

Pesquise:

Esse termo é importante.

Imagine:

100 documentos
      ↓
retrieval
      ↓
20 candidatos
      ↓
reranker
      ↓
5 melhores
      ↓
LLM

Isso é muito mais próximo de um sistema RAG real.

Finalmente:

Contexto recuperado
+
Pergunta
+
Instructions
       ↓
      LLM