Chunking - Overlap
Chunking Overlap é a técnica de repetir uma parte do conteúdo no início de um chunk e no final do chunk anterior.
Chunking Overlap é a técnica de repetir uma parte do conteúdo no início de um chunk e no final do chunk anterior.
Parent-child Retrieval é uma estratégia de Chunking e Retrieval na qual um documento é dividido em chunks de diferentes tamanhos, criando uma relação entre chunks filhos (children) e chunks pais…
Recursive Chunking é uma estratégia de divisão de documentos que tenta criar chunks respeitando a estrutura do conteúdo, utilizando uma sequência de separadores, do mais amplo para o mais específico.
Semantic Chunking é uma estratégia de divisão de documentos que busca criar chunks com base no significado do conteúdo, em vez de utilizar apenas um tamanho fixo ou separadores estruturais.
Embeddings são representações numéricas de informações, como textos, imagens ou outros tipos de dados, que permitem que um modelo de IA trabalhe com relações de significado e similaridade entre esses…
BM25, abreviação de Best Matching 25, é um algoritmo utilizado para calcular a relevância de documentos em relação a uma consulta, sendo uma das técnicas mais conhecidas de Sparse Retrieval.
Cosine Similarity, ou similaridade de cosseno, é uma medida usada para determinar o quanto dois vetores estão relacionados comparando o ângulo entre eles.
Dense Retrieval, ou recuperação densa, é uma técnica de recuperação de informações que representa consultas e documentos como vetores densos, normalmente gerados por modelos de embeddings.
Embedding Model é um modelo de IA especializado em transformar informações, como textos, em vetores numéricos que representam suas características semânticas.
Nearest Neighbor, ou vizinho mais próximo, é o conceito de encontrar, em um conjunto de pontos ou vetores, aquele que está mais próximo de um determinado ponto de consulta.