Objetivo de Aprendizado
Compreender os conceitos fundamentais por trás de modelos como o GPT, como eles aprendem, operam e geram texto. Isso inclui:
- Tokens e embeddings
- Arquitetura Transformer
- Ajuste fino (fine-tuning) vs. engenharia de prompt
- Limitações e vantagens
O Que São LLMs?
Modelos de Linguagem de Grande Escala (LLMs) como GPT-4, Claude e Gemini são algoritmos baseados em redes neurais profundas treinados com grandes volumes de texto. Eles predizem a próxima palavra em uma sequência, entendendo padrões e contextos.
📌 Conteúdo de Estudo Recomendado
1. Artigos Técnicos (leitura fundamental)
- 🔗 The Illustrated Transformer (Jay Alammar) – Visual e intuitivo (Resumo)
- 🔗 Como funciona o ChatGPT – OpenAI
- 🔗 Understanding LLMs – Sebastian Raschka (GitHub)
2. Vídeos Explicativos
- 📺 How ChatGPT Actually Works – Fireship (YouTube)
Explicação simples e direta em 5 minutos. - 📺 Transformers - State of the Art NLP – Yannic Kilcher
3. Conceitos-chave a entender
| Conceito | Descrição curta |
|---|---|
| Token | Fragmento de texto (palavra, sílaba ou letra) que o modelo processa |
| Embedding | Representação vetorial de palavras em um espaço semântico |
| Transformer | Arquitetura usada nos LLMs baseada em atenção para entender contexto |
| Self-Attention | Técnica que permite o modelo dar "peso" diferente para palavras no contexto |
| Pretraining | Fase em que o modelo aprende com bilhões de textos |
| Fine-tuning | Ajustes finais com dados específicos (ex: ChatGPT para diálogo) |
| Inference | Processo de gerar texto com base em um prompt |
4. Exercício prático sugerido
Tarefa: Responder com suas palavras:
“Como um modelo como o GPT-4 gera uma resposta a partir de um prompt?”
Dica: Use as palavras: tokens, contexto, atenção, probabilidade e geração de texto.
5. Ferramentas úteis
- OpenAI Tokenizer – Para ver como o modelo divide textos
- Google Colab – Transformer em Python – Para quem quiser ir além
✅ Checklist de Conclusão
- Li e compreendi o funcionamento de tokens e embeddings
- Sei explicar como funciona a arquitetura Transformer
- Sei a diferença entre pretraining, fine-tuning e prompting
- Fiz um resumo pessoal ou artigo explicativo
- Testei o Tokenizer da OpenAI com textos diferentes