Introdução à IA Generativa e aos Grandes Modelos de Linguagem (LLMs)

Conteúdo da página

Nos últimos anos, termos como “IA Generativa”, “LLM” e “Transformers” deixaram os laboratórios de pesquisa e passaram a fazer parte do vocabulário cotidiano de profissionais de tecnologia. Mas o que exatamente essas expressões significam, e como elas se encaixam no panorama mais amplo da Inteligência Artificial?

Para entender isso, primeiro precisamos situar os LLMs dentro da hierarquia clássica da área. A Inteligência Artificial (IA) é o campo mais amplo, dedicado a construir sistemas capazes de executar tarefas que normalmente exigiriam inteligência humana. Dentro da IA está o Aprendizado de Máquina (do inglês, Machine Learning – ML), no qual os sistemas aprendem padrões a partir de dados em vez de seguir regras explicitamente programadas. Dentro do ML está o Aprendizado Profundo (do inglês, Deep Learning – DL), que utiliza redes neurais artificiais com múltiplas camadas para aprender representações cada vez mais abstratas dos dados (Goodfellow; Bengio; Courville, 2016). Nessa estrutura, as IAs generativas entram como uma aplicação específica de deep learning voltada ao processamento de linguagem natural, conforme podemos observar na Figura 1.

Figura 1 – Diferenças e interconexões entre os termos mais usados para descrever IAs.
Fonte: Retirado de Kenneth (2025).

O termo IA Generativa é guarda-chuva para modelos capazes de “produzir“ conteúdo novo — texto, imagem, áudio, código — em vez de apenas classificar ou prever rótulos sobre dados existentes. Um LLM (sigla para Large Language Model, ou Grande Modelo de Linguagem) é uma rede neural treinada com grandes volumes de texto para prever a próxima palavra (ou fragmento de palavra) em uma sequência, e que, ao fazer isso repetidamente, aprende também gramática, fatos do mundo, raciocínio elementar e até certos padrões de estilo (Brown et al., 2020).

Antes dos Transformers

Antes dos LLMs atuais, a área de Processamento de Linguagem Natural utilizava diversos tipos de modelos. Modelos estatísticos, como n-gramas, estimavam a probabilidade de uma palavra com base em poucas palavras anteriores. Depois, redes neurais recorrentes, como RNNs e LSTMs (Long Short-Term Memory), passaram a modelar sequências de modo mais flexível, mantendo uma memória interna ao longo do texto (Jurafsky; Martin, 2024). As LSTMs foram propostas por Hochreiter e Schmidhuber (1997) para lidar com o problema de dependências de longo prazo em sequências.

Esses modelos foram importantes, mas tinham limitações consideráveis. Elas processavam o texto palavra por palavra, de forma sequencial, o que as tornava lentas para treinar em grande escala e limitadas na captura de relações entre palavras distantes em uma frase. A grande mudança ocorreu com a arquitetura Transformer, proposta por Vaswani et al. (2017), que substituiu a recorrência por mecanismos de atenção.

A revolução Transformer

Em 2017, pesquisadores do Google publicaram o artigo “Attention Is All You Need”, introduzindo a arquitetura Transformer, que abandona a recorrência em favor de um mecanismo chamado atenção (attention), permitindo que o modelo processe todas as palavras de uma sequência simultaneamente e aprenda diretamente quais palavras devem “prestar atenção” em quais outras, independentemente da distância entre elas (Vaswani et al., 2017). Essa arquitetura é a base de praticamente todos os LLMs atuais, incluindo a família GPT, o BERT (Devlin et al., 2019) e seus sucessores.

O que são tokens?

Um conceito essencial para compreender os LLMs atuais é o token. Os LLMs não processam texto como como palavras inteiras, apesar da crença geral. Eles utilizam tokens, unidades geradas por algoritmos de tokenização em subpalavras, como o Byte Pair Encoding (BPE), que fragmentam o vocabulário em pedaços. Ou seja, um token é uma unidade de processamento textual usada pelo modelo.

Ele pode corresponder a uma palavra inteira, parte de uma palavra, pontuação, número, espaço ou símbolo. Por exemplo, a frase “aprendizado de máquina” pode ser dividida em tokens como “aprendizado”, “de” e “máquina”, mas em alguns tokenizadores uma palavra maior pode ser quebrada em subpartes. Outro exemplo, a palavra “inteligentemente” pode ser dividida em tokens como “inteligente” + “mente”.

Portanto, todo texto de entrada e saída do modelo é convertido em sequências numéricas de tokens antes de qualquer processamento. De acordo com Senrich, Haddow e Birch (2016), essa estratégia permite lidar melhor com palavras raras, nomes próprios, termos técnicos e diferentes idiomas.

E os “bilhões de parâmetros”?

Quando se afirma que um modelo possui bilhões de parâmetros, isso significa que ele contém bilhões de valores numéricos ajustáveis aprendidos durante o treinamento. Esses parâmetros são os pesos internos — ou vieses — da rede neural ajustados durante o treinamento para minimizar o erro do modelo.

Isso quer dizer que eles representam padrões distribuídos aprendidos a partir dos dados. Em uma analogia didática, os parâmetros funcionam como pequenos controles numéricos que determinam como o modelo transforma tokens de entrada em probabilidades de saída. Quanto maior o número de parâmetros, maior tende a ser a capacidade do modelo de representar padrões complexos, embora tamanho não garanta, por si só, qualidade, segurança ou alinhamento com a intenção humana (Kaplan et al., 2020; Ouyang et al., 2022).

Quando alguém diz que um modelo tem “70 bilhões de parâmetros”, isso significa que a quantidade total de valores numéricos ajustáveis que compõem as matrizes de pesos da rede é de 70 bilhões. Porém, trabalhos posteriores demonstraram que o desempenho ótimo depende de um equilíbrio entre número de parâmetros e volume de dados de treinamento, e não apenas do tamanho do modelo isoladamente (Hoffmann et al., 2022). Então, não se iluda apenas com a tamanho da rede.

Matemática do modelo

Não temos a intenção de aprofundar na parte matemática de um LLM neste artigo por dois motivos: 1) me escapa à capacidade intelectual de momento o conhecimento para tal proposta; e 2) este não é um portal de textos para profissionais da área matemática necessariamente. Contudo, pretendemos discutir de forma introdutória alguns conceitos a partir da ideia de modelagem probabilística da linguagem.

Comecemos supondo que o objetivo básico de um LLM é estimar a probabilidade de uma sequência de tokens. Dada uma sequência:

x = (x_1, x_2, x_3, \ldots, x_T)

o modelo então procura estimar:

P(x_1, x_2, \ldots, x_T)

Pela regra da cadeia da probabilidade, essa sequência pode ser decomposta como:

P(x_1, x_2, \ldots, x_T) = \prod_{t=1}^{T} P(x_t \mid x_1, x_2, \ldots, x_{t-1})

A equação acima expressa a ideia central dos modelos autorregressivos: cada token é previsto com base nos tokens anteriores. Em um modelo de linguagem, o treinamento consiste em ajustar os parâmetros para que a probabilidade atribuída ao próximo token correto seja alta. Conforme Brown et al. (2020), essa é a base de modelos como a família GPT, que se popularizou pelo bom desempenho em geração de texto e aprendizagem em contexto.

Do ponto de vista computacional, o primeiro passo é transformar cada token em um vetor numérico. Esse vetor é chamado de embedding. Se ( $x_i$ ) representa um token, sua representação vetorial pode ser descrita como:

e_i = E(x_i)

Na equação anterior, ( $E$ ) representa a matriz de embeddings aprendida pelo modelo. Cada token passa a ser representado por um vetor denso, capaz de capturar relações semânticas e sintáticas úteis para a rede neural.

Como o Transformer não possui recorrência, ele precisa receber informação sobre a posição dos tokens. Por isso, adiciona-se uma codificação posicional ao embedding:

z_i = e_i + p_i

Nessa fórmula, ( $e_i$ ) é o embedding do token e ( $p_i$ ) é a codificação de posição. O vetor ( $z_i$ ) passa a carregar tanto a informação do token quanto sua posição na sequência (Vaswani et al., 2017).

O núcleo do Transformer é o mecanismo de atenção. A atenção calcula relações entre tokens por meio de três matrizes principais: Query, Key e Value. Para uma entrada ( X ), calculam-se:

\begin{matrix} Q = XW_Q \\ \\ \\ K = XW_K \\ \\ \\ V = XW_V \end{matrix}

sendo que ( $W_Q$ ), ( $W_K$ ) e ( $W_V$ ) são matrizes de pesos aprendidas durante o treinamento. A atenção escalonada por produto interno é definida por:

Attention(Q, K, V) = softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)V

Essa equação indica que o modelo compara consultas ( Q ) com chaves ( K ), normaliza os pesos com a função softmax e usa esses pesos para combinar os valores ( V ). O termo ( $\sqrt{d_k}$ ) estabiliza os valores quando a dimensão dos vetores é alta (Vaswani et al., 2017).

A função softmax serve para transformar números reais em probabilidades. Se o modelo produz um vetor de pontuações ( s ), a probabilidade do token ( i ) é dada por:

softmax(s_i) = \frac{e^{s_i}}{\sum_{j=1}^{V} e^{s_j}}

de forma que ( V ) representa o tamanho do vocabulário. Assim, a saída final do modelo é uma distribuição de probabilidade sobre todos os tokens possíveis.

Durante o treinamento, a função de perda mais comum é a entropia cruzada. Para uma sequência com ( T ) tokens, pode-se escrever a equação como:

\mathcal{L} = – \sum_{t=1}^{T} \log P(x_t \mid x_1, x_2, \ldots, x_{t-1})

e interpretá-la da seguinte maneira: o modelo é penalizado quando atribui baixa probabilidade ao token correto. Ao minimizar essa perda, o treinamento ajusta os pesos da rede para melhorar a previsão dos próximos tokens (Goodfellow; Bengio; Courville, 2016).

Já a atualização dos parâmetros ocorre por otimização numérica, geralmente com variações do gradiente descendente. De modo simplificado, podemos expressar:

\theta_{novo} = \theta_{antigo} – \eta \nabla_{\theta}\mathcal{L}

onde, ( $\theta$ ) representa os parâmetros do modelo, ( $\eta$ ) é a taxa de aprendizado e ( $\nabla_{\theta}\mathcal{L}$ ) é o gradiente da função de perda em relação aos parâmetros. Essa equação mostra que a lógica central do treinamento é ajustar os pesos na direção que reduz o erro.

Processo de treinamento

O treinamento de um LLM moderno ocorre, tipicamente, em três etapas principais:

Pré-treinamento (pre-training)

Nessa fase, o modelo é exposto a enormes volumes de texto (bilhões a trilhões de tokens) coletados da internet, livros e outras fontes, em um regime de aprendizado auto-supervisionado. Isso significa que não há rótulos humanos, de forma que o próprio texto fornece o “gabarito”, já que o modelo aprende a prever o próximo token dado o contexto anterior (Brown et al., 2020).

Segundo Kingma e Ba (2014), os parâmetros são ajustados via retropropagação do erro (backpropagation) combinada com algoritmos de otimização baseados em gradiente descendente, sendo o Adam um dos mais utilizados na prática. Esse é o estágio mais caro computacionalmente, podendo levar semanas de processamento e ocupar milhares de GPUs/TPUs na tarefa.

Ajuste fino supervisionado (Supervised Fine-Tuning — SFT)

A segunda etapa pode ser o ajuste fino supervisionado, conhecido como supervised fine-tuning. Nessa fase, o modelo pré-treinado é treinado com exemplos de entrada e saída desejada. Por exemplo, pode receber uma instrução como “explique recursividade para um estudante iniciante” e aprender a produzir uma resposta didática. Essa etapa direciona o modelo para comportamentos mais úteis em tarefas específicas, reduzindo a distância entre a simples previsão de texto e a execução de instruções humanas (Ouyang et al., 2022).

Aprendizado por reforço com feedback humano (RLHF)

Uma terceira etapa importante nos modelos conversacionais modernos é o alinhamento por feedback humano. O método mais conhecido é o Reinforcement Learning from Human Feedback (RLHF). Nesse processo, avaliadores humanos comparam respostas geradas pelo modelo e indicam quais são melhores segundo critérios como utilidade, clareza, segurança e aderência à instrução. Com essas comparações, treina-se um modelo de recompensa. Depois, o LLM é ajustado para produzir respostas que maximizem essa recompensa (Ouyang et al., 2022).

O RLHF tornou-se importante porque aumentar o número de parâmetros não garante que o modelo siga bem a intenção do usuário. Um modelo grande pode gerar texto fluente e, ainda assim, ser impreciso, enviesado, prolixo ou perigoso. O ajuste com feedback humano busca aproximar o comportamento do modelo das expectativas de uso humano. Ouyang et al. (2022) mostraram que modelos menores ajustados com feedback humano podiam ser preferidos a modelos maiores sem esse tipo de alinhamento.

Além do RLHF, abordagens mais recentes também utilizam técnicas como ajuste por preferência, RLAIF (em que parte do feedback é gerada por sistemas de IA) e métodos diretos de otimização de preferências. O princípio geral permanece semelhante, ou seja, o modelo precisa ser treinado não apenas para prever texto, mas para responder de modo útil, seguro e adequado ao contexto da tarefa.

Métricas de avaliação do modelo

Avaliar um LLM é uma tarefa complexa porque a qualidade da linguagem não se reduz a uma única métrica. Um modelo pode ter bom desempenho em completar textos e baixo desempenho em raciocínio matemático. Pode resumir bem, mas falhar em programação. Pode responder com fluência, mas inventar fatos. Por isso, de acordo com Liang et al. (2022), avaliações modernas combinam métricas automáticas, benchmarks padronizados, avaliação humana, testes de segurança e análise de robustez.

Para o manter o nível didático deste texto como introdutório, podemos destacar as principais métricas. Elas incluem:

Perplexidade (Perplexity): mede o quão “surpreso” o modelo fica ao ver o próximo token real, sendo definida como a exponencial da entropia cruzada média. Quanto menor a perplexidade, melhor o modelo prevê o texto de teste.
BLEU (Bilingual Evaluation Understudy): originalmente criada para tradução automática, compara a sobreposição de n-gramas entre o texto gerado e uma ou mais referências humanas (Papineni et al., 2002).
ROUGE (Recall-Oriented Understudy for Gisting Evaluation): amplamente usada em sumarização automática, mede a sobreposição de n-gramas e subsequências entre o texto gerado e referências humanas, com foco em recall (Lin, 2004).
Benchmarks de conhecimento e raciocínio: conjuntos padronizados de tarefas usados para comparar modelos em habilidades específicas, como o GLUE, voltado à compreensão geral de linguagem (Wang et al., 2018), e o MMLU (Massive Multitask Language Understanding), que avalia conhecimento em dezenas de disciplinas acadêmicas e profissionais (Hendrycks et al., 2021).
Avaliação humana e de preferência: dada a limitação das métricas automáticas em capturar qualidade subjetiva, coerência e utilidade, avaliadores humanos comparam respostas geradas por diferentes modelos, prática central também no processo de RLHF (Ouyang et al., 2022).
Taxa de alucinação e calibração: métricas mais recentes buscam quantificar com que frequência o modelo gera informações factualmente incorretas (alucinações) e o quanto sua confiança expressa está de fato alinhada com sua acurácia real (calibração).

A prática recomendada é combinar métricas automáticas com avaliação humana e testes específicos para o domínio de aplicação para gerar evidências mais robustas de desempenhos das redes construídas. Além disso, é sempre bom reforçar que os métodos e as métricas são bastante voláteis, sendo substituídas por opções mais eficientes de forma frequente.

Conclusão

A IA Generativa e os LLMs representam uma mudança significativa na forma como sistemas computacionais lidam com linguagem, conhecimento e interação humano-computador. Compreender os fundamentos dos LLMs — desde a arquitetura Transformer e o papel dos tokens e parâmetros, até o processo de treinamento e as métricas de avaliação — deixou de ser um diferencial e passou a ser uma competência estrutural para profissionais de tecnologia.

Times de engenharia de software, dados e produto que dominam esses conceitos conseguem tomar decisões mais informadas sobre quando usar um LLM, como avaliar sua qualidade, como ajustar seu comportamento (via prompting, RAG ou fine-tuning) e como comunicar seus limites — como a possibilidade de alucinações — para stakeholders e usuários finais.

Olhando para o futuro, a literatura e a indústria apontam algumas tendências relevantes: modelos cada vez mais multimodais, capazes de processar texto, imagem, áudio e vídeo de forma integrada; arquiteturas mais eficientes computacionalmente, buscando desempenho equivalente com menos parâmetros e menor custo de inferência; e o avanço de agentes de IA, sistemas que combinam LLMs com capacidade de planejamento, uso de ferramentas externas e execução de tarefas complexas de forma mais autônoma.

Para o profissional de sistemas, acompanhar essa evolução com base sólida nos fundamentos — e não apenas nas manchetes — é o que permite transformar essas tecnologias em soluções robustas e responsáveis. Esperamos que este artigo tenham lhe dado o caminho inicial para continuar seu aprendizado.

Obrigado pela leitura e bons estudos!

Referências

BROWN, T. et al. Language models are few-shot learners. Advances in Neural Information Processing Systems, v. 33, p. 1877-1901, 2020.

DEVLIN, J. et al. BERT: pre-training of deep bidirectional transformers for language understanding. In: Proceedings of NAACL-HLT, 2019. p. 4171-4186.

GOODFELLOW, I.; BENGIO, Y.; COURVILLE, A. Deep Learning. Cambridge: MIT Press, 2016.

HENDRYCKS, D. et al. Measuring massive multitask language understanding. In: International Conference on Learning Representations (ICLR), 2021.

HOCHREITER, S.; SCHMIDHUBER, J. Long short-term memory. Neural Computation, v. 9, n. 8, p. 1735-1780, 1997.

HOFFMANN, J. et al. Training compute-optimal large language models. 2022. Disponível em: https://arxiv.org/pdf/2203.15556. Acesso em: 22 jun. 2026.

JURAFSKY, Daniel; MARTIN, James H. Speech and language processing. 3. ed. draft. [S. l.]: Daniel Jurafsky; James H. Martin, 2024. Disponível em: https://web.stanford.edu/~jurafsky/slp3/. Acesso em: 22 jun. 2026.

KAPLAN, J. et al. Scaling laws for neural language models. 2020. Disponível em: https://arxiv.org/abs/2001.08361. Acesso em: 22 jun. 2026.

KENNETH, Ace. What is the difference between AI, ML, DL, and Generative AI? Tutorials Dojo, 2025. Disponível em: https://tutorialsdojo.com/what-is-the-difference-between-ai-ml-dl-and-generative-ai/. Acesso em: 22 jun. 2026.

KINGMA, D. P.; BA, J. Adam: a method for stochastic optimization. 2014. Disponível em: https://arxiv.org/pdf/1412.6980. Acesso em: 22 jun. 2026.

LIANG, Percy et al. Holistic evaluation of language models. 2022. Disponível em: https://arxiv.org/abs/2211.09110. Acesso em: 22 jun. 2026.

LIN, C.-Y. ROUGE: a package for automatic evaluation of summaries. In: Text Summarization Branches Out, 2004. p. 74-81.

OUYANG, L. et al. Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, v. 35, p. 27730-27744, 2022.

PAPINENI, K. et al. BLEU: a method for automatic evaluation of machine translation. In: Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, 2002. p. 311-318.

VASWANI, A. et al. Attention is all you need. Advances in Neural Information Processing Systems, v. 30, 2017. Disponível em: https://arxiv.org/abs/1706.03762. Acesso em: 22 jun. 2026.

WANG, A. et al. GLUE: a multi-task benchmark and analysis platform for natural language understanding. Disponível em: https://arxiv.org/pdf/1804.07461. Acesso em: 22 jun. 2026.