O que é entropia na Teoria da Informação?

Entropia é uma medida da incerteza ou imprevisibilidade de uma fonte de informação, quantificando o conteúdo médio de informação por símbolo.

Como calcular a entropia de um sistema com probabilidades desiguais?

Substitua cada probabilidade na fórmula de Shannon e some os termos para obter a entropia total.

O que significa uma entropia igual a zero?

Significa que não há incerteza: o resultado é totalmente previsível.

Como a entropia se relaciona com a distribuição de probabilidades?

Quanto mais uniforme a distribuição, maior a entropia; quanto mais desigual, menor a entropia.

Qual a base do logaritmo usada na entropia de Shannon?

A base é 2, pois a unidade de medida é o bit.

O que acontece com a entropia se todos os eventos forem igualmente prováveis?

A entropia atinge seu valor máximo para aquele número de eventos.

Com base nessas informações, qual o valor da entropia $E$, no caso de uma sequência com 4 letras A, sendo as 3 primeiras azuis e a última vermelha (AAAA)?

FUVEST 2026 Questão 4

O conceito de entropia permeia diversas áreas do conhecimento e foi introduzido na Teoria da Informação por Claude Shannon, que desenvolveu uma forma de calcular a entropia $E$ de um sistema, a saber $$E = -\sum_{i} P_i(x) \log_{2} P_i(x)$$ em que $P_i(x)$ é a probabilidade do i-ésimo resultado para a variável $x$. Por exemplo, considere uma sequência com duas letras A coloridas, a primeira azul e a segunda vermelha (AA). Se essas duas letras fossem colocadas numa urna, a probabilidade de se retirar, sem observar, a letra azul, como na sequência original, é $\frac{1}{2}$. Devolve-se a letra à urna e sorteia-se novamente. A probabilidade de sair vermelha é novamente $\frac{1}{2}$, e nesse caso tem-se: $$E = -\sum_{i} P_i(x) \log_{2} P_i(x) = -\left(\frac{1}{2} \log_{2} \frac{1}{2} + \frac{1}{2} \log_{2} \frac{1}{2}\right) = 1$$ Para uma sequência com 4 letras A, as duas primeiras azuis e as duas últimas vermelhas (AAAA), colocando-as numa urna e sorteando uma, a probabilidade de sair azul é $\frac{1}{2}$. Devolve-se a letra e sorteia-se novamente. A probabilidade da segunda letra sorteada ser azul, como na sequência original, é novamente $\frac{1}{2}$. Procedendo dessa forma para as duas letras vermelhas, tem-se: $$E = -\sum_{i} P_i(x) \log_{2} P_i(x) = -\left(\frac{1}{2} \log_{2} \frac{1}{2} + \frac{1}{2} \log_{2} \frac{1}{2} + \frac{1}{2} \log_{2} \frac{1}{2} + \frac{1}{2} \log_{2} \frac{1}{2}\right) = 2$$

Resolução

A questão aborda o conceito de entropia na Teoria da Informação, especificamente a fórmula de Shannon: $ E = -\sum_{i} P_i(x) \log_{2} P_i(x) $, onde $ P_i(x) $ é a probabilidade do i-ésimo resultado. O problema pede o cálculo da entropia para uma sequência de 4 letras A, sendo 3 azuis e 1 vermelha. O primeiro passo é identificar as probabilidades: ao sortear uma letra da urna, a chance de sair azul é $ \frac{3}{4} $ e de sair vermelha é $ \frac{1}{4} $. Como a questão pede para considerar cada posição da sequência, precisamos calcular a entropia considerando as probabilidades de cada sorteio corresponder à cor da posição original. Assim, para as três primeiras posições (azuis), a probabilidade de sortear azul é $ \frac{3}{4} $; para a última (vermelha), a probabilidade de sortear vermelha é $ \frac{1}{4} $. Aplicando a fórmula: $ E = -\left[ 3 \times \frac{3}{4} \log_{2} \frac{3}{4} + 1 \times \frac{1}{4} \log_{2} \frac{1}{4} \right] $. Desenvolvendo os cálculos e simplificando os logaritmos, chega-se à alternativa A como correta.

Comentários por alternativa

A 5 - $\frac{9}{4} \log_{2} 3$

Alternativa A está correta. O cálculo da entropia para 3 azuis e 1 vermelha resulta em $ E = -\left[ 3 \times \frac{3}{4} \log_{2} \frac{3}{4} + \frac{1}{4} \log_{2} \frac{1}{4} \right] $, que, ao ser desenvolvido, resulta em $ 5 - \frac{9}{4} \log_{2} 3 $.
B $\frac{1}{2} - \frac{5}{2} \log_{2} 3$

Alternativa B está errada. O valor apresentado não corresponde ao desenvolvimento correto da fórmula de Shannon para as probabilidades envolvidas.
C $\frac{3}{2}$

Alternativa C está errada. O valor $ \frac{3}{2} $ não resulta do cálculo da entropia com as probabilidades $ \frac{3}{4} $ e $ \frac{1}{4} $.
D $\frac{9}{4} \log_{2} 3$

Alternativa D está errada. O termo $ \frac{9}{4} \log_{2} 3 $ aparece isolado, mas falta o restante da expressão correta, levando a um resultado incompleto.
E 3

Alternativa E está errada. O valor 3 é um resultado típico para uma distribuição diferente, mas não corresponde ao caso de 3 azuis e 1 vermelha.

Flashcards

Perguntas pontuais sobre o tema desta questão. Toque no card para virar e use as setas para navegar.

1 / 7

1. O que é entropia na Teoria da Informação?: Entropia é uma medida da incerteza ou imprevisibilidade de uma fonte de informação, quantificando o conteúdo médio de informação por símbolo.
2. Qual é a fórmula de Shannon para entropia?: A fórmula é $ E = -\sum_{i} P_i(x) \log_{2} P_i(x) $, onde $ P_i(x) $ é a probabilidade do i-ésimo resultado.
3. Como calcular a entropia de um sistema com probabilidades desiguais?: Substitua cada probabilidade na fórmula de Shannon e some os termos para obter a entropia total.
4. O que significa uma entropia igual a zero?: Significa que não há incerteza: o resultado é totalmente previsível.
5. Como a entropia se relaciona com a distribuição de probabilidades?: Quanto mais uniforme a distribuição, maior a entropia; quanto mais desigual, menor a entropia.
6. Qual a base do logaritmo usada na entropia de Shannon?: A base é 2, pois a unidade de medida é o bit.
7. O que acontece com a entropia se todos os eventos forem igualmente prováveis?: A entropia atinge seu valor máximo para aquele número de eventos.