Questão 4 — O conceito de entropia permeia diversas áreas do conhecimento e foi introduzido na Teoria da Informação por Claude Shannon, que desenvolveu uma forma…

O conceito de entropia permeia diversas áreas do conhecimento e foi introduzido na Teoria da Informação por Claude Shannon, que desenvolveu uma forma de calcular a entropia $E$ de um sistema, a saber $E = -\sum_{i} P_i(x) \log_{2} P_i(x)$ em que $P_i(x)$ é a probabilidade do i-ésimo resultado para a variável $x$. Por exemplo, considere uma sequência com duas letras A coloridas, a primeira azul e a segunda vermelha (AA). Se essas duas letras fossem colocadas numa urna, a probabilidade de se retirar, sem observar, a letra azul, como na sequência original, é $\frac{1}{2}$. Devolve-se a letra à urna e sorteia-se novamente. A probabilidade de sair vermelha é novamente $\frac{1}{2}$, e nesse caso tem-se: $E = -\sum_{i} P_i(x) \log_{2} P_i(x) = -\left(\frac{1}{2} \log_{2} \frac{1}{2} + \frac{1}{2} \log_{2} \frac{1}{2}\right) = 1$ Para uma sequência com 4 letras A, as duas primeiras azuis e as duas últimas vermelhas (AAAA), colocando-as numa urna e sorteando uma, a probabilidade de sair azul é $\frac{1}{2}$. Devolve-se a letra e sorteia-se novamente. A probabilidade da segunda letra sorteada ser azul, como na sequência original, é novamente $\frac{1}{2}$. Procedendo dessa forma para as duas letras vermelhas, tem-se: $E = -\sum_{i} P_i(x) \log_{2} P_i(x) = -\left(\frac{1}{2} \log_{2} \frac{1}{2} + \frac{1}{2} \log_{2} \frac{1}{2} + \frac{1}{2} \log_{2} \frac{1}{2} + \frac{1}{2} \log_{2} \frac{1}{2}\right) = 2$$