Entropia de la Informacion

Es dificil imaginar hoy en día como seria nuestra vida sin los avances tecnológicos realizados prácticamente en todas las áreas del saber humano y lo rápido que se han producido debido en gran medida, al uso de ordenadores. Pero estos avances no se han dado por casualidad (bueno tal vez algunos ¬¬), se los debemos a personas muy dedicadas que sentaron las bases científicas de los mismos. Una de estas personas fue Claude E. Shannon, quien es recordado como el padre de la Teoría de la Información por su trabajo a "Mathematical Theory of Communication", el cual ha sido ampliamente utilizado en tecnologías como Internet y compresión de datos.

Una de los legados de Shannon fue la capacidad tratar la información como magnitud física. En base a esto podemos cuantificar la cantidad de información que contiene un mensaje y a su vez determinar la mejor manera de transmitir dicha información, ¿pero qué es la información? Para no profundizar mucho en este concepto y no meternos en cuestiones filosóficas, diremos que la información es un conjunto de datos procesados por alguna fuente y que pueden llegar a constituir un mensaje. Una vez que hemos conformado un mensaje codificado bajo cierta simbología y que contiene cierta información, surge la necesidad de transmitir dicha información hacia un receptor y para hacerlo de la manera más eficiente y económica, Shannon asocio el concepto físico de Entropía con la información.

Básicamente lo que nos indica la entropía es el nivel de información contenido en un mensaje observando la probabilidad de ocurrencia de todos los símbolos utilizados para la codificación de dicho mensaje. Los símbolos utilizados para la codificación de un mensaje puedieran ser las letras del alfabeto. Con este estudio, se pudieron hacer grandes avances en la telefonía digital, en la compresión de datos y en la detección de errores. Para entender un poquito mejor el concepto pongamos un ejemplo, supongamos que estamos recibiendo un mensaje y hemos leido hasta el momento "Ciencia y Tecno", la probabilidad de que el mensaje continúe con "logía" es muy alta y en consecuencia la información recibida es muy baja, pero se en vez de eso recibiéramos "polis" la probabilidad de ocurrencia del último mensaje es muy baja y por lo tanto la información aportada es alta. Esto es, la mayor cantidad de información es aportada por los elementos del mensaje con menor probabilidad de ocurrencia y por lo tanto son los elementos en los que debemos centrar nuestra atención, ya sea para procesamiento, para toma dedecisiones, etc. Esto se denota con la siguiente ecuación:

donde pi es la probabilidad de emisión/recepción del símbolo i. Cuando la probabilidad de emisión/recepción de todos los símbolos es la misma, la entropía es máxima al igual que la cantidad de información. Esto se ilustra en la siguiente gráfica