UY Press - Agencia uruguaya de noticias

09.12.2016

En 1948 un evento fundamental tiene lugar en los Laboratorios Bell: el matemático estadounidense Claude Shannon (1916–2001) publica "Una teoría matemática de la comunicación". En esta monografía Shannon considera y resuelve algunos problemas básicos de la comunicación iniciando así la teoría de la información (ver más abajo).

Para las comunicaciones digitales la matemática de la teoría de la información de Shannon resulta esencial e insustituible.

Shannon se incorpora a los Laboratorios Bell en 1941 como investigador en matemática, tras obtener su doctorado en el MIT en 1940. La compañía telefónica, a pesar de sus intereses comerciales y de su origen y motivación tecnológica, alentaba el desarrollo de investigación fundamental en matemática sin un propósito comercial aparente.

En este ambiente madura el trabajo de Shannon. Durante la visita del matemático inglés Alan Turing a los Laboratorios en 1943 tienen encuentros diarios a la hora del té en los que conversan sobre el emblemático artículo de Turing "Sobre los números computables" y sobre la posibilidad de que las máquinas aprendan a pensar.

Antes de comenzar su trabajo en los Laboratorios, Shannon hace una estadía posdoctoral en el Instituto de Estudios Avanzados de Princeton. Allí encuentra oportunidad de discutir sus ideas con John von Neumann, matemático húngaro que fuera uno de los pioneros de la computación.

Sin lugar a dudas Shannon habría logrado resultados importantes en cualquier lugar, pero la posibilidad de desarrollar sus actividades en centros de investigación de calidad y en contacto con científicos de primer nivel fue seguramente un factor determinante para la relevancia de sus trabajos.

En nuestro país somos un número relativamente pequeño de matemáticos que hacemos investigación en diversas áreas, principalmente en institutos de la Universidad de la República. Hay también un número importante de matemáticos uruguayos trabajando en el exterior.

Nuestra comunidad está trabajando en un proyecto para la creación de un Instituto de Estudios Avanzados en Física y Matemática, con intenciones similares a las del Instituto de Princeton. Esta es una gran oportunidad para nuestro país, que nos permitirá dar un salto en el volumen y calidad de la investigación en estas disciplinas, atraer jóvenes investigadores de primer nivel que actualmente están en el exterior, y tender lazos hacia el sector productivo.

Teoría de la información

La teoría de la información estudia los problemas de almacenamiento y comunicación de la información, así como la medición de la cantidad de información y de la capacidad de los sistemas de comunicación.

La cantidad de información que contiene un mensaje desconocido, medido en bits, es el número promedio de preguntas sí-no que hay que hacer para averiguar el mensaje. Es decir un mensaje de un bit es aquel que puede tomar dos posibles valores igualmente probables.

Si se considera un alfabeto de 32 símbolos (letras, etc), entonces cada símbolo contiene 5 bits de información. En efecto, puede dividirse el alfabeto en dos grupos de 16 símbolos, y una pregunta sí-no puede determinar en cuál de estos grupos está el símbolo desconocido. La segunda pregunta determina un grupo de 8 en el que está el símbolo, la tercera pregunta un grupo de 4, la cuarta pregunta un grupo de 2, y la quinta pregunta termina de determinar el símbolo. De la misma manera, un mensaje compuesto por 3000 de estos símbolos contiene, en principio, 15000 bits de información.

Sin embargo, si se sabe que un mensaje está escrito en español, interviene la estructura estadística del lenguaje: por ejemplo algunas letras son mucho más probables que otras. Se dice que el mensaje tiene redundancia, lo que permite determinar un mensaje escrito en español compuesto por 3000 símbolos con mucho menos de 15000 preguntas sí-no. En esto se basa el funcionamiento de los programas de compresión de datos (por ejemplo, zip).

Shannon define la entropía de una fuente de información como el promedio de la cantidad de información de los mensajes producidos por dicha fuente. Su primer resultado fundamental demuestra que hay códigos que comprimen los mensajes de una fuente a un tamaño arbitrariamente cercano a su entropía, pero no más. Este resultado establece un límite teórico al nivel de compresión de cualquier código, y rápidamente la comunidad científica logró desarrollar códigos óptimos en este sentido (el propio Shannon, Fano, Huffman, y otros).

Otro problema de la teoría de la información es la transmisión de datos a través de un canal con ruido. Imaginemos un canal de comunicación a través del cual se envían mensajes con el alfabeto de 32 símbolos a una velocidad de 3000 símbolos por segundo con una tasa de error de 1%. Así un mensaje de 3000 símbolos se envía en 1 segundo, pero se reciben 30 símbolos equivocados en promedio.

Una idea sencilla para mejorar la tasa de error es un código de repetición: se repite cada símbolo del mensaje 3 veces. Cuando se reciben 3 símbolos iguales se interpreta como tal. Si se reciben 2 símbolos iguales y uno distinto, se asume que hubo un error en un símbolo, y se interpreta el símbolo repetido. Sólo hay un problema cuando se producen 2 o 3 errores en un mismo grupo de 3 símbolos, y la probabilidad de que esto ocurra es menor a 0,03%. El código mejora la tasa de error, pero no es muy eficiente, ya que la velocidad efectiva es de 3000/3 = 1000 símbolos por segundo.

Shannon define la capacidad de un canal de comunicación; su segundo resultado fundamental demuestra que hay códigos que mejoran la tasa de error arbitrariamente, pero donde la velocidad efectiva está limitada por la capacidad del canal. En el ejemplo anterior la capacidad del canal es aproximadamente 2921 símbolos por segundo, mucho mejor que con el código de repetición mencionado arriba. Nuevamente la demostración de Shannon establece límites teóricos para la capacidad de un canal, pero deja abierto el problema de encontrar códigos de corrección de errores eficientes. A diferencia de los códigos de compresión, la comunidad científica estuvo buscando durante 60 años los códigos de corrección de errores prometidos por Shannon. Hoy este tipo de códigos se utilizan diariamente en medios de almacenamiento (DVDs, discos duros, etc), en telefonía celular, o en las misiones de la NASA a Marte.

Gonzalo Tornaría

Profesor titular de matemática de la Universidad de la República. Doctor en matemática por la Universidad de Texas en Austin, especialista en teoría de números computacional. Integrante del Sistema Nacional de Investigadores y del Pedeciba Matemática.

tornaria@cmat.edu.uy

Por entregas anteriores de nuestra Columna de Ciencia y Tecnología, visite aquí.