En su extraordinario libro sobre la historia de la humanidad, el profesor israelí Yuval Noah Harari nos dice que los seres humanos no somos la única especie que se comunica con un lenguaje, otros animales lo hacen. La diferencia está en la flexibilidad de nuestro lenguaje, que nos permite transmitir gran cantidad de información sobre el entorno, sobre otras personas y, lo que realmente nos hace únicos, sobre conceptos intangibles o ficticios.

Realizamos la mayor parte de nuestras actividades haciendo uso del lenguaje oral y escrito, desde la comunicación cercana con nuestra familia y amistades, pasando por el trabajo y la escuela, hasta llegar a la comunicación entre empresas y naciones. El lenguaje ha permitido la expresión, registro y diseminación del conocimiento y de las ideas, primero con el lenguaje escrito y después, gracias a la tecnología, también con el lenguaje oral, lo que explica que casi toda la información disponible hoy en día en el mundo esté expresada en lenguaje natural.

Dado el papel fundamental del lenguaje para nuestra interacción con los demás, la capacidad de comunicarse exitosamente con las computadoras usando lenguaje natural ha sido siempre una aspiración de los científicos. Esta capacidad las haría más útiles y ayudaría a incrementar la confianza con que las utilizamos. Sin embargo, las sutilezas y ambigüedades asociadas al lenguaje hacen de esta una de las áreas de investigación más complejas pero interesantes de la Inteligencia Artificial (IA), llamada procesamiento de lenguaje natural (NLP por sus siglas en inglés).

Image by Gerd Altmann from Pixabay

Las aplicaciones de NLP son tan amplias como los usos del lenguaje y hoy tienen distintos niveles de avance. Entre ellas están las siguientes:

• Clasificación de documentos. A partir del texto determina a qué categoría corresponde un documento
• Recuperación de información. Encuentra documentos relevantes para la solicitud del usuario (motores de búsqueda como Google)
• Extracción de información. Adquiere conocimientos de un texto a través de la detección de ciertos conceptos y sus relaciones
• Resumen de textos. Sintetiza automáticamente las ideas principales de un documento
• Análisis de sentimientos. Determina si un mensaje es positivo o negativo a partir de su texto
• Análisis de textos. Determina la estructura gramatical de una frase
• Reconocimiento de voz. Identifica palabras a partir del sonido y genera el texto correspondiente
• Corrección ortográfica. Detecta errores sintácticos y aún gramaticales en un texto
• Traducción automática. Genera el texto correspondiente a un mensaje en otro idioma
• Sistemas conversacionales. Combinan aplicaciones anteriores para mantener una conversación (asistentes virtuales y chatbots)

Actualmente los mayores avances están en la clasificación de documentos (detectores de spam), la recuperación de información (motores de búsqueda) y la corrección ortográfica, seguidos de la traducción automática, la extracción de información, el análisis de textos y el análisis de sentimientos, para seguir con el trabajo aún en proceso en el resumen de documentos, el reconocimiento de voz y los sistemas conversacionales.

Image by Gerd Altmann from Pixabay

Al igual que en otras áreas de la IA, el NLP debe sus avances recientes al uso de modelos probabilísticos y técnicas de aprendizaje de máquina, incluyendo las redes neuronales artificiales, los cuales utilizan millones de ejemplos para dar la respuesta con mayor probabilidad de ser correcta, de acuerdo con el comportamiento estadístico de los ejemplos. Este enfoque no requiere conocimientos explícitos de la sintaxis o gramática de un idioma.

Algunos de los algoritmos modernos de NLP funcionan a partir de un modelo probabilístico del lenguaje, esto es, la frecuencia con la que se presentan en una muestra del idioma cada letra, símbolo o palabra, o una secuencia de ellos, conocidos como n-gramas. Los modelos basados en letras o símbolos se utilizan para textos cortos, como en un corrector ortográfico, mientras que los modelos basados en palabras se usan para analizar textos largos.

Por ejemplo, el párrafo anterior tiene 74 palabras, o unigramas, y la más frecuente es “en” que aparece 4 veces, seguida por “de”, “la”, “los”, “o” y “se” que aparecen 3 veces. Contiene 73 bigramas, siendo los más frecuentes “basados en”, “en un”, “los modelos”, “modelos basados”, que aparecen 2 veces. Finalmente, hay 72 trigramas y los más frecuentes son “los modelos basados” y “modelos basados en”, que aparecen 2 veces.

Una vez construido el modelo probabilístico se puede utilizar para clasificar textos con base en la frecuencia con que aparecen ciertos n-gramas en una categoría, igual se hace para determinar el sentimiento de un mensaje o para hacer el análisis gramatical de una frase. En el caso de la traducción se usa la estadística de n-gramas con su equivalente en el otro idioma y, en el reconocimiento de voz, la correspondencia de características del sonido con ciertos n-gramas.

Image by Lucia Grzeskiewicz from Pixabay

Podemos ver estos algoritmos en acción con el modo predictivo de aplicaciones de mensajería instantánea, como WhatsApp. Si observamos con cuidado, conforme vamos escribiendo la aplicación sugiere algunas palabras, al parecer con base en las dos anteriores, por lo que posiblemente usa trigramas. Las selecciones que hacemos van actualizando nuestra estadística.

Entre más larga es la secuencia de palabras utilizada, la estadística estará más relacionada con el significado del texto, pues las secuencias tienen mayor sentido, pero esto incrementa astronómicamente el volumen de documentos, conocidos como corpus, que deben analizarse para generar una estadística útil. Esto debido a que una persona culta utiliza en español un vocabulario de 500 palabras, por lo que hay 500x500x500 trigramas posibles, un total de 125 millones, que es la longitud mínima en palabras del corpus que debe utilizarse para generar el modelo, unas 250 mil páginas de texto.

En aplicaciones de mensajería instantánea somos tolerantes al error y la actualización con el uso permite que en un plazo relativamente corto la herramienta nos sea muy útil, por lo que el corpus puede no ser tan grande. No obstante, en otras aplicaciones es fundamental tener una estadística muy significativa, por lo que se hacen grandes esfuerzos e inversiones para desarrollar el modelo del lenguaje y para crear nuevas técnicas que eviten tener que analizar todos los n-gramas posibles. De igual forma, se están desplegando técnicas basadas en redes neuronales para encontrar nuevos modelos para realizar traducciones y generar textos de calidad sorprendente.

Algunas de las aplicaciones más avanzadas de NLP producen resultados que hacen parecer que hay una inteligencia detrás de la creación de los textos, que capta el sentido de estos. Sin embargo, estamos ante un ejercicio de predicción estadística, muy exacto, pero carente de entendimiento. En el futuro previsible, al parecer la riqueza y complejidad del lenguaje que diferencia a los seres humanos está vigente y, como dice el profesor Harari, seguirá siendo el factor clave para el éxito de nuestra especie.

¿Te gustó este artículo? Lee otros artículos de nuestro blog IF Inteligencia Futura aquí.