Procesamento da linguaxe natural

O procesamento da linguaxe natural (PLN ou NLP, do inglés Natural Language Processing) é unha subdisciplina da intelixencia artificial, proximamente relacionada coa lingüística computacional, que ten como obxectivo modelar as linguas naturais e desenvolver ferramentas que permitan procesalas, tratalas e reproducilas mediante o uso de medios computacionais. Estas solucións a miúdo toman a forma de aplicacións ou programas informáticos, e permiten a comunicación tanto entre persoas como entre persoas e máquinas mediante o uso de linguas naturais, como o galego, o portugués, o castelán, o inglés etc. Debido ás súas características, trátase dun campo tamén relacionado coa informática, as ciencias da computación e a lingüística.

O Procesamento da Linguaxe Natural ten as súas raíces nas investigacións levadas a cabo no campo da intelixencia artificial (IA), especialmente en torno á Asociación de Lingüística Computacional. Actualmente, esta disciplina busca solucións para procesar as linguas naturais nas súas dúas vertentes principais: os textos escritos e a fala (ou textos orais). Os últimos avances en PNL inclúen os modelos de lingua e os recursos de recoñecemento de voz, entre outros.

Historia

O procesamento da linguaxe natural ten a súa orixe na tradución automática, nas décadas de 1940 e 1950, cando os primeiros intentos de traducir textos mediante o uso de ordenadores fixeron evidente a necesidade de desenvolver ferramentas coas que procesar computacionalmente as linguas naturais. As investigacións levadas a cabo nestes anos pronto conformaron un ámbito de estudo en si mesmo e, en 1962, fundouse a Association for Machine Translation and Computational Linguistics, que seis anos despois se converteu na Asociación de Lingüística Computacional, a principal organización sobre PLN a nivel internacional. Hoxe en día, a historia do PLN divídise en tres períodos:

O PLN simbólico (inicios - década de 1980)

Baseouse na idea de que os ordenadores podían emular a linguaxe humana a partir dunha serie de formalismos e conxuntos de regras que describisen os diferentes fenómenos lingüísticos. Así, de contar coa información lingüística adecuada (sobre a concordancia ou os tempos verbais, por exemplo), os sistemas podían xerar textos gramaticalmente correctos. Con todo, nesta época os ordenadores contaban con pouca potencia e as regras lingüísticas escribíanse de forma manual, o que limitaba as capacidades das ferramentas que se desenvolvían.

O PLN estatístico (década de 1990 - década de 2010)

Na década de 1990, os ordenadores adquiriron unha maior capacidade de procesamento e memoria e comezáronse a empregar os algoritmos de aprendizaxe automática para resolver as tarefas do PNL, o que supón unha revolución no campo. Nesta etapa, os ordenadores xa non operan en base a unha serie de regras escritas por humanos, senón mediante o procesamento de grandes cantidades de textos (os corpus lingüísticos) e o cálculo de ocorrencias. Grazas a este novo método, os ordenadores son capaces de detectar padróns e reproducilos dunha forma máis eficiente e satisfactoria. Estes modelos probabilísticos foron imprescindibles para diversas ferramentas desenvolvidas neste período, en especial, para aquelas relacionadas coa tradución automática.

O PLN neuronal (actualidade)

Na última década, a potencia e capacidade dos medios computacionais continuaron incrementándose, o que trouxo consigo un novo paradigma. Na actualidade, a investigación en PLN emprega as redes neuronais artificiais de aprendizaxe profunda para mellorar o procesamento das linguas naturais. Ao igual que os modelos estatísticos, estas redes neuronais adéstranse con grandes cantidades de textos. Con todo, a diferencia dos anteriores, estas redes operan de forma máis sofisticada, pois procesan a información nunha serie de capas, onde as saídas dunhas se converten nas entradas doutras e así sucesivamente. Malia que aínda se descoñece como aprenden exactamente as redes neuronais, sabemos que os modelos transforman as ocorrencias da lingua en valores numéricos nun espazo, o cal é un método máis sofisticado e complexo que as regras escritas de forma manual que se empregaban nos inicios do PNL.

Cabe destacar que, malia as melloras das últimas décadas, hoxe en día non existe unha metodoloxía única que resolva as tarefas de PLN de forma íntegra. Por este motivo, faise uso cada vez máis dos paradigmas híbridos, que combinan dúas ou máis metodoloxías para obteren mellores resultados.

Subáreas

O Procesamento da Linguaxe Natural divídese en dúas subáreas de acción:

• A interpretación da linguaxe natural (ILN ou NLU, do inglés Natural Language Understanding), que engloba aquelas tarefas relacionadas coa análise e a interpretación da lingua. No caso da análise, destacan os recursos que analizan a gramática e o léxico de textos escritos, por exemplo. No caso da interpretación, atopamos os chatbots de asistencia das páxinas web que ofrecen unha ou outra solución predeterminada ás persoas usuarias dependendo dos problemas que describan, entre outros.
• A xeración da linguaxe natural (XLN ou NLG, do inglés Natural Language Generation), que engloba aquelas tarefas relacionadas coa elaboración de textos orais ou escritos nunha lingua natural. O principal exemplo son as respostas que ofrecen os modelos de lingua, como ChatGPT.

Dificultades no procesamento de linguaxes naturais

Ambigüidade

A linguaxe natural é inherentemente ambigua a diferentes niveis:

• A nivel léxico, unha mesma palabra pode ter varios significados, e a selección do apropiado debese deducir a partir do contexto oracional ou coñecemento básico. Moitas investigacións no campo do procesamento de linguaxes naturais teñen estudado métodos de resolver as ambigüidades léxicas mediante dicionarios, gramáticas, bases do coñecemento e correlacións estatísticas.
• A nivel referencial, a resolución de anáforas e catáforas implica determinar a entidade lingüística previa ou posterior á que fan referencia.
• A nivel estrutural, requírese da semántica para desambiguar a dependencia dos sintagmas preposicionais que conducen á construción de distintas árbores sintácticas.
• A nivel pragmático, unha oración, a miúdo, non significa o que realmente se está a dicir. Elementos tales como a ironía teñen un papel importante na interpretación da mensaxe.

Para resolver estes e outros tipos de ambigüidades, o problema central no PLN é a tradución de entradas en linguaxe natural a unha representación interna sen ambigüidade, como árbores de análise.

Detección de separación entre as palabras

Na lingua falada, non se acostuman facer pausas entre palabra e palabra. O lugar no que se debe separar as palabras a miúdo depende de cal é a posibilidade que manteña un sentido lóxico tanto gramatical como contextual. Na lingua escrita, idiomas como o chinés mandarín tampouco teñen separacións entre as palabras.

Recepción imperfecta de datos

Acentos estranxeiros, rexionalismos ou dificultades na produción da fala, erros de mecanografado ou expresións non gramaticais, erros na lectura de textos mediante OCR

Compoñentes

• Análise morfolóxica: A análise das palabras para extraer raíces, trazos flexivos, unidades léxicas compostas e outros fenómenos.
• Análise sintáctica: A análise da estrutura sintáctica da frase mediante unha gramática da lingua en cuestión.
• Análise semántica: A extracción do significado da frase, e a resolución de ambigüidades léxicas e estruturais.
• Análise pragmática: A análise do texto máis alá dos límites da frase, por exemplo, para determinar os antecedentes referenciais dos pronomes.
• Planificación da frase: Estruturar cada frase do texto co fin de expresar o significado adecuado.
• Xeración da frase: A xeración da cadea lineal de palabras a partir da estrutura xeral da frase, coas súas correspondentes flexións, concordancias e restantes fenómenos sintácticos e morfolóxicos.

Tarefas

As principais tarefas que se levan a cabo na área do PLN son:

• Síntese do discurso
• Análise da linguaxe
• Comprensión da linguaxe
• Recoñecemento da fala
• Síntese de voz
• Tradución automática
• Recuperación de información
• Extracción de información
• Resposta a preguntas

Ferramentas e recursos

As principais ferramentas que se desenvolven actualmente no eido do PLN inclúen:

• Tradutores automáticos, que reciben na entrada un texto escrito nunha lingua natural (por exemplo, en galego) e ofrecen un texto noutra lingua natural como saída (por exemplo, en inglés).
• Correctores ortográficos e gramaticais, que detectan os erros de escritura e ofrecen posibles solucións ou alternativas.
• Chatbots, que simulan as conversas humanas, respondendo ás preguntas ou mensaxes das persoas usuarias mediante a predición de respostas en base aos datos cos que foron adestrados. A miúdo empréganse como métodos de asistencia nas páxinas web ou asistentes persoais, aínda que cada vez teñen máis usos, en especial grazas aos últimos avances en intelixencia artificial xenerativa.
• Resumidores que procesan textos e extraen a información máis relevante para xerar resumos.
• Modelos de lingua, que son capaces de realizar diversas tarefas de procesamento da linguaxe natural, cada vez de maior complexidade, incluídas as anteriores.
• Detectores de spam, que revisan os correos electrónicos para detectar aqueles que sexan fraudulentos, daniños ou non desexados e tomar as medidas necesarias.

Ademais, da investigación en PLN derívanse outros recursos lingüísticos, como son:

• Segmentadores textuais, como os tokenizadores ou os segmentadores a nivel de oracións, que permiten dividir e clasificar os elementos que compoñen os textos.
• Lematizadores, que permiten obter os lemas das palabras.
• Stemmers, que permiten obter as raíces das palabras.
• Etiquetadores, que permiten clasificar elementos lingüísticos automaticamente, entre os que destacan os etiquetadores de categorías gramaticales (PoS tagging) e os analizadores sintácticos (parsers). A diferencia atópase en que, mentres que os primeiros identifican as categorías gramaticais das palabras que compoñen un texto, os segundos detallan as estruturas xerárquicas e as relacións existentes entre os diferentes elementos que compoñen unha oración. Ambos procedementos son imprescindibles no PLN e a miúdo se levan a cabo de forma parella para obter análises lingüísticas o máis completas posible.
• Léxicos xerais ou especializados, que inclúen un compendio de palabras ou termos, xunto con información lingüística relevante.
• Dicionarios monolingües ou multilingües, que ofrecen palabras e definicións e, no segundo caso, equivalencias noutras linguas.
• Corpus lingüísticos, tanto de textos como de voz, que recollen mostras de uso real da lingua e que son de utilidade tanto para as tarefas de PLN como para a investigación lingüística.
• Datasets anotados manual ou automaticamente, que permiten adestrar e avaliar modelos, tanto a nivel de lingua en xeral como sobre un fenómeno concreto.
• Outros recursos que permiten obter información lingüística relevante, tales como as listas de frecuencias (de palabras, expresións etc), as relacións de sinonimia e antonimia etc.

Bibliotecas e frameworks

Nos últimos anos, desenvolvéronse numerosas bibliotecas, frameworks e outros recursos para o procesamento de textos e a realización de tarefas do PLN. Gran parte deles son gratuítos e de código aberto e adóitanse implementar con Python, a linguaxe de programación máis empregada neste ámbito. Entre eles, destacan:

1. NLTK (Natural Language Toolkit). Trátase dunha biblioteca de Python que engloba unha serie de ferramentas imprescindibles para o procesamento de textos e a análise lingüística. NLTK conta con recursos de clasificación, tokenización, stemming, etiquetadores de categorías gramaticais e analizadores sintácticos, entre outros. Ademais, vén equipada con arredor de 50 corpus e recursos lexicográficos e conta con foros de discusión e unha comunidade activa. Trátase du recurso esencial na investigación e, dado que contén unha extensa documentación e outros recursos de aprendizaxe, constitúese tamén como un recurso educativo ideal para introducirse en PLN.
2. SpaCy. É unha biblioteca utilizada sobre todo na investigación e no ámbito comercial e industrial, pois permite procesar grandes cantidades de texto, desenvolver aplicacións e implementar solucións de forma rápida e eficiente. As súas principais funcións son o recoñecemento de entidades nomeadas, a etiquetaxe de categorías gramaticais, a análise sintáctica e outras tarefas, entre elas a integración de modelos. Na páxina web oficial, é posible personalizar e descargar un paquete de instalación a medida en base ás necesidades concretas da persoa usuaria, e conta tamén con diversas guías que ofrecen información sobre como empregar a biblioteca para as diferentes tarefas de PLN.
3. TextBlob. Unha biblioteca que permite procesar textos de forma rápida e sinxela, especialmente pensada para persoas principiantes. Permite levar a cabo os procesos básicos en PLN, como a tokenización, a etiquetaxe, a clasificación, a extracción de información etc. Como nos casos anteriores, conta cunha documentación que detalla os diferentes procedementos que se poden aplicar coa biblioteca, o que a converte á vez nun recurso educativo.
4. Gensim. Unha biblioteca que permite analizar documentos, determinar semellanzas textuais e modelar temáticas de forma eficiente, sendo posible procesar grandes cantidades de información a un tempo. Do mesmo xeito, facilita o adestramento de modelos semánticos e ofrece unha detallada documentación sobre o seu uso e aplicación.

Outras bibliotecas populares actualmente son PolyGlot, CoreNLP, Pattern e AllenNLP, entre outras.

PLN en galego

Na actualidade, o Proxecto Nós está a desenvolver diversas labores de PLN. Trátase dun proxecto de investigación encomendado á Universidade de Santiago de Compostela e que se está a desenvolver no Instituto de Lingua Galega (ILG) e no Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS). O seu obxectivo é fomentar a presenza do galego no mundo dixital, creando recursos lingüísticos que faciliten o desenvolvemento de aplicacións de intelixencia artificial e tecnoloxías da linguaxe. Estes recursos, que estarán á disposición das institucións e empresas que desexen desenvolver produtos ou aplicacións dixitais, serán compartidas de xeito gratuíto, contribuíndo así á dixitalización en galego e potenciando o acceso da comunidade galegofalante a produtos que empreguen o seu idioma.

Entre as tarefas nas que se está a traballar no Proxecto Nós, destacan:

• Síntese de voz
• Recoñecemento da fala
• Sistemas de diálogo
• Corrección e avaliación lingüística automáticas
• Tradución automática
• Xeración automática de textos
• Extracción de información
• Verificación de información e minaría de opinións

Ademais, o Proxecto Nós comparte en aberto unha serie recursos en galego que se poden descargar de forma libre e gratuíta a través de GitHub, Zenodo e Hugging Face. Entre eles, destacan os corpus de fala e texto monolingües e multilingües pensados para diferentes tarefas de PLN, diversos modelos de lingua e demos. Estes últimos, aos que se pode acceder a través da páxina oficial do proxecto, inclúen o Tradutor Nós, un recurso de tradución automática entre o galego, o español e o inglés, así como un sistema que converte o texto en voz (text-to-speech) e un sistema de recoñecemento de voz, todos eles baseados en redes neuronais artificiais, dispoñibles en aberto e actualmente en fase de probas.

Véxase tamén

Bibliografía

• Lingüística computacional. Xavier Gómez Guinovart. Manual de Ciencias da Linguaxe, pp. 221–268. Edicións Xerais de Galicia, Vigo, 2000
• Tecnoloxías da lingua galega e normalización lingüística. Xavier Gómez Guinovart. Lingua e investigación: II Xornadas sobre lingua e usos. Universidade da Coruña, A Coruña, 2006.
• El procesamiento del lenguaje natural, tecnología en transición. Jaime Carbonell. Congreso de la Lengua Española, Sevilla, 1992.
• Lenguas y tecnologías de la información. Ángel G. Jordán. Congreso de la Lengua Española, Sevilla, 1992.

Outros artigos

• Linguas naturais
• Lingüística computacional
• Modelo de lingua de grande escala
• Semántica distribucional
• Modelo de texto a imaxe
• GATE

Ligazóns externas

• Proxecto Nós da Universidade de Santiago de Compostela
• Grupo COLE (Compiladores e Linguaxes) que agrupa a investigadores en PLN das universidades da Coruña e Vigo
• Grupo LYS (Lingua e Sociedade da Información) da Universidade da Coruña
• Asociación de Lingüística Computacional
• NLTK (biblioteca Natural Language Toolkit)
• SpaCy
• TextBlob
• Gensim