# MODELOS

## ¿Qué es un modelo?

Un modelo es una representación simplificada de un proceso de software. Los modelos de Machine Learning, son modelos predictivos que reciben unos inputs y devuelven unos outputs; en el caso de la Comisión de la Verdad, los modelos reciben texto o audio, y entregan una agrupación de entidades o un texto transcrito dependiendo del modelo (NER o ASR). En otras palabras, un modelo es aquello que permite predecir tendencias gracias al algoritmo predictivo que lo crea: cuando se le proporcionan datos, devuelve un pronóstico basado en los datos con los cuales se entrenó el modelo. Después de que un modelo ha sido entrenado, se puede utilizar en tiempo real para aprender de los datos. Las mejoras en la precisión son el resultado del proceso de entrenamiento.

## ¿Cuál es su importancia en la CEV?

Los modelos han brindado un apoyo importante dentro de la Comisión de la Verdad al permitir automatizar procesos que facilitan el procesamiento del universo de datos acopiado por la entidad. En este sentido, los modelos han ayudado a mejorar la asociación y clasificación de los datos y, en consecuencia, a precisar y ajustar las búsquedas; en efecto, y dada la complejidad y el tamaño de la información, identificar patrones y catalogar en detalle es una labor casi imposible de realizar por la observación humana. En otras palabras, una organización que ha reunido una cantidad importante de información, como lo es la Comisión de la Verdad, requiere de algoritmos que clasifiquen datos con base en patrones, a partir de un proceso iterativo donde se analicen datos sin la intervención humana.


# Idiosincrasia del proyecto

El equipo de ingenieros que tuvo a cargo el entrenamiento de modelos, coincide en que el valor agregado de ambos proyectos es su especialización en temas de conflicto armado; en efecto, ambos modelos han sido entrenados usando los datos acopiados por la Comisión en todo su proceso de escucha. Es decir, no es posible encontrar actualmente modelos de reconocimiento de voz o de detección de entidades en función del conflicto, y mucho menos entrenados con base en un corpus de datos significativo: las entrevistas transcritas y etiquetadas por la Comisión de la Verdad. Este hecho implica que ambos proyectos, basados en inteligencia artificial, se conviertan en herramientas útiles para organizaciones e instituciones que estén alineados en temas de conflicto y esclarecimiento. Asimismo, y adicional a estas organizaciones, el equipo subraya que tanto el modelo ASR como el modelo NER, pueden ser muy útiles para entornos académicos (semilleros, grupos de investigación, etc.) que busquen automatizar procesos documentales a fin de optimizar y agilizar proyectos de investigación social.&#x20;

Adicional a este aporte, el equipo resalta que ambos modelos, con las limitaciones normales que presenta todo proyecto de Machine Learning, son desarrollos personalizados que logran una adaptación significativa al dialecto colombiano, el cual es complejo por su variación de acentos dada la diversidad regional nacional. En este sentido, y de acuerdo con el equipo, se puede concluir que los modelos son una buena herramienta, y tienen un vasto repertorio de datos usados para su entrenamiento:&#x20;

*<mark style="color:orange;">Me parece que es una buena herramienta por los datos. Más allá que sea un modelo que detecte entidades, el plus de esos modelos es con qué datos están entrenados. En este caso está entrenado con las bases de datos de entrevistas transcritas y etiquetadas que existen en la Comisión de la Verdad. Acá lo más importante son los datos: si tenemos esos datos, que no podemos entregar, sí podemos entrenar un modelo y llevarlo hasta el punto máximo de entrenamiento, para que después otras entrevistas del mismo tipo puedan ser etiquetadas de manera mucho más eficiente usando la experiencia y lo que se hizo en la Comisión...</mark>*

El éxito de estos modelos se presenta en la medida en que permiten automatizar una serie de procesos que demandan tiempo y recursos humanos y económicos. Es decir, cuando una organización se enfrenta a un universo importante de archivos documentales, se hace necesario y urgente contar con herramientas digitales que potencien la labor de catalogación y edición de metadatos; en otras palabras, poder ampliar la labor de catalogación a partir de tecnologías de Machine Learning que permitan realizar filtros y búsquedas más allá de los metadatos, convierte estos modelos en un aliado potente para la optimización de labores de archivo, documentación e investigación. De allí que estos modelos puedan ser considerados una buena herramienta.

*<mark style="color:orange;">No es solo buscar palabras o taggear o ponerle metadatos, sino que automáticamente te dice: está nombrando tales personas, tales lugares, en tales fechas... desde el punto de vista de archivo, es muy vasto, porque no solo sirve para entrevistas, sino para cualquier documento, cualquier noticia, cualquier tweet... y empezar a ver relaciones entre todo eso, de manera más fácil y automática...</mark>*

De esta manera, y de acuerdo con el grupo de ingenieros, es una herramienta que puede potenciar el periodismo de investigación, ayudar a entidades como la Jurisdicción Especial para la Paz (JEP) para automatizar testimonios, brindar apoyo a centros de memoria comunitarios que quieran sistematizar sus archivos, y, tal vez mucho más importante, potenciar procesos de veeduría ciudadana.

*<mark style="color:orange;">De los desarrollos que hizo la Comisión, estos pueden ser los de más cobertura, los que más se pueden trabajar, porque pueden utilizarse en diferentes contextos. Por ejemplo, el buscador sí está abierto a posibilidades, pero vendría a ser un trabajo adicional. Estos modelos pueden aplicarse un poco más allá; es decir, es más fácil que cualquier organización los inserten a sus flujos de trabajo. En lo que sí hay que subrayar y hacer énfasis en que la clave de esto es que se pueda seguir entrenando...</mark>*


# Descripción del modelo ASR

## ¿Qué es el modelo ASR?

El modelo de reconocimiento de voz (Automatic Speech Recognition), es un modelo desarrollado para hacer transcripción automática de audio a texto, a través de técnicas de Machine Learning. La  traducción automática, si bien no es un asunto nuevo en el desarrollo de software, sí lo es en función de modelos en el idioma español, ya que la gran mayoría funcionan para el inglés; ahora, si bien existen algunos orientados al español, según el equipo de ingenieros, no son tan buenos debido a que el español, y en particular el español colombiano, cuenta con muchos y muy variados dialectos que hacen difícil automatizar transcripciones en este idioma. En este sentido, el modelo ASR implementado por la Comisión de la Verdad se ha entrenado en un dialecto específico (y que se instaura como su valor agregado): el dialecto el colombiano con todos sus acentos; en efecto, el modelo ha sido entrenado a partir de las entrevistas acopiadas por la entidad durante todo su ejercicio de escucha. Ahora bien, al ser entrevistas que ya están transcritas, es posible comparar los resultados; en este sentido, es un modelo que no solo se entrena, sino que también es posible medir sus resultados comparando la transcripción que arroja con la versión real.&#x20;

*<mark style="color:orange;">Ese es el plus de este modelo: usando el corpus que recogió la Comisión, se entrenó un modelo para poder reconocer ese tipo de sonidos, de acentos, de palabras, que son diferentes. Ese es el valor agregado que tiene esto. No es una tarea sencilla reconocer esos dialectos del caribe, andino, etc.; en ese sentido, estos modelos tienen una forma de ser calificados: tienes datos de entrenamiento, y con esos datos de entrenamiento que ya están transcritos, el modelo se entrena y se mide...</mark>*

## ¿Cuál es su alcance?

La necesidad de este desarrollo va de la mano con la misionalidad de la Comisión en términos de su proceso de escucha. En este sentido, el modelo se pensó, en un principio, como apoyo a la labor realizada por los transcriptores. Ahora, si bien el modelo ha alcanzado resultados importantes, no funciona al 100% por las dificultades dialécticas ya señaladas; debido a esto, el alcance que se le ha dado dentro de la Comisión de la Verdad es el de ***recuperación de información de archivos de audio que no sean entrevistas transcritas (videos, audios de reuniones, etc.)***. En este sentido, todos los audios o videos almacenados en las bases de datos pueden recuperarse con mayor precisión, ya que no solo dependen de los metadatos que catalogan dichos recursos, sino que, a partir de la transformación automática del audio en texto, el motor de búsqueda puede realizar una exploración y recuperación de datos adicionales.&#x20;

*<mark style="color:orange;">Antes, con solamente los audios, dependíamos de los metadatos de los recursos; si en el metadato no decía algo que, por ejemplo, en el audio sí se extrajo, entonces no iba a ser parte de la búsqueda. Esa forma de recuperación de información se está haciendo ahorita con el modelo ASR...</mark>*

Por ejemplo. Una entrevista realizada a una persona particular, perteneciente a algún grupo u organización, posiblemente no sea catalogada a partir del nombre del grupo; esto conlleva a que al hacer una búsqueda por el nombre del grupo, la entrevista no aparezca en los resultados arrojados por el motor. El modelo, buscando solucionar esta limitante, transcribe automáticamente el audio posibilitando su recuperación a través de este criterio de búsqueda. Es allí donde está la recuperación de información: hay una mayor información, extraída del audio, para poder ser recuperada en las búsquedas.

*<mark style="color:orange;">El concepto de recuperar información es porque el modelo no es exactamente igual a lo que está sonando en el audio; no obstante, sí extrae ciertas cosas importantes, por eso hablamos de recuperar información y no de transcribir: nos va a halar palabras claves, ciertos momentos, ciertos lugares, etc. Debido a esto, se decidió ampliarlo: no solo se hace para entrevistas, sino para cualquier multimedia (MP3, WAV, videos, MP4); se les extrae el audio y se transcribe...</mark>*

{% hint style="info" %}
Lo que se extrae, que es el resultado del modelo, complementa lo que el equipo de catalogación realiza con el esquema definido de metadatos; en efecto, los metadatos, por su misma naturaleza, no tienen el nivel detallado de información que sí tiene, por ejemplo, un audio transcrito.
{% endhint %}

Cuando se decide adoptar el modelo para la recuperación de información contenida en audios o videos, se realizan las modificaciones pertinentes en el [metabuscador ](https://docsmetabuscador.comisiondelaverdad.co/)para que los textos sean indexados en el motor de búsqueda ElasticSearch.

## ¿Cómo es su interacción?

La conexión con la base de datos se realiza para identificar dónde están los audios (su ubicación física) y cómo se llaman, para poder transcribirlos.&#x20;

Dicho flujo se realiza a través del script `ContentExtractAudio.py`

```
sim-data-processing/-/blob/develop/procesado-general
```

Ahora bien, la interacción del modelo con la base de datos se establece de manera periódica; es decir, no se ejecuta el modelo sobre todos los audios, sino sobre audios nuevos buscando que el proceso de transcripción sea más rápido. Para el caso de la Comisión de la Verdad, la ejecución se hace a través de batches (procesamiento por lotes), con el fin de que pueda ejecutarse el modelo de forma paralela en varios tipos de formatos. La Comisión conformó seis batches, cada uno con un grupo determinado de formatos:

* Primer grupo: MP3
* Segundo grupo: wav, WAV
* Tercer grupo: mp3
* Cuarto grupo: mov, flv
* Quinto grupo: wma, vob, wmv, avi, m4a, dvf, asf, mpg, m4v, amr, vm1, mts, voc
* Sexto grupo: wma, vob, wmv, avi, m4a, dvf, asf, mpg, m4v, amr, vm1, mts, voc

El script está parametrizado; eso quiere decir, que tiene unos parámetros establecidos para definir qué formato de audio se quiere transcribir. Adicionalmente, permite marcar los audios que ya han sido transcritos para poder ejecutarse sobre los audios nuevos que ingresan a la base de datos.&#x20;

*<mark style="color:orange;">Has de cuenta que tenemos unos 15 formatos de audio, eso significaba que tocaba ir a buscar todos los archivos que sean .MP3, todos los que son .WAV, todos los que son .MP4, etc. Eran muchos. Las primeras veces que ejecutábamos ese proceso se demoraba días; entonces, lo que se hizo fue dividir eso en grupos: de los 15 ya solo ejecutábamos 6 grupos. Entonces, los agrupamos o los organizamos, y ejecutamos una parte solamente para los MP3, porque son muchos; luego se coge otro grupo que son .WAV y .MP4; y luego otro grupo que tiene otros formatos que sabemos que son poquitos. Entonces, eso hace que sea más fácil; por ejemplo, si alguien no cuenta con una infraestructura muy completa, lo puede hacer por grupos para que sea más trabajable...</mark>*

{% hint style="info" %}
El cierre de la ejecución del modelo dentro de la Comisión de la Verdad, se da cuando ingrese el último audio.
{% endhint %}

### Flujos

El flujo que realiza el script para activar el modelo y actualizar la base de datos es el siguiente:

![Flujo script ContentExtractAudio.py](https://2640295317-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FCMOeSaB75lFcIQTnWHKS%2Fuploads%2FUb8pLvmVPGQmGGXFA1e6%2Fflujoscript_1.png?alt=media\&token=5d699c5e-bb8b-4a09-9180-c0c700d435b3)


# Requerimientos

Uno de los aspectos que subraya el equipo de desarrollo con respecto a los requerimientos para el óptimo funcionamiento de los modelos, tiene que ver con la infraestructura; en efecto, es necesario que la máquina donde se ejecute el modelo tenga buenos recursos en cuanto a procesamiento.&#x20;

{% hint style="info" %}
Para el uso del modelo, si bien es recomendable un servidor con GPU, no es totalmente necesario; para el entrenamiento del modelo, sí es necesario contar con GPU con el fin de que el entrenamiento no demande una gran cantidad de tiempo (más adelante se retoma de nuevo este punto).
{% endhint %}

### Limitaciones y alcances

:heavy\_check\_mark: La mayor limitante del modelo son los dialectos y el idioma; en español, a diferencia del inglés, son pocos los modelos que existen para el proceso de transcripción automática.&#x20;

:heavy\_check\_mark: Se logran mejores resultados cuando los audios están en formato MP3. En este sentido, se debe realizar un trabajo adicional para transformar todos los formatos a un único formato. El script `ContentExtractAudio.py`, tiene un parámetro que convierte los audios en MP3 de manera temporal para realizar la transcripción.

:heavy\_check\_mark: El modelo es sensible al ruido, por tanto, si el audio tiene ruidos de fondo o se escucha muy baja la voz, hay repercusiones negativas en el resultado final. Uno de los aspectos más importantes dentro del proceso de entrenamiento es el preprocesamiento de audios: se busca limpiarlos y disponerlos para poder ingresarlos al modelo en función de su entrenamiento.

:heavy\_check\_mark: El modelo ya entrenado y en uso funciona por grupos (batch o lotes de producción), con el fin de que corra más rápido y se puedan alcanzar resultados en el menor tiempo posible; esto quiere decir que solo se ejecuta sobre audios nuevos y no sobre todos los audios al tiempo.&#x20;

:heavy\_check\_mark: El modelo no parte de un desarrollo desde cero, sino que está basado en la librería DeepSpeech; en este sentido, se debe estar pendiente de las actualizaciones de la librería con el fin de que el modelo siga funcionando correctamente.&#x20;

### Metodología de entrenamiento

El modelo ASR sigue la metodología Machine Learning

{% hint style="info" %}
El Machine Learning es un método de análisis de datos que automatiza la construcción de modelos analíticos. Es una rama de la [inteligencia artificial](https://www.sas.com/es_co/insights/analytics/what-is-artificial-intelligence.html) basada en la idea de que los sistemas pueden aprender de datos, identificar patrones y tomar decisiones con mínima intervención humana.

[¿Qué es Machine Learning?](https://www.sas.com/es_co/insights/analytics/machine-learning.html#:~:text=El%20machine%20learning%20es%20un,decisiones%20con%20m%C3%ADnima%20intervenci%C3%B3n%20humana.)
{% endhint %}

La estrategia de entrenamiento del modelo ASR se describe en los siguientes pasos:

1. Se monta toda la infraestructura o stack tecnológico. Para el entrenamiento es necesario contar con un servidor GPU (Unidad de Procesamiento Gráfico), con el fin de que el proceso de entrenamiento sea óptimo. Este aspecto puede ser una limitante, ya que de no contar con este tipo de infraestructura para el entrenamiento del modelo, se puede consumir mucho tiempo.
2. Se solicitan entrevistas ya transcritas y etiquetadas, que son los datos con los cuales se va a entrenar el modelo (es necesario que sean entrevistas transcritas, en tanto la transcripción es la que permite medir los resultados del modelo).
3. Se realiza el alistamiento de datos (preprocesamiento de audios) y todo el proceso de entrenamiento, tal como se establece en el siguiente archivo:

{% file src="/files/fg7JeP7Tj72qNUL8wmY2" %}
Estrategia de entrenamiento y alistamiento de datos modelo ASR
{% endfile %}

{% hint style="info" %}
Una vez terminado el proceso de entrenamiento se verifican los resultados arrojados por el modelo, comparando el texto producido con las transcripciones reales. Si las métricas arrojan un resultado satisfactorio, se puede cerrar el modelo; de lo contrario, es necesario revisar las estrategias de entrenamiento y el ajuste de los datos.
{% endhint %}

Todas las librerías y los pasos necesarios para crear el modelo se encuentran en:

```
gitlab.com/comisiondelaverdad/sim-asr
```

#### Tecnologías usadas:

* El desarrollo del modelo se basa en la librería de uso libre Mozilla [DeepSpeech](https://deepspeech.readthedocs.io/en/v0.6.1/DeepSpeech.html) ASR Model: DeepSpeech GPU Training; versión 0.8.0
* [Python](https://www.python.org/doc/) > = 3.6
* Se apoya en [Bash](https://www.gnu.org/savannah-checkouts/gnu/bash/manual/bash.html), para correr los comandos
* La base de datos dentro de la cual se usa el modelo se encuentra en [MongoDB](https://www.mongodb.com/docs/)

### Posibilidades de mejora

:heavy\_check\_mark: Los audios pueden ser limpiados para que haya un porcentaje mayor de fidelidad en la traducción automática (cuando el modelo esté en uso); por el tiempo de la Comisión, este aspecto no pudo ser desarrollado, y se incluye como una posibilidad de mejora. En otras palabras, se recomienda desarrollar un script que realice un preprocesamiento de los audios que van a ser transcritos, tal y como son limpiados durante el proceso de entrenamiento.

:heavy\_check\_mark: Siempre va a ser importante alimentar con más información los modelos; esto conlleva a que haya un mejor entrenamiento del modelo. Una mejora tiene que ver con la posibilidad de disponer mayor información para dicho proceso; esto quiere decir que no solo se dispongan las entrevistas, sino que el modelo pueda ajustarse para que se entrene a partir de otro tipo de información también etiquetada. Esta mejora implica, necesariamente, la transcripción manual de cualquier audio o video, con el fin de poder contar con un texto que permita comparar los resultados.


# Descripción del modelo NER

## ¿Qué es el modelo NER?

El modelo NER (Named Entity Recognition) es un modelo desarrollado en función del reconocimiento de entidades (nombres, roles, organizaciones, ubicaciones y fechas) dentro de documentos de texto específicos. Su entrenamiento se hizo a partir de las entrevistas transcritas y etiquetadas (de manera manual) por la Comisión de la Verdad en su ejercicio de escucha; en este sentido, el modelo ha sido entrenado con un corpus de datos robusto enfocado en el conflicto armado colombiano, y esto se instaura como su valor agregado.&#x20;

{% hint style="info" %}
Para entrenar un modelo de manera eficiente se requieren muchos datos, y la Comisión tiene un trabajo de transcripción y etiquetado muy vasto.&#x20;
{% endhint %}

*<mark style="color:orange;">El modelo detecta las entidades con base en el entrenamiento que se le dio con las etiquetas que se transcribieron manualmente; después lo que se hace es generar otros archivos: donde salen las etiquetas de personas o las etiquetas de fechas se reemplazan por otros parámetros...</mark>*

El modelo ha servido como punto de partida para automatizar procesos de anonimización, con el fin de apoyar la publicación de un número mayor de información sobre el conflicto armado colombiano; y, adicionalmente, es un modelo que permite etiquetar diferentes documentos en función de ubicaciones y franjas temporales, lo cual posibilita una mayor precisión y profundidad en las búsquedas.&#x20;

## ¿Cuál es su alcance?

El modelo para el reconocimiento de entidades, busca identificar nombres, roles, organizaciones, ubicaciones y temporalidades dentro de documentos en español, en función de automatizar procesos de anonimización y actualizar los archivos almacenados en bases de datos adicionando etiquetas de temporalidades y ubicaciones. Por ejemplo. Si se sube una entrevista el modelo arroja automáticamente una serie de entidades con las cuales se puede determinar de qué se habla, en dónde y en qué temporalidades.&#x20;

*<mark style="color:orange;">Si tú tienes en el buscador una base de datos con todos los documentos transcritos, que es la idea del buscador, luego esos documentos tú los puedes etiquetar usando este modelo. Entonces, se vuelve súper útil cuando se empieza a mezclar con los filtros del buscador: puedes filtrar por cierto fondo, y te filtra 2 mil documentos que están en ese fondo; y si los documentos están etiquetados, puedes ver a qué zonas del país se está refiriendo el documento (que es diferente a saber en qué lugar se creó el documento)...</mark>*

Ahora bien, el alcance del modelo se limita al reconocimiento de entidades, que son palabras únicas que pueden ser reemplazadas. El proceso de etiquetado en sentido amplio, si bien es posible hacerse de manera automática, no está contemplado en este modelo, ya que requiere de unas metodologías de entrenamiento diferentes que le permitan al modelo detectar sentimientos y emociones; en últimas, mientras una entidad se circunscribe a una palabra, una etiqueta puede estar contenida en un párrafo.

El modelo ya existe para español y ha sido entrenado a partir de muchos datos de grandes compañías; no obstante, el español colombiano tiene sus particularidades dialécticas y, por ello, el modelo se sobreentrenó usando los datos acopiados por la Comisión de la Verdad, con el fin de adaptarlo a dicho dialecto:

*<mark style="color:orange;">Yo partí de este modelo en español. Lo ideal de estos modelos es que los entrenan grandes compañías que tienen acceso a muchos datos, por decir noticias en español; y los entrenan justo para eso: sirven de bases para casos más específicos como el nuestro. Por eso partí de ese grande... Si te das cuenta, cuando lo probamos, detectaba bien algunas entidades, y lo que hicimos fue mejorarlo; y se mejora con el entrenamiento, usando las entrevistas orales transcritas, que son completamente diferentes al corpus sobre el cual se entrenan estos modelos...</mark>*&#x20;

De acuerdo con este alcance, el modelo es muy útil para entornos universitarios como grupos de investigación y semilleros, al ofrecer la automatización de ciertos procesos documentales que permiten, eventualmente, avances significativos dentro de investigaciones sociales. Adicionalmente, el modelo puede apoyar procesos de la Jurisdicción Especial para la Paz (JEP), en tanto es una entidad que tiene un corpus de entrevistas transcritas, y pueden ser etiquetadas usando los alcances del modelo, con el fin de que se puedan generar filtros específicos de acuerdo con ubicaciones y franjas temporales.&#x20;

## ¿Cómo es su interacción?

El objetivo principal del modelo NER es actualizar los metadatos de los documentos almacenados en bases de datos en función de ubicaciones y franjas temporales, con el fin de mejorar los procesos de búsqueda; adicionalmente, y al identificar nombres, roles u organizaciones, es un modelo que permite automatizar procesos de anonimización. En este sentido, la interacción con los datos se da a través de un scritp (`NER_procesadoAnonimizacion.py`) que recibe el id de un documento y/o entrevista, activa el modelo y devuelve las entidades identificadas; si son entidades referentes a personas u organizaciones, es posible reemplazarlas con otros parámetros para anonimizar, si son entidades como ubicaciones y/o fechas, es posible actualizar los metadatos de los diferentes archivos dentro de una base de datos, con el fin de realizar búsquedas más precisas por ubicación o por franjas temporales.

*<mark style="color:orange;">Si tú subes cualquier texto, puede ser entrevista o cualquier texto... pero quedémonos en las entrevistas. Si subes una entrevista, él automáticamente te saca esas entidades; y de esa entrevista puedes decir: acá mencionaron o hablaron de eventos en Antioquia durante las siguientes franjas temporales...</mark>*

:heavy\_check\_mark: Script `NER_procesadoAnonimizacion.py`: recibe un archivo de Excel con los identificadores de los documentos, se conecta a la base de datos y devuelve el documento original y el documento anonimizado.&#x20;

:heavy\_check\_mark: Script `NER_procesadoAnonimizacion_anytext.py`: recibe un archivo de Word y lo anonimiza. No necesita conectarse a la base de datos.

:heavy\_check\_mark: Script `NERtoMongo.py`: permite actualizar la base de datos en función de ubicaciones y franjas temporales.

Los script se encuentran en el siguiente repositorio:

```
sim-data-processing/-/blob/develop/procesado-general
```

### Flujos

El flujo que realiza el script para activar el modelo y actualizar la base de datos es el siguiente:

![Flujo script NERtoMongo.py](https://2640295317-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FCMOeSaB75lFcIQTnWHKS%2Fuploads%2FSvdbIIndGNbypwW4FqSy%2FflujomodeloNER.png?alt=media\&token=751ca497-62f3-41a6-acdb-f59f9211ad02)


# Requerimientos

Uno de los aspectos que subraya el equipo de desarrollo con respecto a los requerimientos para el óptimo funcionamiento de los modelos, tiene que ver con la infraestructura; en efecto, es necesario que la máquina donde se ejecute el modelo tenga buenos recursos en cuanto a memoria RAM. El equipo recomienda unos mínimos de RAM de 8 GB tanto para el entrenamiento como para el uso del modelo.&#x20;

{% hint style="info" %}
Se puede configurar el modelo para que se entrene en un servidor GPU, con el fin de que entrene más rápido; no obstante, los modelos de detección de entidades no son tan complejos como, por ejemplo, extraer texto de un audio; en este sentido, no se necesita un stock tecnológico tan robusto.
{% endhint %}

### Limitaciones y alcances

:heavy\_check\_mark: El dialecto y los diferentes acentos de Colombia, son una limitante en función de la identificación de entidades; sin embargo, en la medida en que se siga entrenando el modelo con mayor información, las métricas de calidad irán subiendo.

:heavy\_check\_mark: Las etiquetas usadas para el entrenamiento deben estar limpias (espacios y/o puntos al inicio o al final), con el fin de optimizar el proceso de preparación de los datos. El proceso para la limpieza de etiquetas puede hacerse de manera automática, limpiando y ajustando el número de caracteres. Para el modelo NER y el script de entrenamiento, la limpieza de las etiquetas se realiza de manera automática para las entrevistas acopiadas por la Comisión de la Verdad; si se quiere entrenar con otro tipo de datos, es necesario reajustar el script y el proceso de preparación de los datos.&#x20;

{% hint style="info" %}
Limpiar y ordenar los datos es uno de los retos técnicos que señala el equipo de ingenieros como importante, ya que se instaura como la base para un proceso de entrenamiento exitoso. Un mal entrenamiento puede llevar a que el modelo deje de funcionar correctamente.
{% endhint %}

:heavy\_check\_mark: Se debe ser muy exigente en el proceso de etiquetado; las etiquetas deben estar bien marcadas en tanto son la base para el proceso de entrenamiento. Las etiquetas mal marcadas pueden generar ruido dentro del entrenamiento del modelo (por ejemplo, el modelo comienza a devolver entidades superpuestas). En este sentido, por ejemplo, si bien el modelo detecta tanto personas como roles (profesiones), en ocasiones no diferencia entre uno u otro, y los detecta como personas; esto es así debido a la estructura del etiquetado ya que, en ocasiones, no separa ambos conceptos y los agrupa en una sola categoría.

*<mark style="color:orange;">Yo tenía unos errores que no había podido identificar; y me di cuenta que un error me salió porque el etiquetado, por ejemplo, etiquetaba FARC, pero etiquetaba el espacio que sigue después de FARC y la primera letra de la siguiente palabra. Ahí tuvieron un error; entonces, es muy complicado, porque si yo le digo límpieme los espacios al inicio y al final, si hay un espacio en la mitad, no lo va a tomar...</mark>*

:heavy\_check\_mark: El modelo funciona muy bien para el reconocimiento de entidades; no así para el etiquetado. Según el equipo de ingenieros, un modelo que genere un etiquetado automático conlleva un nivel mayor de complejidad dentro de las estrategias de entrenamiento. Al igual que el modelo NER, ya existen modelos para detectar emociones y sentimientos, y pueden ser entrenados con este fin; sin embargo, es necesario desarrollar estrategias de entrenamiento en función de nuestro contexto dialéctico.&#x20;

:heavy\_check\_mark: El proceso de anonimización presenta algunos errores que deben mejorarse a partir de otra estrategia de entrenamiento; por el tiempo de la Comisión de la Verdad, no es posible desarrollar esta nueva estrategia. Al cierre de esta documentación, según señalan los ingenieros, hay partes dentro de las entrevistas donde se reafirma el nombre de una persona (por ejemplo, dice su nombre el entrevistado y vuelve y lo repite el entrevistador), y estos apartes quedan sin anonimizar; según sugiere el equipo, es posible mejorar el modelo ampliando el espectro: tomando la frase anterior y la frase que le sigue, con el fin de que detecte la entidad en ambos momentos.

### Metodología de entrenamiento

:heavy\_check\_mark: El modelo NER usa la metodología [Machine Learning](https://www.sas.com/es_co/insights/analytics/machine-learning.html); es decir, es un modelo que va aprendiendo a partir de unos datos: entre más datos se integren a su proceso de entrenamiento, se obtienen unas métricas elevadas en función de resultados. En este sentido, obtener buenos resultados depende de las estrategias y de los datos implementados para el proceso de entrenamiento.&#x20;

Según el equipo de ingenieros, la estrategia de entrenamiento usada para este modelo consiste en ajustar ciertos valores a partir de la representación numérica de las palabras. En este sentido, es importante resaltar que el modelo se sobreentrena con los vectores que se van generando; es decir, no existen palabras o nombres, sino la representación numérica con la cual se va ajustando la identificación de caracteres. Para este fin se siguen los siguientes pasos:

1. Creación de grupos de frases con los conjuntos de entidades definidas e identificadas. Si se pasa solo la palabra, el modelo se queda sin contexto. Por ejemplo, con la entidad Barbosa: tenemos municipio Barbosa y fiscal Barbosa; para evitar este conflicto es menester contextualizar a partir de frases.
2. Limpiar las etiquetas: algunas tienen espacios o puntos, al inicio o al final, que generan ruido dentro del ajuste de caracteres.&#x20;
3. Una vez se han limpiado y ajustado las etiquetas y las frases, se debe definir la posición de las entidades: en cuál caracter comienza y en cuál caracter termina la entidad dentro de la frase.
4. Con las entidades generadas, se identifican: cuáles se superponen, cuáles se repiten y cuáles son entidades nuevas; con este proceso se generan nuevos grupos y se repite el proceso.&#x20;

:heavy\_check\_mark: Esta metodología de entrenamiento se encuentra en el script `NER_Entrenamiento.py`, es un entrenamiento que ya está probado y funciona para el corpus de entrevistas de la Comisión de la Verdad. El repositorio donde se encuentra el script es:

```
sim-data-processing/-/blob/develop/procesado-general
```

{% hint style="info" %}
El trabajo realizado por la Comisión de la Verdad parte de un modelo pre-entrenado, al cual se le ajustaron algunos valores para que identificara ciertos rangos; esto es lo que llamamos estrategia de entrenamiento.
{% endhint %}

:heavy\_check\_mark: La metodología de entrenamiento se alimenta de una clase creada por los ingenieros llamada `herramientas.py`; con esta clase se realiza el limpiado del texto (quitar espacios y puntos), y la devolución de frases y párrafos.

:heavy\_check\_mark: El script de entrenamiento está parametrizado con el fin de delimitar ciertos aspectos, entre los que se destacan: el entorno del cual se cogen los datos (QA o producción); el modelo de entrada, con el fin de no sobreentrenar un modelo que esté funcionando correctamente; y, finalmente, el número de ciclos de entrenamiento y el tamaño del muestreo de entrevistas. Con respecto a este último punto, es importante resaltar que el entrenamiento también llega a un punto de pérdida; es decir, la curva se estanca y el modelo no sigue mejorando así se entrene indefinidamente con la misma estrategia.

#### Tecnologías usadas

* Librería de uso libre [spaCy](https://spacy.io/api/doc); versión 3.3
* [Python](https://www.python.org/doc/); versión 3.9.6
* Dentro de Python se usa la librería Path; versión 16.4
* La base de datos a la cual se conectan los script es [MongoDB ](https://www.mongodb.com/docs/)

### Posibilidades de mejora

:heavy\_check\_mark: Dentro de las opciones de mejora que señala el equipo de ingenieros, se encuentra la posibilidad de seguir entrenando el modelo para que la métrica suba en función de los resultados. Al momento de la entrega, el modelo identifica bien algunas entidades; sin embargo, es posible seguirlo mejorando implementando nuevas estrategias de entrenamiento y/o más fuentes de datos (ya no entrevistas). Esto se define debido a que, a nivel de anonimización, el modelo presenta algunos errores que deben corregirse con otras estrategias de entrenamiento.

:heavy\_check\_mark: Otra posibilidad se halla en la base de datos: correr el modelo para que etiquete los documentos (no solo las entrevistas) en función de ubicación y franjas temporales. Al cierre de esta documentación, se plantea como posibilidad de mejora poder actualizar los metadatos de la mayor parte del universo de información que existe en las bases de datos de la Comisión de la Verdad. Es decir, si bien se deja el script (`NERtoMongo.py`) que realiza este proceso, queda pendiente su implementación en el motor de búsqueda para que actualice los documentos en función de estas entidades.

:heavy\_check\_mark: Una posibilidad de mejora que señala el equipo de ingenieros, consiste en desarrollar una interfaz colaborativa para corregir y ajustar datos que sirvan de base para seguir entrenando el modelo. En otras palabras, se deja una propuesta abierta para desarrollar un aplicativo que despliegue diariamente, a través de una interfaz o mensajería instantánea, las entidades que detecta el modelo a partir de textos específicos (fragmentos de entrevistas, por ejemplo), con el fin de que la ciudadanía corrija los errores y, sobre esas correcciones, se estructure un feedback que permita sobreentrenar el modelo.

*<mark style="color:orange;">Por ejemplo, tú entras al archivo, que vendría siendo el buscador, entras al buscador y lo primero que sale es algo distinto cada día; entonces, te sale un pedazo de texto con las etiquetas que detecta automáticamente el modelo y te pregunta: ¿estas etiquetas están bien o no? “Ayúdanos a corregir el modelo de entidades”...</mark>*

Este proceso colaborativo también puede servir para mejorar el [modelo ASR](/modelo-asr/descripcion-del-modelo-asr); es decir, desarrollar una interfaz que permita filtrar fragmentos de audio, con el fin de que las personas generen una transcripción colaborativa y, a partir de allí, seguir sobreentrenando el modelo. Este proceso lo denomina el equipo de ingenieros como "Ayuda a escuchar a la Comisión de la Verdad".


