- Muestra: seleccione un lote de páginas de documentos (digamos 100). El corpus debe reflejar tipos comunes de documentos de la colección. Dividir en conjuntos de tren y prueba.
- Predicción: transcripción automática con el mejor modelo actual usando Trainer (¿comenzando con Vision o Araucania?)
- Cargar: cargue los archivos de imagen y las transcripciones con Fetcher
- Corregir los errores en eScriptorium.
- Ajustar el mejor modelo actual con los nuevos datos.
- Evaluar la mejora utilizando datos de prueba. Genere métricas de error de caracteres de palabras y tasa de error de palabras.
- Evaluar transcripciones de modelos para tareas de investigación. Registre los problemas y áreas que requieren mejora.
graph TD;
Muestra-->Predecir;
Predecir-->Corregir;
Corregir-->Ajustar;
Ajustar-->Afinar;
Afinar-->Evaluar;
Evaluar-->Muestra;
-
El flujo de trabajo se ve facilitado por herramientas auxiliares
-
Experimento: ¿cuánto trabajo se puede esperar razonablemente que haga un estudiante en una hora? ¿4-5 páginas? ¿Cuántas imágenes debe haber en cada lote?
-
Reserve una parte del texto corregido para el conjunto de evaluación "estándar de oro" que se utiliza para evaluar el desempeño del modelo. Este material nunca debería aparecer en los datos de entrenamiento del modelo. El conjunto de evaluación debe contener una variedad de tipos de documentos y ser representativo del material en el que se utilizará el modelo.
-
Crearemos un nuevo proyecto en eScriptorium para este trabajo. Cada lote será un document.
-
Establecer puntos de referencia. ¿En qué punto el modelo es suficiente para las tareas necesarias del proyecto? Buscar. NER. Vinculación de entidades, modelado de temas, resumen con IA generativa, frecuencia de términos.
-
Necesita una métrica de evaluación: tasa de error de caracteres, tasa de error de palabras (WER) Dada una imagen de entrada, ¿cuántos caracteres hay incorrectos en el texto de salida?
-
Necesita un sistema para gestionar el trabajo del proyecto.
- Identificar imágenes para agregar al lote
- Señal de que la predicción está completa.
- Manera de registrar que una transcripción ha sido corregida.
- Una forma de saber que todas las transcripciones del lote han sido corregidas.
- Una forma de compartir los resultados de la evaluación y planificar el próximo lote.