Saltar al contenido
Amanuensis Pruébalo

04 · Cómo funciona

Cómo lee una página

No genera texto: lo reconoce. Cada carácter sale de un lugar de la imagen, con su probabilidad.

Todo con detalle, del entrenamiento a las cifras: el informe técnico

Seis pasos

Lo que pasa entre la foto de una página y el texto que te llevas.

  1. Endereza la página

    Corrige la inclinación por la geometría de los renglones, y los giros de 90, 180 y 270 grados de escaneos y fotos. Si es un libro abierto escaneado en una sola imagen, lo parte por el canal y lee hoja a hoja.

  2. Encuentra los renglones y las zonas

    Cada renglón con su línea base, y la página repartida en zonas: texto, notas al margen, cabeceras, notas al pie, tablas por celdas y figuras. Los renglones curvos se siguen tira a tira y se enderezan.

  3. Decide el orden de lectura

    En las páginas a dos columnas o más, una red de grafo sobre las cajas de los renglones (solo su posición y su tamaño, nunca la imagen) decide qué va detrás de qué; en las demás, un perceptrón diminuto. Las columnas se reconocen por sus comienzos alineados, y un bloque que acaba en palabra partida se une al que la completa.

    • revista a tres columnas: 12,6 → 6,2 % de error de palabras

  4. Lee cada renglón

    Todo parte del codificador de visión de EmbeddingGemma 2, de Google, recortado y con adaptadores propios. El modelo grande elige lector según la escritura: el histórico para el alfabeto latino, el multilingüe para las demás. Ligero, de 3,5 millones de parámetros, aprendió del grande y corre en cualquier CPU.

    Cada letra lleva su probabilidad. Con --arrojo el lector se arriesga más en escaneos muy malos, o menos si prefieres huecos a inventos.

  5. Pule sin inventar

    Quita folios, cabeceras y restos del escaneo y une los párrafos de una página a otra; deduce del propio documento los números de verso, las llamadas de nota y las enumeraciones; mide en la imagen si una raya es media o larga.

    Y corrige con léxicos de 31 lenguas: una palabra dudosa solo se cambia por otra que exista y que el lector vea casi igual de bien en ese tramo del renglón. Además aprende las confusiones de cada libro y usa como diccionario lo que el documento lee con seguridad.

  6. Entrega

    Por defecto, un texto de lectura. Con --fiel, la página tal cual, con el mobiliario en comentarios; TEI, PAGE, ALTO, hOCR y JSON lo conservan siempre todo, con cada letra dudosa marcada.

    • TEI
    • PAGE XML
    • ALTO
    • hOCR
    • Markdown
    • HTML
    • Texto
    • JSON

Lo que todavía hace mal

  • En la prensa a muchas columnas, con cientos de renglones, el orden de lectura todavía intercala columnas.

  • La letra manuscrita moderna, de los siglos XX y XXI, la lee peor que los grandes modelos de visión.

  • Ligero segmenta mal los manuscritos: para ellos, el modelo grande.

  • La transcripción de manuscritos es grafemática: no desarrolla las abreviaturas.

  • La corrección léxica actúa sobre los renglones de Ligero; el japonés no se corrige palabra a palabra, porque no separa las palabras con espacios.

Leer el informe técnico