Amanuensis05 · Licencias y créditos
Licencias y créditos
Qué puedes hacer con cada pieza, y de dónde sale cada una.
En resumen
El código es libre. Los pesos de Amanuensis y de Ligero son de uso no comercial, porque parte de sus datos de entrenamiento (los incunables castellanos de HSMS y las escrituras notariales del Oficio de Hipotecas de Girona, OHG) tiene licencia CC BY-NC 4.0.
| Pieza | Qué es | Licencia |
|---|---|---|
| El código | El paquete de Python y la orden amanu. | Apache 2.0 |
| Pesos de Amanuensis | El modelo grande: maquetación, rama densa, lectores histórico y multilingüe. | Uso no comercial |
| Pesos de Amanuensis Ligero | Ligero y su modo rápido (el lector Mínimo). | Uso no comercial |
| Pesos de Amanuensis Voz | El codificador de audio con su cabeza CTC. | Apache 2.0 |
| Modelos de lengua de la voz | KenLM de 4-gramas, 37 lenguas: Common Voice (CC0) y Wikipedia. | CC BY-SA 4.0 |
| Orden de lectura por grafo | orden_gcn y orden_gcn_giro: pesos propios de José Luis Saorín. | Apache 2.0 |
| Orden ligero y detector Mínimo | El perceptrón por pares y el detector de renglones de Ligero. | Apache 2.0 |
| Léxicos de 31 lenguas | Frecuencias de OpenSubtitles y de la Wikipedia. | CC BY-SA 4.0 |
| Perfiles de lengua | perfiles.json: palabras funcionales y alfabeto de las 31 lenguas, de las mismas listas. | CC BY-SA 4.0 |
| Modelo de continuidad | continuidad.npz: n-gramas de caracteres para elegir el orden; parte de HSMS y de la Wikipedia. | Uso no comercial |
| Codificador de EmbeddingGemma 2 | De Google: la base de los modelos de visión y de voz. | Apache 2.0, términos de Gemma |
| Descriptores Iconclass | Las sugerencias de texto alternativo de las figuras. | CC0 |
Textos: Apache 2.0 · CC BY-SA 4.0 · CC BY-NC 4.0 · términos de Gemma · la licencia del código
Atribución de los léxicos
Los léxicos de las 31 lenguas suman dos listas de frecuencias de palabras, llevadas a la misma escala y filtradas:
FrequencyWords, de Hermit Dave
Frecuencias de los subtítulos de OpenSubtitles (edición de 2018), con licencia CC BY-SA 4.0.
wikipedia-word-frequency, de Ilya Semenov
Frecuencias del texto de la Wikipedia, en 14 de las lenguas, texto con licencia CC BY-SA 4.0.
Los léxicos que construye el paquete y los que sirve la demo son una obra derivada de esas listas: se distribuyen con la misma licencia, CC BY-SA 4.0. La detección de lengua (perfiles.json) viaja con el código.
Con qué aprendió a leer
Los lectores de texto se entrenaron con colecciones abiertas. Los conjuntos reservados para el examen (entre otros, GT4HistOCR, Bullinger, Gwalther, Rodrigo y BNE INC/901) no se usaron en ningún entrenamiento. Ningún modelo contiene ni ha usado pesos o salidas de Indra OCR ni de otros sistemas de OCR.
| Conjunto | Contenido | Licencia de origen |
|---|---|---|
| CATMuS Medieval 1.6 | manuscritos, ss. VIII-XVI, latín y romances | CC BY 4.0 |
| CATMuS Modern 1.0 | manuscritos e impresos, ss. XV-XX | CC BY 4.0 |
| TRIDIS v1 (HOME-Alcar, Himanis, CODEA, e-NDP…) | documentos, ss. XII-XVII | MIT (fuentes CC BY) |
| iForal | forais portugueses, 1217-1491 | CC BY 4.0 |
| Spanish Gothic Incunabula (HSMS) | incunables castellanos, 1472-1500 | CC BY-NC 4.0 |
| HTR-United y otros (Caroline, chapbooks, FoNDUE, NUBIS, Paris Bible, NewsEye…) | manuscritos e impresos, ss. IX-XX | CC BY 4.0 o CC BY-SA 4.0 |
| Reichenau (alemán y latín) | manuscritos | CC BY-SA 4.0 |
| Oficio de Hipotecas de Girona (OHG) | escrituras notariales, s. XVIII | CC BY-NC 4.0 |
| Wikisource (ca, de, en, es, fr, gl, it, la, pt) | facsímiles de dominio público con su transcripción | CC BY-SA 4.0 (texto) |
| Líneas sintéticas | textos de Wikipedia y Gutenberg con tipos libres | CC BY-SA, dominio público; tipos OFL |
| Líneas de PDF nacidos digitales | impreso moderno | corpus privado, no se redistribuye |
| DocLayNet | maquetación | CDLA-Permissive 1.0 |
| NewsEye (fr, fi) y BnL | prensa con orden de lectura | CC BY y CC0 |
La voz
YODAS-Granary y YODAS2 manual (CC BY 3.0), Common Voice 17 (CC0), Multilingual LibriSpeech (CC BY 4.0), VoxPopuli (CC0), FLEURS (CC BY 4.0) y el corpus de euskera de HiTZ (CC BY 4.0): unas 21 000 horas en 40 lenguas.
Créditos
Amanuensis
De José Luis Saorín Ferrer: los modelos, el paquete, la app, la demo y esta web, con sus pinturas, hechas en el navegador con un pincel simulado sobre esmalte.
Sobre el codificador de EmbeddingGemma 2, de Google.
La demo y esta web
ONNX Runtime Web, de Microsoft (MIT), y PDF.js, de Mozilla (Apache 2.0).
Cormorant Garamond, de Christian Thalmann, e IBM Plex Mono, de IBM: las dos con licencia SIL Open Font License 1.1.
Las páginas de ejemplo de la demo son de dominio público y llegan vía Wikimedia Commons: «Cárcel de amor» (Sevilla, 1492), de la Biblioteca Nacional de España; unos documentos del marqués del Risco, del siglo XVIII, y «Wagahai wa neko de aru» (1905), de la Biblioteca Nacional de la Dieta. La cuarta es un artículo de arXiv con licencia CC BY 4.0. Cada una lleva su crédito al abrirla.