Modelos de lenguaje en la Administración
Procesamiento de documentos administrativos, atención ciudadana, riesgos de alucinación sobre texto jurídico. La vía más ligada al núcleo del paper: Markdown como formato legible por máquina.
Jia He, Mukund Rungta, David Koleczek, Arshdeep Sekhon, Franklin X. Wang, Sadid Hasan (2024), arXiv:2411.10541 (cs.CL)
El trabajo que más directamente sostiene el núcleo del paper: demuestra empíricamente que la forma en que se presenta el mismo contenido a un modelo de lenguaje (texto plano, Markdown, JSON o YAML) altera de forma medible su rendimiento, aun con información idéntica. En un modelo mediano el rendimiento oscila hasta un 40% según el formato en tareas de traducción de código; los modelos mayores son más robustos pero el efecto no desaparece. Matiz honesto: no existe una plantilla universalmente óptima. La ventaja de Markdown debe defenderse por sus propiedades (estructura lógica explícita, ausencia de ruido de maquetación), no por una supremacía universal que la evidencia no respalda.
Farid Ariai, Joel Mackenzie, Gianluca Demartini (2024), arXiv:2410.21306 (cs.CL); University of Queensland
Revisión sistemática (154 estudios, 131 tras filtrado) que organiza el NLP jurídico en seis tareas nucleares: resumen documental, reconocimiento de entidades, respuesta a preguntas, minería de argumentos, clasificación y predicción de fallos. Confirma que extraer, resumir y responder sobre texto jurídico es un campo consolidado, no una promesa especulativa. A la vez enumera dieciséis retos abiertos que desaconsejan el triunfalismo: documentos largos, lenguaje complejo, escasez de datasets abiertos, sesgos e interpretabilidad. Muchos de esos retos se agravan cuando la entrada es un PDF reconstruido y se atenúan cuando el contenido nace estructurado.
Matthew Dahl, Varun Magesh, Mirac Suzgun, Daniel E. Ho (2024), Journal of Legal Analysis 16(1); Stanford RegLab; arXiv:2401.01301
La fuente de riesgos imprescindible: mide, no anecdotiza, la propensión de los LLM a alucinar información jurídica. Ante preguntas verificables sobre jurisdicciones y casos reales de EE. UU., las tasas de alucinación oscilan entre el 58% (ChatGPT-4) y el 88% (Llama 2). Los modelos tienden además a no corregir premisas jurídicas falsas del usuario y no detectan de forma fiable cuándo su propia respuesta es inexacta. Es el contrapeso necesario a la promesa de «transparencia semántica»: interrogar a una norma con un LLM solo es fiable si el modelo se apoya en el texto correcto, no en su memoria paramétrica, lo que conecta de forma precisa con la tesis del formato estructurado en origen.
Kyeongryul Lee, Heehyeon Kim, Joyce Jiyoung Whang (2025), arXiv:2501.08814 (cs.CY); KAIST
Traslada la cuestión del riesgo del dominio jurídico general al sector público concreto. Constata que la adopción de IA generativa en la Administración avanza más rápido que la evaluación de sus riesgos. Propone un marco estructurado en cuatro etapas para generar datos de prueba y auditar sistemáticamente estos sistemas: descomponer categorías de riesgo, diseñar escenarios propios del sector público, aplicar métodos de jailbreak y explorar tipos de prompt. Su valor no está en resultados numéricos sino en la tesis: desplegar IA generativa sin evaluación sistemática y reproducible es imprudente, y esa evaluación debe ser tan auditable como el propio servicio.
OCDE (2025), OECD Publishing
Inventaría 200 casos reales de uso de IA por gobiernos en 11 funciones nucleares, desde prestación de servicios hasta lucha contra la corrupción. El 57% de los casos apunta a automatizar o personalizar servicios; el 45% a mejorar la toma de decisiones; y un 30% busca reforzar la rendición de cuentas y la detección de anomalías, el terreno de la auditoría automática del gasto. Honesto sobre límites: muchas iniciativas siguen en fase piloto por falta de marcos de medición de impacto. Identifica siete habilitadores, entre ellos la calidad del dato y la compra pública, coincidiendo con las dos palancas de la recomendación de este trabajo.
Pablo Ramírez-Hernández, David Valle-Cruz, Rafael Valentín Mendoza-Méndez (2023), Espacios Públicos, Universidad Autónoma del Estado de México; Dialnet
Fuente en castellano que concreta la vía en el caso más visible para el ciudadano: los asistentes conversacionales de atención pública. Hallazgo honesto: las arquitecturas de chatbot que hoy usa el sector público tienen margen de mejora porque, en buena medida, no incorporan técnicas de IA reales y siguen basándose en interacción por menús, lejos de una consulta en lenguaje natural sobre normativa. Refuerza indirectamente la tesis del formato de origen: un asistente ciudadano solo será tan bueno como procesable sea el corpus del que bebe.
Nota de verificación: Verificada por el agente de investigación vía WebFetch (título, autoría y contenido confirmados). Comprobación propia posterior bloqueada por un 503 de Dialnet ante peticiones automatizadas, no evidencia de que la fuente no exista.
Cinco patrones se repiten. El formato de la entrada condiciona el rendimiento del LLM de forma medible, aunque sin una plantilla universalmente óptima. Un consenso aún más firme sobre los riesgos: la promesa convive con una propensión medida a alucinar del 58-88% en el dominio legal, que obliga a supeditar todo uso a la verificabilidad. La respuesta compartida a ese riesgo es el anclaje en el dato verificable y estructurado, el puente exacto hacia la tesis del formato de origen. El marco institucional ya trata la IA administrativa como realidad, con la calidad del dato como uno de sus habilitadores reconocidos. Y el caso ciudadano (chatbots) existe pero rinde por debajo de su promesa, en parte porque el conocimiento que debería servir vive en documentos no estructurados. Ninguna fuente proclama que Markdown sea la solución: es condición, no garantía, de la transparencia semántica.