Imaginemos por un momento la siguiente escena.
Es el año 2014, en los Países Bajos. Una familia
común y corriente recibe una carta del gobierno.
El peor tipo de correo que puede recibir. Exactamente.
Y no es un aviso cualquiera. O sea, el documento
es una notificación oficial que los acusa literal
de haber cometido fraude sistemático con los
subsidios estatales para el cuidado de sus hijos.
Una acusación gravísima. Sí. Y no era sólo una
advertencia administrativa. El Estado les exigía
la devolución inmediata del dinero. Y las sumas,
pues, eran aplastantes. Hablamos de deudas fabricadas
que en muchos casos superaban los cien mil euros.
¿Cien mil euros? Es que es una cifra que te arruina
la vida por completo. Totalmente. El impacto
fue devastador para quienes lo vivieron. Familias
enteras cayeron en bancarrota, perdieron sus
hogares. Y lo más trágico de todo esto es que
no habían hecho absolutamente nada malo. Claro.
Eran inocentes. Estaban siendo casadas por un
algoritmo gubernamental, un sistema que se diseñó,
digamos, para detectar irregularidades, pero
que en el fondo operaba contaminado por sesgos
étnicos. O sea, usaba variables como tener doble
nacionalidad como un indicador de riesgo criminal.
O sea, el nivel de destrucción institucional
que generó ese caso es muy difícil de exagerar,
porque no fue un simple error de programación
aislado. No, para nada. Más de 26 .000 familias
fueron obligadas a devolver fondos que eran legítimos.
Y es una cifra que, a medida que avanzaron las
investigaciones, pues subió a más de 35 .000
hogares afectados, ¿no? ¡35 .000! ¡Qué locura!
Es brutal. Este escándalo, que se conoce internacionalmente
como el Tuslagen Affair, escaló hasta lo más
alto del poder político. al punto de provocar
la renuncia absoluta del primer ministro Mark
Rutte y de todo su gabinete. Esto fue en enero
de 2021. Es una tragedia moderna brutal, de verdad.
Y, a ver, la razón por la que arrancamos esta
inmersión de hoy con esta historia es porque
plantea una interrogante que debería quitarnos
el sueño a todos. Totalmente. Si un desastre
algorítmico de esta magnitud capaz de arruinar
a decenas de miles de familias ocurrió en los
Países Bajos, que o sea es una nación con instituciones
súper robustas, altísimos índices de gobierno
abierto y una burocracia súper profesional, pues
¿qué tipo de catástrofe nos espera en América
Latina si adoptamos la Inteligencia Artificial
a Ciegas? Ese es la pregunta del millón, digamos.
Y justo el objetivo de nuestro análisis hoy es
explorar ese abismo. Y también la posible cuerda
de salvamento, ¿no? Vamos a desempacar a fondo
el prefacio y la introducción del libro OACRA.
Oficina Algorítmica de Calidad Regulatoria Aumentada.
Ese menú. Del autor Jesús Bernal Allende. queremos
ver cómo las democracias pueden usar IA para
legislar mejor, sin ceder el control. Y me encanta
que traigas este texto a la mesa porque no cae
en el típico pánico tecnológico, ni tampoco en
un optimismo ciego, ¿sabes? Claro, no es blanco
o negro. Exacto. Era autor parte de una realidad
innegable y es que la inteligencia artificial
ya se está infiltrando en las decisiones del
gobierno, a través de modelos predictivos y todo
eso. Entonces, la propuesta de OACRA es una arquitectura
institucional. Es un manual de diseño sobre cómo
nuestras democracias pueden integrar esta tecnología
sin perder la soberanía popular ante un código.
Ya antes de entrar a ver cómo funcionan los engranajes
de esta oficina, hay un detalle metodológico
en el libro que les quiero compartir a quienes
nos escuchan porque me pareció fascinante. ¿Así,
la forma en que lo escribió? Exacto. El propio
autor confiesa, ahí en la introducción, que usó
modelos de lenguaje de IA para investigar y estructurar
el texto que hoy estamos analizando. O sea, predica
con el ejemplo. Totalmente. Es un ejercicio de
coherencia pura. Usó la IA como una herramienta
de, digamos, capacidad aumentada. Pero deja muy
claro que mantuvo toda la responsabilidad intelectual
y las decisiones éticas. La máquina no decidió
qué poner, él lo hizo. Y esa decisión, fíjate,
refleja la médula de su argumento. Al usar la
tecnología así, el autor nos obliga a definir
de entrada qué rol le vamos a dar a la IA en
el gobierno. Y aquí el texto marca una frontera
crítica entre dos conceptos, el gobierno algorítmico
y la gobernanza aumentada. Y esa distinción suena
a que es la clave de todo. ¿Cómo operan en la
práctica estos dos modelos? Pues la mecánica
es muy distinta, ¿eh? El gobierno algorítmico
ocurre cuando el sistema permite que la IA tome
la decisión final, o sea, la decisión ejecutable
y vinculante. La máquina tiene la última palabra.
Exactamente. La máquina procesa datos y emite
el veredicto, decide a quién le quita un subsidio,
qué calificación de crédito te toca o hasta sugiere
sentencias penales. O sea, el escándalo de los
Países Bajos es el síntoma perfecto de este modelo.
Así es. Ese es el gobierno algorítmico descontrolado
o el crédito social en China, por ejemplo. Pero
por el contrario, la propuesta de Okra es la
gobernanza aumentada. OK. ¿Y ahí cómo cambia
la cosa? Aquí el software solo estructura las
opciones, ¿no? Te diagrama el mapa, proyecta
consecuencias, hace evidentes las contradicciones
entre leyes. Pero hay un muro inquebrantable.
Los humanos. Los humanos. Los representantes
electos por voto popular son los únicos que pueden
presionar el botón de ejecutar. A ver, para anclar
este concepto para la audiencia, yo leí una analogía
en el texto que me pareció súper útil. Okra sería
como una máquina de resonancia magnética, pero
para el proceso legislativo. Es una analogía
brillante, sí. O sea, imaginemos cuando un paciente
entra a un escáner. La máquina hace un trabajo
increíble. Ilumina los tejidos opacos, detecta
anomalías que ningún ojo humano podría ver a
simple vista. Degenera, digamos, un nivel de
evidencia empírica que es insuperable. Exacto.
Pero hasta ahí llega. La resonancia magnética
jamás emite una orden para operar. No evaluas
si el paciente prefiere un tratamiento conservador
o si aguanta una cirugía riesgosa. Claro, no
tiene criterio médico. Exacto. El médico, que
en nuestra política sería el Congreso, toma esa
imagen, esa evidencia, y le suma el juicio de
valor y la decisión ética. Y mantener esa separación
no es un detallito técnico nada más. Es la frontera
que evita que nos conviertamos en una tecnocracia
donde los programadores pues deciden por nosotros
en secreto. Pero a ver, aquí me toca ser de abogada
del diablo un momento. Adelante, adelante. Entiendo
lo de la resonancia. Pero la máquina médica obedece
a las leyes de la física. Los algoritmos de IA
obedecen a códigos escritos por humanos entrenados
con datos históricos que, sabemos, están llenos
de discriminación y racismo. Los famosos datos
contaminados. Exacto. Toda tecnología tiene sesgos.
Entonces, ¿cómo confiamos en que esa resonancia
de OA -CRA no esté favoreciendo en secreto a
ciertos grupos? Pues es una duda fundamental.
Y me gusta porque el libro no la esquiva para
nada. De hecho, el primer principio del texto
es aceptar una verdad incómoda. Y es que la neutralidad
tecnológica no existe. Es un mito, básicamente.
Es un mito súper peligroso. Cada línea de código
tiene decisiones políticas incrustadas. OACRA
no promete ser neutral ni perfecta. Su solución
a esto es la transparencia radical. O sea, en
lugar de intentar purificar la IA, asumes que
tiene una postura, pero abres el código para
que todos lo vean. Así de simple. Todo modelo
tiene supuestos. Y el antídoto es que sean públicos.
Cada línea de código, cada base de datos de entrenamiento
en OACRA, tiene que ser pública y auditable.
Si dice que hay que construir una presa en lugar
de cuidar un bosque, pues que se vean los cálculos.
Exacto. El autor es tajante ahí. Si el algoritmo
es una caja negra, no es OACRA. Es autoritarismo
digital. Bueno, y esto nos lleva a un punto súper
interesante. Si la solución es la transparencia
y medir riesgos, alguien de quienes nos escuchan
podría decir, bueno, ¿para qué inventar Okra
desde cero? Claro. Si ya hay leyes en otros lados.
Exacto. Europa ya tiene su AI Act. En Estados
Unidos tienen los marcos de riesgo del NIST.
¿Por qué no simplemente agarramos esos documentos,
los traducimos y ya los aplicamos en América
Latina? Porque sería un error de diagnóstico
brutal. El texto advierte que copiar marcos del
primer mundo asume que tenemos burocracias que,
siendo honestos, a menudo no existen en nuestra
región. Operamos con dinámicas muy distintas.
Muy distintas. Y el autor detalla tres fallas
estructurales crónicas que harían que cualquier
ley europea haga cortocircuito aquí. Vamos a
desglosarlas porque creo que pintan nuestra realidad
perfectamente. A ver, la primera falla son los
incentivos temporales. La política opera en ciclos
electorales muy cortos, ¿no? Claro, los políticos
quieren el aplauso hoy. Exactamente. Prefieren
políticos con beneficios inmediatos para ganar
votos y patean los costos a largo plazo, digamos,
para cuando ya esté otro partido en el poder.
Un clásico. Y la segunda falla que destaca el
libro es la bajísima capacidad institucional
frente al volumen de trabajo. Y el libro da datos
duros para esto. Toma de ejemplo a la Cámara
de Diputados en México. Tienes a 500 legisladores
que, en una legislatura de tres años, generan
miles y miles de iniciativas. Miles, sí. Es abrumador.
El volumen y la velocidad de producción de leyes
simplemente ya superó la capacidad humana de
procesarlas. Un humano no puede prever cómo un
cambio en un artículo afecta a otras tres leyes
distintas. Es físicamente imposible. Y esto empeorará
con la tercera falla, que es esta cultura de
opacidad tan nuestra. Uy, sí. El sistema funciona
en las sombras. Sí, literal, para evitar rendir
cuentas. O sea, entra un dictamen gigante a medianoche,
sale a las tres de la mañana todo modificado
y nadie sabe qué legislador le metió mano. Ocultan
quién modificó qué, exacto. Y para ilustrar cómo
estas tres cosas, el cortoplacismo, la falta
de capacidad humana y la opacidad, chocan en
la realidad, el experto trae un ejemplo súper
reciente. Así, el caso de México. Y hago una
pausa aquí para recordarle a la audiencia que
esto se relata en el libro de manera súper imparcial,
¿ok? O sea, es un caso de estudio sobre la velocidad
del proceso, sin respaldar ninguna ideología
política ni de un lado ni de otro. Es puro análisis
de la mecánica legislativa. Exacto. Hablamos
de la Reforma Constitucional al Poder Judicial
en México en septiembre de 2024. se reestructuró
todo el sistema judicial, incluyendo la elección
popular de todos los jueces y magistrados en
menos de 15 días. 15 días para cambiar toda la
estructura judicial de un país. Todo, mientras
había una huelga del Poder Judicial, ignorando
las advertencias técnicas sobre los costos y
sesionando de madrugada en una sede alterna.
Un gimnasio por las protestas. ¿Es que cuando
lees esa cronología en el texto, te das cuenta
de que la velocidad política simplemente desborda
cualquier capacidad de análisis humano tradicional?
Totalmente. Si un Congreso puede rediseñar un
poder del Estado en dos semanas, bajo ese caos,
pues es obvio que no hubo tiempo de correr modelos
de impacto financiero a detalle. Y justo por
eso, porque existen estas leyes aprobadas al
vapor. La propuesta de Bernal Allende no es prohibir
la inteligencia artificial. Al revés. Es usarla
como freno. es diseñar nueva tecnología social.
O sea, instituciones nuevas que domestiquen esa
velocidad. OK. Hablemos del antídoto entonces.
Las salvaguardas que propone Ocra para que la
IA frene el caos sin volverse un dictador. La
primera me parece genial y ataca el problema
de los sesgos que mencionamos antes. El parlamento
de modelos. Ese concepto es clave. Como dijimos
que no hay IA neutral, Ocra maneja el pluralismo
axiológico. O sea, no te da una sola respuesta
correcta, ¿verdad? Exacto. Ocra no te prende
un solo foco verde o rojo. Somete la IA a varios
modelos de IA al mismo tiempo. Y cada uno defiende
valores distintos. Ah, entiendo. Un modelo revisa
si afecta al libre mercado, otro revisa si afecta
a los derechos laborales, otro el medio ambiente.
Y te muestra las tensiones legítimas entre esos
valores. Te dice, mira, si apruebas esto, ayudas
aquí, pero destruyes allá. ilumina el costo real
de legislar. Y eso me lleva a una salvaguarda
vital, porque creo que aquí es donde muchos podrían
asustarse. OACRA no tiene poder de veto. Es importantísimo
subrayar esto. OACRA no puede vetar leyes. Consecuencias
graduadas y no veto, le llama el libro. O sea,
si el Congreso, sabiendo los datos, decide ignorar
a la IA y aprobar algo que está en rojo en el
semáforo de constitucionalidad, pueden hacerlo.
Tiene la legitimidad democrática para hacerlo,
sí. Si la IA pudiera vetar, ya no habría democracia.
Pero, y aquí está el truco, la IA genera consecuencias
procedimentales. Exactamente. No te frena el
coche, pero te pone baches enormes en el camino
político. O sea... te obliga a extender el periodo
de debate por semanas o hace que la votación
tenga que ser pública y nominal para que cada
político asuma el costo frente a las cámaras.
Obliga a registrar públicamente porque estás
votando en contra de la evidencia empírica. Sube
el costo político de la ignorancia. Me encanta.
Pero a ver, otra duda que surge al leer esto.
¿Qué pasa si la IA se equivoca? O peor, ¿qué
pasa si descubrimos que unos intereses oscuros
capturaron el algoritmo? ¿Hay mecanismos de corrección?
Sí. El pexto propone un freno de emergencia llamado
Override Ciudadano. Y esto funciona gracias a
que el código es público, ¿recuerdas? Claro,
la transparencia radical. Como es abierto, la
ciudadanía, las universidades o los periodistas
pueden auditarlo. Y si encuentran una evaluación
ilegítima, mediante firmas y referéndums, pueden
revertir o apagar el análisis de esa IA. Es el
poder de desconectar la máquina en manos de la
gente, literal. Y hay otro mecanismo interno,
la subsidiaridad democrática. Suena complejo.
¿Qué significa eso? Significa que la IA tiene
protocolos para abstenerse de evaluar decisiones
que son puramente políticas o altamente simbólicas.
O sea, la máquina está programada para saber
cuándo no meterse. Saber cuándo callar es tan
importante como saber cuándo hablar. ¡Guau! Exacto.
Hay debates donde la eficiencia algorítmica sale
sobrando y la IA debe guardar silencio. Oye,
todo este sistema de parlamento de modelos, ruido
procedimental, frenos ciudadanos, suena como
el escudo perfecto. Pero el autor hace una advertencia
bastante contundente hacia el final de la introducción.
Sí, da un giro muy serio. Dice que Okra puede
convertirse en una herramienta de opresión brutal
si no se cumplen ciertas condiciones antes de
instalarla. La llama simulación tecnocrática.
Es que esto es fundamental. El autor enlista
cinco condiciones previas que son no negociables.
Si un país no las tiene, implementar OFUACRA
es ilegítimo. El piso mínimo para encender la
máquina. A ver, ¿cuáles son? Primero, división
real de poderes. Si el Congreso obedece ciegamente
al presidente, esto no sirve. Segundo, elecciones
competitivas con alternancia. Claro, porque si
no hay riesgo de perder el poder, elevar el costo
político de una ley no les importa en lo absoluto.
Totalmente. Tercero, libertad de prensa y acceso
irrestricto a la información pública. Cuarto,
una sociedad sigila organizada, capaz de auditar.
Y quinto, un poder judicial autónomo que revise
la constitucionalidad. Si falla una de esas cinco,
el ecosistema se pudre. Y para aprobar este punto,
El libro nos da un contraejemplo que de verdad
da escalofríos. Nos habla de los sistemas en
China. Es el contraste perfecto de un sistema
sin salvaguardas. No solo habla del famoso sistema
de crédito social. No, habla de los tribunales
de internet en ciudades gigantes como Hanzhou,
Beijing, Guangzhou. Que ya operan hoy el día,
no es ciencia ficción. Así es. Y las cifras del
texto dicen que para 2019, ojo, 2019, hace años,
Esos tribunales ya habían procesado más de 3
millones de procedimientos legales usando algoritmos.
3 millones de decisiones mediadas por máquinas.
Y el problema es que el público no puede ver
el código, no puede auditarlo y, muchísimo menos,
organizar un override ciudadano para apagar el
sistema. Es eficiencia pura, pero con opacidad
total. Y por eso el experto resume un, eh, test
de ácido en el libro para diferenciar la gobernanza
de verdad del autoritarismo. ¿Cómo es la prueba?
Muy sencilla. Si un ciudadano común no puede
descargar el código fuente gratis, auditarlo
y movilizarse políticamente en contra del sistema
usando las vías legales, entonces la implementación
es ilegítima y debe suspenderse. No es OACRA.
No, es un simulacro autoritario, una simulación
tecnocrática. ¡Guau! De verdad, qué recorrido
mental nos exige este libro. Para ir atando los
hilos de este análisis, yo me quedo con una revelación
central. A veces pensamos en las instituciones,
como el Parlamento o la Constitución, como si
fueran de piedra, ¿no? Místicas. Como si siempre
hubieran estado ahí. Exacto. Pero el texto nos
dice que no. Que son tecnología social. Son mecanismos
que nosotros diseñamos para coordinar problemas.
Y si no actualizamos esa tecnología social, Para
integrar la inteligencia artificial mediante
el diseño democrático, nos va a arrastrar la
inercia tecnológica. Literal. Nos va a pasar
por encima. Y mira, para dejar a quienes nos
escuchan con una idea para pensar durante el
día, me gustaría llevar esto un pasito más allá
del texto. A ver, lánzala. Si aceptamos que una
Constitución es básicamente el sistema operativo
de un país, Pues es posible que nuestras democracias
actuales estén corriendo con un software del
siglo XIX, intentando procesar problemas exponenciales
del siglo XXI. ¡Uf! Corriendo un programa viejísimo
en una computadora nueva. Y lo más urgente, de
verdad. Si la ciudadanía no exige sentarse a
rediseñar ese código institucional ahora mismo,
¿quiénes van a ser los programadores silenciosos
que lo terminarán escribiendo por nosotros a
puerta cerrada? Es una pregunta que definitivamente
te cambia la perspectiva sobre todo lo que estamos
viviendo hoy con la IA. Si no nos adueñamos del
diseño, vamos a terminar siendo pacientes de
una cirugía que jamás autorizamos. Así es, una
cirugía a ciegas. Pues ha sido una exploración
verdaderamente reveladora de la obra de Jesús
Barnal Allende. A todos los que nos acompañaron
hoy, Manténgan viva la curiosidad, sigan cuestionando
las reglas del juego y nos encontramos muy pronto
en nuestra próxima Inmersión a Fondo.