WEBVTT 00:00:00.000 --> 00:00:03.080 Imaginemos por un momento la siguiente escena. 00:00:03.439 --> 00:00:07.980 Es el año 2014, en los Países Bajos. Una familia 00:00:07.980 --> 00:00:10.699 común y corriente recibe una carta del gobierno. 00:00:11.339 --> 00:00:15.009 El peor tipo de correo que puede recibir. Exactamente. 00:00:15.449 --> 00:00:18.109 Y no es un aviso cualquiera. O sea, el documento 00:00:18.109 --> 00:00:21.609 es una notificación oficial que los acusa literal 00:00:21.609 --> 00:00:24.769 de haber cometido fraude sistemático con los 00:00:24.769 --> 00:00:27.429 subsidios estatales para el cuidado de sus hijos. 00:00:27.850 --> 00:00:31.230 Una acusación gravísima. Sí. Y no era sólo una 00:00:31.230 --> 00:00:34.310 advertencia administrativa. El Estado les exigía 00:00:34.310 --> 00:00:37.869 la devolución inmediata del dinero. Y las sumas, 00:00:37.890 --> 00:00:41.729 pues, eran aplastantes. Hablamos de deudas fabricadas 00:00:41.729 --> 00:00:44.149 que en muchos casos superaban los cien mil euros. 00:00:44.390 --> 00:00:47.030 ¿Cien mil euros? Es que es una cifra que te arruina 00:00:47.030 --> 00:00:49.890 la vida por completo. Totalmente. El impacto 00:00:49.890 --> 00:00:53.289 fue devastador para quienes lo vivieron. Familias 00:00:53.289 --> 00:00:56.270 enteras cayeron en bancarrota, perdieron sus 00:00:56.270 --> 00:00:59.030 hogares. Y lo más trágico de todo esto es que 00:00:59.030 --> 00:01:01.689 no habían hecho absolutamente nada malo. Claro. 00:01:02.350 --> 00:01:06.420 Eran inocentes. Estaban siendo casadas por un 00:01:06.420 --> 00:01:10.519 algoritmo gubernamental, un sistema que se diseñó, 00:01:10.739 --> 00:01:14.019 digamos, para detectar irregularidades, pero 00:01:14.019 --> 00:01:16.939 que en el fondo operaba contaminado por sesgos 00:01:16.939 --> 00:01:21.060 étnicos. O sea, usaba variables como tener doble 00:01:21.060 --> 00:01:24.159 nacionalidad como un indicador de riesgo criminal. 00:01:24.359 --> 00:01:27.099 O sea, el nivel de destrucción institucional 00:01:27.099 --> 00:01:30.959 que generó ese caso es muy difícil de exagerar, 00:01:31.099 --> 00:01:33.219 porque no fue un simple error de programación 00:01:33.219 --> 00:01:36.709 aislado. No, para nada. Más de 26 .000 familias 00:01:36.709 --> 00:01:39.269 fueron obligadas a devolver fondos que eran legítimos. 00:01:39.950 --> 00:01:42.329 Y es una cifra que, a medida que avanzaron las 00:01:42.329 --> 00:01:45.609 investigaciones, pues subió a más de 35 .000 00:01:45.609 --> 00:01:49.390 hogares afectados, ¿no? ¡35 .000! ¡Qué locura! 00:01:49.590 --> 00:01:53.170 Es brutal. Este escándalo, que se conoce internacionalmente 00:01:53.170 --> 00:01:56.969 como el Tuslagen Affair, escaló hasta lo más 00:01:56.969 --> 00:01:59.819 alto del poder político. al punto de provocar 00:01:59.819 --> 00:02:02.420 la renuncia absoluta del primer ministro Mark 00:02:02.420 --> 00:02:05.620 Rutte y de todo su gabinete. Esto fue en enero 00:02:05.620 --> 00:02:09.620 de 2021. Es una tragedia moderna brutal, de verdad. 00:02:10.479 --> 00:02:12.860 Y, a ver, la razón por la que arrancamos esta 00:02:12.860 --> 00:02:15.280 inmersión de hoy con esta historia es porque 00:02:15.280 --> 00:02:17.759 plantea una interrogante que debería quitarnos 00:02:17.759 --> 00:02:20.870 el sueño a todos. Totalmente. Si un desastre 00:02:20.870 --> 00:02:23.449 algorítmico de esta magnitud capaz de arruinar 00:02:23.449 --> 00:02:26.110 a decenas de miles de familias ocurrió en los 00:02:26.110 --> 00:02:29.210 Países Bajos, que o sea es una nación con instituciones 00:02:29.210 --> 00:02:31.810 súper robustas, altísimos índices de gobierno 00:02:31.810 --> 00:02:35.169 abierto y una burocracia súper profesional, pues 00:02:35.169 --> 00:02:37.509 ¿qué tipo de catástrofe nos espera en América 00:02:37.509 --> 00:02:39.750 Latina si adoptamos la Inteligencia Artificial 00:02:39.750 --> 00:02:42.379 a Ciegas? Ese es la pregunta del millón, digamos. 00:02:42.800 --> 00:02:46.099 Y justo el objetivo de nuestro análisis hoy es 00:02:46.099 --> 00:02:49.840 explorar ese abismo. Y también la posible cuerda 00:02:49.840 --> 00:02:52.800 de salvamento, ¿no? Vamos a desempacar a fondo 00:02:52.800 --> 00:02:56.139 el prefacio y la introducción del libro OACRA. 00:02:56.479 --> 00:02:59.639 Oficina Algorítmica de Calidad Regulatoria Aumentada. 00:02:59.800 --> 00:03:03.699 Ese menú. Del autor Jesús Bernal Allende. queremos 00:03:03.699 --> 00:03:07.080 ver cómo las democracias pueden usar IA para 00:03:07.080 --> 00:03:10.319 legislar mejor, sin ceder el control. Y me encanta 00:03:10.319 --> 00:03:12.680 que traigas este texto a la mesa porque no cae 00:03:12.680 --> 00:03:16.400 en el típico pánico tecnológico, ni tampoco en 00:03:16.400 --> 00:03:18.860 un optimismo ciego, ¿sabes? Claro, no es blanco 00:03:18.860 --> 00:03:21.460 o negro. Exacto. Era autor parte de una realidad 00:03:21.460 --> 00:03:23.900 innegable y es que la inteligencia artificial 00:03:23.900 --> 00:03:26.219 ya se está infiltrando en las decisiones del 00:03:26.219 --> 00:03:29.580 gobierno, a través de modelos predictivos y todo 00:03:29.580 --> 00:03:33.379 eso. Entonces, la propuesta de OACRA es una arquitectura 00:03:33.379 --> 00:03:37.500 institucional. Es un manual de diseño sobre cómo 00:03:37.500 --> 00:03:40.539 nuestras democracias pueden integrar esta tecnología 00:03:40.539 --> 00:03:43.580 sin perder la soberanía popular ante un código. 00:03:43.740 --> 00:03:46.759 Ya antes de entrar a ver cómo funcionan los engranajes 00:03:46.759 --> 00:03:49.580 de esta oficina, hay un detalle metodológico 00:03:49.580 --> 00:03:51.460 en el libro que les quiero compartir a quienes 00:03:51.460 --> 00:03:53.960 nos escuchan porque me pareció fascinante. ¿Así, 00:03:54.060 --> 00:03:56.699 la forma en que lo escribió? Exacto. El propio 00:03:56.699 --> 00:03:59.919 autor confiesa, ahí en la introducción, que usó 00:03:59.919 --> 00:04:03.460 modelos de lenguaje de IA para investigar y estructurar 00:04:03.460 --> 00:04:06.580 el texto que hoy estamos analizando. O sea, predica 00:04:06.580 --> 00:04:09.159 con el ejemplo. Totalmente. Es un ejercicio de 00:04:09.159 --> 00:04:12.000 coherencia pura. Usó la IA como una herramienta 00:04:12.000 --> 00:04:15.699 de, digamos, capacidad aumentada. Pero deja muy 00:04:15.699 --> 00:04:18.759 claro que mantuvo toda la responsabilidad intelectual 00:04:18.759 --> 00:04:22.139 y las decisiones éticas. La máquina no decidió 00:04:22.139 --> 00:04:25.740 qué poner, él lo hizo. Y esa decisión, fíjate, 00:04:26.060 --> 00:04:29.139 refleja la médula de su argumento. Al usar la 00:04:29.139 --> 00:04:31.740 tecnología así, el autor nos obliga a definir 00:04:31.740 --> 00:04:34.920 de entrada qué rol le vamos a dar a la IA en 00:04:34.920 --> 00:04:37.879 el gobierno. Y aquí el texto marca una frontera 00:04:37.879 --> 00:04:40.939 crítica entre dos conceptos, el gobierno algorítmico 00:04:40.939 --> 00:04:44.680 y la gobernanza aumentada. Y esa distinción suena 00:04:44.680 --> 00:04:47.600 a que es la clave de todo. ¿Cómo operan en la 00:04:47.600 --> 00:04:50.370 práctica estos dos modelos? Pues la mecánica 00:04:50.370 --> 00:04:53.050 es muy distinta, ¿eh? El gobierno algorítmico 00:04:53.050 --> 00:04:55.670 ocurre cuando el sistema permite que la IA tome 00:04:55.670 --> 00:04:58.449 la decisión final, o sea, la decisión ejecutable 00:04:58.449 --> 00:05:01.430 y vinculante. La máquina tiene la última palabra. 00:05:01.689 --> 00:05:04.170 Exactamente. La máquina procesa datos y emite 00:05:04.170 --> 00:05:06.529 el veredicto, decide a quién le quita un subsidio, 00:05:06.829 --> 00:05:09.430 qué calificación de crédito te toca o hasta sugiere 00:05:09.430 --> 00:05:12.050 sentencias penales. O sea, el escándalo de los 00:05:12.050 --> 00:05:14.670 Países Bajos es el síntoma perfecto de este modelo. 00:05:14.850 --> 00:05:17.850 Así es. Ese es el gobierno algorítmico descontrolado 00:05:17.850 --> 00:05:20.709 o el crédito social en China, por ejemplo. Pero 00:05:20.709 --> 00:05:23.170 por el contrario, la propuesta de Okra es la 00:05:23.170 --> 00:05:25.769 gobernanza aumentada. OK. ¿Y ahí cómo cambia 00:05:25.769 --> 00:05:27.910 la cosa? Aquí el software solo estructura las 00:05:27.910 --> 00:05:30.790 opciones, ¿no? Te diagrama el mapa, proyecta 00:05:30.790 --> 00:05:33.089 consecuencias, hace evidentes las contradicciones 00:05:33.089 --> 00:05:35.649 entre leyes. Pero hay un muro inquebrantable. 00:05:35.750 --> 00:05:38.839 Los humanos. Los humanos. Los representantes 00:05:38.839 --> 00:05:42.160 electos por voto popular son los únicos que pueden 00:05:42.160 --> 00:05:45.459 presionar el botón de ejecutar. A ver, para anclar 00:05:45.459 --> 00:05:48.459 este concepto para la audiencia, yo leí una analogía 00:05:48.459 --> 00:05:52.220 en el texto que me pareció súper útil. Okra sería 00:05:52.220 --> 00:05:55.240 como una máquina de resonancia magnética, pero 00:05:55.240 --> 00:05:58.300 para el proceso legislativo. Es una analogía 00:05:58.300 --> 00:06:01.620 brillante, sí. O sea, imaginemos cuando un paciente 00:06:01.620 --> 00:06:04.000 entra a un escáner. La máquina hace un trabajo 00:06:04.000 --> 00:06:07.399 increíble. Ilumina los tejidos opacos, detecta 00:06:07.399 --> 00:06:09.639 anomalías que ningún ojo humano podría ver a 00:06:09.639 --> 00:06:12.319 simple vista. Degenera, digamos, un nivel de 00:06:12.319 --> 00:06:15.879 evidencia empírica que es insuperable. Exacto. 00:06:15.920 --> 00:06:18.339 Pero hasta ahí llega. La resonancia magnética 00:06:18.339 --> 00:06:20.879 jamás emite una orden para operar. No evaluas 00:06:20.879 --> 00:06:22.879 si el paciente prefiere un tratamiento conservador 00:06:22.879 --> 00:06:25.480 o si aguanta una cirugía riesgosa. Claro, no 00:06:25.480 --> 00:06:28.980 tiene criterio médico. Exacto. El médico, que 00:06:28.980 --> 00:06:31.519 en nuestra política sería el Congreso, toma esa 00:06:31.519 --> 00:06:34.399 imagen, esa evidencia, y le suma el juicio de 00:06:34.399 --> 00:06:37.779 valor y la decisión ética. Y mantener esa separación 00:06:37.779 --> 00:06:41.519 no es un detallito técnico nada más. Es la frontera 00:06:41.519 --> 00:06:43.759 que evita que nos conviertamos en una tecnocracia 00:06:43.759 --> 00:06:46.339 donde los programadores pues deciden por nosotros 00:06:46.339 --> 00:06:49.180 en secreto. Pero a ver, aquí me toca ser de abogada 00:06:49.180 --> 00:06:51.819 del diablo un momento. Adelante, adelante. Entiendo 00:06:51.819 --> 00:06:54.600 lo de la resonancia. Pero la máquina médica obedece 00:06:54.600 --> 00:06:57.459 a las leyes de la física. Los algoritmos de IA 00:06:57.459 --> 00:07:00.699 obedecen a códigos escritos por humanos entrenados 00:07:00.699 --> 00:07:03.500 con datos históricos que, sabemos, están llenos 00:07:03.500 --> 00:07:06.540 de discriminación y racismo. Los famosos datos 00:07:06.540 --> 00:07:10.199 contaminados. Exacto. Toda tecnología tiene sesgos. 00:07:10.579 --> 00:07:13.019 Entonces, ¿cómo confiamos en que esa resonancia 00:07:13.019 --> 00:07:16.540 de OA -CRA no esté favoreciendo en secreto a 00:07:16.540 --> 00:07:18.680 ciertos grupos? Pues es una duda fundamental. 00:07:18.980 --> 00:07:21.259 Y me gusta porque el libro no la esquiva para 00:07:21.259 --> 00:07:23.920 nada. De hecho, el primer principio del texto 00:07:23.920 --> 00:07:27.600 es aceptar una verdad incómoda. Y es que la neutralidad 00:07:27.600 --> 00:07:30.480 tecnológica no existe. Es un mito, básicamente. 00:07:30.519 --> 00:07:33.759 Es un mito súper peligroso. Cada línea de código 00:07:33.759 --> 00:07:36.959 tiene decisiones políticas incrustadas. OACRA 00:07:36.959 --> 00:07:40.199 no promete ser neutral ni perfecta. Su solución 00:07:40.199 --> 00:07:43.839 a esto es la transparencia radical. O sea, en 00:07:43.839 --> 00:07:46.699 lugar de intentar purificar la IA, asumes que 00:07:46.699 --> 00:07:48.560 tiene una postura, pero abres el código para 00:07:48.560 --> 00:07:51.519 que todos lo vean. Así de simple. Todo modelo 00:07:51.519 --> 00:07:54.920 tiene supuestos. Y el antídoto es que sean públicos. 00:07:55.279 --> 00:07:58.319 Cada línea de código, cada base de datos de entrenamiento 00:07:58.319 --> 00:08:00.779 en OACRA, tiene que ser pública y auditable. 00:08:01.000 --> 00:08:03.339 Si dice que hay que construir una presa en lugar 00:08:03.339 --> 00:08:06.000 de cuidar un bosque, pues que se vean los cálculos. 00:08:06.560 --> 00:08:09.579 Exacto. El autor es tajante ahí. Si el algoritmo 00:08:09.579 --> 00:08:12.600 es una caja negra, no es OACRA. Es autoritarismo 00:08:12.600 --> 00:08:15.240 digital. Bueno, y esto nos lleva a un punto súper 00:08:15.240 --> 00:08:18.329 interesante. Si la solución es la transparencia 00:08:18.329 --> 00:08:21.430 y medir riesgos, alguien de quienes nos escuchan 00:08:21.430 --> 00:08:24.230 podría decir, bueno, ¿para qué inventar Okra 00:08:24.230 --> 00:08:27.889 desde cero? Claro. Si ya hay leyes en otros lados. 00:08:28.490 --> 00:08:31.870 Exacto. Europa ya tiene su AI Act. En Estados 00:08:31.870 --> 00:08:34.450 Unidos tienen los marcos de riesgo del NIST. 00:08:34.789 --> 00:08:37.350 ¿Por qué no simplemente agarramos esos documentos, 00:08:37.529 --> 00:08:40.309 los traducimos y ya los aplicamos en América 00:08:40.309 --> 00:08:42.850 Latina? Porque sería un error de diagnóstico 00:08:42.850 --> 00:08:45.809 brutal. El texto advierte que copiar marcos del 00:08:45.809 --> 00:08:48.590 primer mundo asume que tenemos burocracias que, 00:08:48.809 --> 00:08:51.210 siendo honestos, a menudo no existen en nuestra 00:08:51.210 --> 00:08:54.309 región. Operamos con dinámicas muy distintas. 00:08:54.549 --> 00:08:57.509 Muy distintas. Y el autor detalla tres fallas 00:08:57.509 --> 00:08:59.950 estructurales crónicas que harían que cualquier 00:08:59.950 --> 00:09:02.830 ley europea haga cortocircuito aquí. Vamos a 00:09:02.830 --> 00:09:05.370 desglosarlas porque creo que pintan nuestra realidad 00:09:05.370 --> 00:09:08.230 perfectamente. A ver, la primera falla son los 00:09:08.230 --> 00:09:11.690 incentivos temporales. La política opera en ciclos 00:09:11.690 --> 00:09:14.830 electorales muy cortos, ¿no? Claro, los políticos 00:09:14.830 --> 00:09:17.990 quieren el aplauso hoy. Exactamente. Prefieren 00:09:17.990 --> 00:09:20.549 políticos con beneficios inmediatos para ganar 00:09:20.549 --> 00:09:23.909 votos y patean los costos a largo plazo, digamos, 00:09:24.169 --> 00:09:25.929 para cuando ya esté otro partido en el poder. 00:09:26.309 --> 00:09:29.370 Un clásico. Y la segunda falla que destaca el 00:09:29.370 --> 00:09:32.029 libro es la bajísima capacidad institucional 00:09:32.029 --> 00:09:34.549 frente al volumen de trabajo. Y el libro da datos 00:09:34.549 --> 00:09:37.210 duros para esto. Toma de ejemplo a la Cámara 00:09:37.210 --> 00:09:40.360 de Diputados en México. Tienes a 500 legisladores 00:09:40.360 --> 00:09:43.320 que, en una legislatura de tres años, generan 00:09:43.320 --> 00:09:47.159 miles y miles de iniciativas. Miles, sí. Es abrumador. 00:09:47.519 --> 00:09:50.200 El volumen y la velocidad de producción de leyes 00:09:50.200 --> 00:09:52.620 simplemente ya superó la capacidad humana de 00:09:52.620 --> 00:09:55.159 procesarlas. Un humano no puede prever cómo un 00:09:55.159 --> 00:09:57.480 cambio en un artículo afecta a otras tres leyes 00:09:57.480 --> 00:10:01.159 distintas. Es físicamente imposible. Y esto empeorará 00:10:01.159 --> 00:10:03.779 con la tercera falla, que es esta cultura de 00:10:03.779 --> 00:10:07.039 opacidad tan nuestra. Uy, sí. El sistema funciona 00:10:07.039 --> 00:10:09.759 en las sombras. Sí, literal, para evitar rendir 00:10:09.759 --> 00:10:13.320 cuentas. O sea, entra un dictamen gigante a medianoche, 00:10:13.639 --> 00:10:15.820 sale a las tres de la mañana todo modificado 00:10:15.820 --> 00:10:19.720 y nadie sabe qué legislador le metió mano. Ocultan 00:10:19.720 --> 00:10:22.700 quién modificó qué, exacto. Y para ilustrar cómo 00:10:22.700 --> 00:10:25.679 estas tres cosas, el cortoplacismo, la falta 00:10:25.679 --> 00:10:28.679 de capacidad humana y la opacidad, chocan en 00:10:28.679 --> 00:10:31.240 la realidad, el experto trae un ejemplo súper 00:10:31.240 --> 00:10:34.279 reciente. Así, el caso de México. Y hago una 00:10:34.279 --> 00:10:36.200 pausa aquí para recordarle a la audiencia que 00:10:36.200 --> 00:10:38.960 esto se relata en el libro de manera súper imparcial, 00:10:39.019 --> 00:10:42.000 ¿ok? O sea, es un caso de estudio sobre la velocidad 00:10:42.000 --> 00:10:44.620 del proceso, sin respaldar ninguna ideología 00:10:44.620 --> 00:10:47.519 política ni de un lado ni de otro. Es puro análisis 00:10:47.519 --> 00:10:50.980 de la mecánica legislativa. Exacto. Hablamos 00:10:50.980 --> 00:10:53.519 de la Reforma Constitucional al Poder Judicial 00:10:53.519 --> 00:10:57.820 en México en septiembre de 2024. se reestructuró 00:10:57.820 --> 00:11:00.519 todo el sistema judicial, incluyendo la elección 00:11:00.519 --> 00:11:03.299 popular de todos los jueces y magistrados en 00:11:03.299 --> 00:11:06.500 menos de 15 días. 15 días para cambiar toda la 00:11:06.500 --> 00:11:09.220 estructura judicial de un país. Todo, mientras 00:11:09.220 --> 00:11:11.779 había una huelga del Poder Judicial, ignorando 00:11:11.779 --> 00:11:14.379 las advertencias técnicas sobre los costos y 00:11:14.379 --> 00:11:16.379 sesionando de madrugada en una sede alterna. 00:11:16.460 --> 00:11:18.799 Un gimnasio por las protestas. ¿Es que cuando 00:11:18.799 --> 00:11:21.600 lees esa cronología en el texto, te das cuenta 00:11:21.600 --> 00:11:24.200 de que la velocidad política simplemente desborda 00:11:24.200 --> 00:11:26.539 cualquier capacidad de análisis humano tradicional? 00:11:26.899 --> 00:11:29.419 Totalmente. Si un Congreso puede rediseñar un 00:11:29.419 --> 00:11:32.159 poder del Estado en dos semanas, bajo ese caos, 00:11:32.299 --> 00:11:34.580 pues es obvio que no hubo tiempo de correr modelos 00:11:34.580 --> 00:11:36.799 de impacto financiero a detalle. Y justo por 00:11:36.799 --> 00:11:39.159 eso, porque existen estas leyes aprobadas al 00:11:39.159 --> 00:11:42.519 vapor. La propuesta de Bernal Allende no es prohibir 00:11:42.519 --> 00:11:45.120 la inteligencia artificial. Al revés. Es usarla 00:11:45.120 --> 00:11:48.210 como freno. es diseñar nueva tecnología social. 00:11:48.850 --> 00:11:51.509 O sea, instituciones nuevas que domestiquen esa 00:11:51.509 --> 00:11:54.870 velocidad. OK. Hablemos del antídoto entonces. 00:11:55.330 --> 00:11:58.029 Las salvaguardas que propone Ocra para que la 00:11:58.029 --> 00:12:01.649 IA frene el caos sin volverse un dictador. La 00:12:01.649 --> 00:12:04.049 primera me parece genial y ataca el problema 00:12:04.049 --> 00:12:07.070 de los sesgos que mencionamos antes. El parlamento 00:12:07.070 --> 00:12:10.690 de modelos. Ese concepto es clave. Como dijimos 00:12:10.690 --> 00:12:13.559 que no hay IA neutral, Ocra maneja el pluralismo 00:12:13.559 --> 00:12:16.059 axiológico. O sea, no te da una sola respuesta 00:12:16.059 --> 00:12:18.919 correcta, ¿verdad? Exacto. Ocra no te prende 00:12:18.919 --> 00:12:22.240 un solo foco verde o rojo. Somete la IA a varios 00:12:22.240 --> 00:12:25.399 modelos de IA al mismo tiempo. Y cada uno defiende 00:12:25.399 --> 00:12:29.039 valores distintos. Ah, entiendo. Un modelo revisa 00:12:29.039 --> 00:12:31.940 si afecta al libre mercado, otro revisa si afecta 00:12:31.940 --> 00:12:34.220 a los derechos laborales, otro el medio ambiente. 00:12:34.399 --> 00:12:37.000 Y te muestra las tensiones legítimas entre esos 00:12:37.000 --> 00:12:40.240 valores. Te dice, mira, si apruebas esto, ayudas 00:12:40.240 --> 00:12:43.539 aquí, pero destruyes allá. ilumina el costo real 00:12:43.539 --> 00:12:46.480 de legislar. Y eso me lleva a una salvaguarda 00:12:46.480 --> 00:12:48.820 vital, porque creo que aquí es donde muchos podrían 00:12:48.820 --> 00:12:53.379 asustarse. OACRA no tiene poder de veto. Es importantísimo 00:12:53.379 --> 00:12:57.539 subrayar esto. OACRA no puede vetar leyes. Consecuencias 00:12:57.539 --> 00:13:00.860 graduadas y no veto, le llama el libro. O sea, 00:13:01.000 --> 00:13:03.980 si el Congreso, sabiendo los datos, decide ignorar 00:13:03.980 --> 00:13:07.080 a la IA y aprobar algo que está en rojo en el 00:13:07.080 --> 00:13:09.980 semáforo de constitucionalidad, pueden hacerlo. 00:13:10.279 --> 00:13:12.419 Tiene la legitimidad democrática para hacerlo, 00:13:12.460 --> 00:13:15.700 sí. Si la IA pudiera vetar, ya no habría democracia. 00:13:15.899 --> 00:13:21.019 Pero, y aquí está el truco, la IA genera consecuencias 00:13:21.019 --> 00:13:23.600 procedimentales. Exactamente. No te frena el 00:13:23.600 --> 00:13:25.820 coche, pero te pone baches enormes en el camino 00:13:25.820 --> 00:13:29.360 político. O sea... te obliga a extender el periodo 00:13:29.360 --> 00:13:32.539 de debate por semanas o hace que la votación 00:13:32.539 --> 00:13:35.399 tenga que ser pública y nominal para que cada 00:13:35.399 --> 00:13:38.820 político asuma el costo frente a las cámaras. 00:13:39.120 --> 00:13:41.100 Obliga a registrar públicamente porque estás 00:13:41.100 --> 00:13:43.879 votando en contra de la evidencia empírica. Sube 00:13:43.879 --> 00:13:46.340 el costo político de la ignorancia. Me encanta. 00:13:46.740 --> 00:13:48.879 Pero a ver, otra duda que surge al leer esto. 00:13:49.299 --> 00:13:52.519 ¿Qué pasa si la IA se equivoca? O peor, ¿qué 00:13:52.519 --> 00:13:55.139 pasa si descubrimos que unos intereses oscuros 00:13:55.139 --> 00:13:58.659 capturaron el algoritmo? ¿Hay mecanismos de corrección? 00:13:59.000 --> 00:14:01.940 Sí. El pexto propone un freno de emergencia llamado 00:14:01.940 --> 00:14:04.899 Override Ciudadano. Y esto funciona gracias a 00:14:04.899 --> 00:14:07.059 que el código es público, ¿recuerdas? Claro, 00:14:07.220 --> 00:14:10.220 la transparencia radical. Como es abierto, la 00:14:10.220 --> 00:14:12.820 ciudadanía, las universidades o los periodistas 00:14:12.820 --> 00:14:15.480 pueden auditarlo. Y si encuentran una evaluación 00:14:15.480 --> 00:14:18.639 ilegítima, mediante firmas y referéndums, pueden 00:14:18.639 --> 00:14:21.750 revertir o apagar el análisis de esa IA. Es el 00:14:21.750 --> 00:14:24.570 poder de desconectar la máquina en manos de la 00:14:24.570 --> 00:14:27.409 gente, literal. Y hay otro mecanismo interno, 00:14:27.710 --> 00:14:30.629 la subsidiaridad democrática. Suena complejo. 00:14:30.649 --> 00:14:33.509 ¿Qué significa eso? Significa que la IA tiene 00:14:33.509 --> 00:14:35.990 protocolos para abstenerse de evaluar decisiones 00:14:35.990 --> 00:14:39.169 que son puramente políticas o altamente simbólicas. 00:14:39.490 --> 00:14:41.809 O sea, la máquina está programada para saber 00:14:41.809 --> 00:14:45.509 cuándo no meterse. Saber cuándo callar es tan 00:14:45.509 --> 00:14:49.029 importante como saber cuándo hablar. ¡Guau! Exacto. 00:14:49.159 --> 00:14:52.080 Hay debates donde la eficiencia algorítmica sale 00:14:52.080 --> 00:14:55.139 sobrando y la IA debe guardar silencio. Oye, 00:14:55.200 --> 00:14:58.740 todo este sistema de parlamento de modelos, ruido 00:14:58.740 --> 00:15:01.980 procedimental, frenos ciudadanos, suena como 00:15:01.980 --> 00:15:05.559 el escudo perfecto. Pero el autor hace una advertencia 00:15:05.559 --> 00:15:08.539 bastante contundente hacia el final de la introducción. 00:15:08.740 --> 00:15:12.139 Sí, da un giro muy serio. Dice que Okra puede 00:15:12.139 --> 00:15:14.799 convertirse en una herramienta de opresión brutal 00:15:14.799 --> 00:15:18.200 si no se cumplen ciertas condiciones antes de 00:15:18.200 --> 00:15:21.470 instalarla. La llama simulación tecnocrática. 00:15:21.769 --> 00:15:24.490 Es que esto es fundamental. El autor enlista 00:15:24.490 --> 00:15:27.450 cinco condiciones previas que son no negociables. 00:15:27.950 --> 00:15:30.470 Si un país no las tiene, implementar OFUACRA 00:15:30.470 --> 00:15:34.269 es ilegítimo. El piso mínimo para encender la 00:15:34.269 --> 00:15:37.490 máquina. A ver, ¿cuáles son? Primero, división 00:15:37.490 --> 00:15:40.330 real de poderes. Si el Congreso obedece ciegamente 00:15:40.330 --> 00:15:44.009 al presidente, esto no sirve. Segundo, elecciones 00:15:44.009 --> 00:15:46.899 competitivas con alternancia. Claro, porque si 00:15:46.899 --> 00:15:49.779 no hay riesgo de perder el poder, elevar el costo 00:15:49.779 --> 00:15:52.659 político de una ley no les importa en lo absoluto. 00:15:52.820 --> 00:15:56.159 Totalmente. Tercero, libertad de prensa y acceso 00:15:56.159 --> 00:15:58.899 irrestricto a la información pública. Cuarto, 00:15:59.220 --> 00:16:02.019 una sociedad sigila organizada, capaz de auditar. 00:16:02.559 --> 00:16:05.360 Y quinto, un poder judicial autónomo que revise 00:16:05.360 --> 00:16:08.340 la constitucionalidad. Si falla una de esas cinco, 00:16:08.740 --> 00:16:11.919 el ecosistema se pudre. Y para aprobar este punto, 00:16:12.120 --> 00:16:14.799 El libro nos da un contraejemplo que de verdad 00:16:14.799 --> 00:16:18.059 da escalofríos. Nos habla de los sistemas en 00:16:18.059 --> 00:16:20.580 China. Es el contraste perfecto de un sistema 00:16:20.580 --> 00:16:23.840 sin salvaguardas. No solo habla del famoso sistema 00:16:23.840 --> 00:16:27.100 de crédito social. No, habla de los tribunales 00:16:27.100 --> 00:16:30.440 de internet en ciudades gigantes como Hanzhou, 00:16:30.539 --> 00:16:32.879 Beijing, Guangzhou. Que ya operan hoy el día, 00:16:32.899 --> 00:16:35.899 no es ciencia ficción. Así es. Y las cifras del 00:16:35.899 --> 00:16:40.879 texto dicen que para 2019, ojo, 2019, hace años, 00:16:41.259 --> 00:16:43.879 Esos tribunales ya habían procesado más de 3 00:16:43.879 --> 00:16:47.059 millones de procedimientos legales usando algoritmos. 00:16:47.159 --> 00:16:50.000 3 millones de decisiones mediadas por máquinas. 00:16:50.179 --> 00:16:52.159 Y el problema es que el público no puede ver 00:16:52.159 --> 00:16:55.259 el código, no puede auditarlo y, muchísimo menos, 00:16:55.700 --> 00:16:57.960 organizar un override ciudadano para apagar el 00:16:57.960 --> 00:17:00.879 sistema. Es eficiencia pura, pero con opacidad 00:17:00.879 --> 00:17:04.609 total. Y por eso el experto resume un, eh, test 00:17:04.609 --> 00:17:07.990 de ácido en el libro para diferenciar la gobernanza 00:17:07.990 --> 00:17:10.309 de verdad del autoritarismo. ¿Cómo es la prueba? 00:17:10.430 --> 00:17:13.569 Muy sencilla. Si un ciudadano común no puede 00:17:13.569 --> 00:17:16.490 descargar el código fuente gratis, auditarlo 00:17:16.490 --> 00:17:19.269 y movilizarse políticamente en contra del sistema 00:17:19.269 --> 00:17:22.269 usando las vías legales, entonces la implementación 00:17:22.269 --> 00:17:25.430 es ilegítima y debe suspenderse. No es OACRA. 00:17:25.789 --> 00:17:29.069 No, es un simulacro autoritario, una simulación 00:17:29.069 --> 00:17:32.849 tecnocrática. ¡Guau! De verdad, qué recorrido 00:17:32.849 --> 00:17:36.029 mental nos exige este libro. Para ir atando los 00:17:36.029 --> 00:17:39.089 hilos de este análisis, yo me quedo con una revelación 00:17:39.089 --> 00:17:42.309 central. A veces pensamos en las instituciones, 00:17:42.569 --> 00:17:45.089 como el Parlamento o la Constitución, como si 00:17:45.089 --> 00:17:48.190 fueran de piedra, ¿no? Místicas. Como si siempre 00:17:48.190 --> 00:17:52.430 hubieran estado ahí. Exacto. Pero el texto nos 00:17:52.430 --> 00:17:56.150 dice que no. Que son tecnología social. Son mecanismos 00:17:56.150 --> 00:17:58.349 que nosotros diseñamos para coordinar problemas. 00:17:58.849 --> 00:18:01.539 Y si no actualizamos esa tecnología social, Para 00:18:01.539 --> 00:18:03.799 integrar la inteligencia artificial mediante 00:18:03.799 --> 00:18:06.220 el diseño democrático, nos va a arrastrar la 00:18:06.220 --> 00:18:09.059 inercia tecnológica. Literal. Nos va a pasar 00:18:09.059 --> 00:18:11.579 por encima. Y mira, para dejar a quienes nos 00:18:11.579 --> 00:18:13.839 escuchan con una idea para pensar durante el 00:18:13.839 --> 00:18:16.480 día, me gustaría llevar esto un pasito más allá 00:18:16.480 --> 00:18:20.200 del texto. A ver, lánzala. Si aceptamos que una 00:18:20.200 --> 00:18:22.539 Constitución es básicamente el sistema operativo 00:18:22.539 --> 00:18:25.450 de un país, Pues es posible que nuestras democracias 00:18:25.450 --> 00:18:27.829 actuales estén corriendo con un software del 00:18:27.829 --> 00:18:31.549 siglo XIX, intentando procesar problemas exponenciales 00:18:31.549 --> 00:18:35.369 del siglo XXI. ¡Uf! Corriendo un programa viejísimo 00:18:35.369 --> 00:18:38.890 en una computadora nueva. Y lo más urgente, de 00:18:38.890 --> 00:18:41.650 verdad. Si la ciudadanía no exige sentarse a 00:18:41.650 --> 00:18:44.190 rediseñar ese código institucional ahora mismo, 00:18:44.630 --> 00:18:46.809 ¿quiénes van a ser los programadores silenciosos 00:18:46.809 --> 00:18:49.250 que lo terminarán escribiendo por nosotros a 00:18:49.250 --> 00:18:52.329 puerta cerrada? Es una pregunta que definitivamente 00:18:52.329 --> 00:18:54.710 te cambia la perspectiva sobre todo lo que estamos 00:18:54.710 --> 00:18:57.569 viviendo hoy con la IA. Si no nos adueñamos del 00:18:57.569 --> 00:19:00.190 diseño, vamos a terminar siendo pacientes de 00:19:00.190 --> 00:19:03.890 una cirugía que jamás autorizamos. Así es, una 00:19:03.890 --> 00:19:07.109 cirugía a ciegas. Pues ha sido una exploración 00:19:07.109 --> 00:19:10.390 verdaderamente reveladora de la obra de Jesús 00:19:10.390 --> 00:19:13.589 Barnal Allende. A todos los que nos acompañaron 00:19:13.589 --> 00:19:17.440 hoy, Manténgan viva la curiosidad, sigan cuestionando 00:19:17.440 --> 00:19:20.720 las reglas del juego y nos encontramos muy pronto 00:19:20.720 --> 00:19:22.720 en nuestra próxima Inmersión a Fondo.