Cuando Dorothy, el Hombre de Hojalata, el León y el Espantapájaros logran conocer al mago de Oz quedan fascinados por la voz grave y sobrenatural de este ser, que en la versión fílmica de 1939 tiene el timbre de Frank Morgan y se presenta como un altar de fuego y humo místico. Sin embargo, Toto, el perro de la niña, no parece quedar tan impresionado y muerde una cortina hasta dejar al descubierto el engaño: hay alguien al mando de una serie de palancas y botones conduciendo todo lo que sucede en el escenario. Muerto de miedo y vergüenza, el supuesto mago intenta mantener la farsa: "No le presten atención al hombre detrás del telón". Pero, acorralado por los protagonistas, debe confesar su engaño: “Solo soy un hombre normal”, le confiesa a Dorothy y a sus amigos. El Espantapájaros, sin embargo, lo corrige al instante: “Eres más que eso: ¡eres una estafa!”.
Cuando le quitamos los ropajes y vestidos lujosos a la IA la podremos ver tal y como realmente es: un producto del accionar humano que, por lo tanto, lleva en su seno las marcas de sus creadores. En ocasiones, incluso, se la considera como similar en sus procesos al pensar humano pero carente de errores o prejuicios. Así, frente a la extendida y persuasiva retórica acerca de su neutralidad valorativa y la objetividad que le sería concomitante, debemos analizar la ineludible gravitación de intereses humanos calificados en diferentes etapas de esta supuesta tecnología mágica.
La promesa que Microsoft y el gobierno salteño de poder predecir “cinco o seis años antes, con nombre, apellido y domicilio, cuál es la niña, futura adolescente, que está en un 86 % predestinada a tener un embarazo adolescente” terminó siendo solo una promesa incumplida.
Y el fiasco comenzó con los datos: se utilizaron bases reunidas por el gobierno provincial y organizaciones de la sociedad civil en barrios de bajos ingresos de Salta capital durante 2016 y 2017. La encuesta llegó a poco menos de 300 mil personas, de las cuales 12.692 eran niñas y adolescentes entre 10 y 19 años. En el caso de las menores de edad, la información fue recogida luego de obtener el consentimiento de “los jefes de hogar” (sic).
Estos datos nutrieron un modelo de aprendizaje automático que, según sus implementadores, permite predecir, con un grado cada vez mayor de precisión, qué niñas y adolescentes cursarán un embarazo en el futuro. Se trata de un absoluto absurdo: Microsoft estaba vendiendo un sistema que prometía algo técnicamente imposible (Eubanks, 2018). Esto es, se obtiene un listado de personas a las cuales les fue asignada una probabilidad de embarazo. Los algoritmos, lejos de autoejecutar políticas, brindaban la información al Ministerio de Primera Infancia para que abordara los casos identificados.
No se precisó desde el Estado salteño en qué consistiría ese abordaje, ni los protocolos empleados, ni las acciones de seguimiento previstas, ni el impacto de las medidas aplicadas –ni si ese impacto se ha medido de algún modo–, ni los criterios de selección de los organismos no gubernamentales o fundaciones involucrados, ni el rol de la iglesia.
El proyecto también tuvo fallas técnicas graves: según una investigación de la World Web Foundation (Ortiz Freuler e Iglesias, 2018), no existe información accesible sobre las bases de datos empleadas, ni sobre la hipótesis que sirve de apoyo para el diseño de los modelos, ni sobre el proceso de diseño de los modelos finales, criticando la opacidad del proceso. Además, se ha sostenido que la iniciativa omite evaluar cuáles son las inequidades que se pueden producir y prestar especial atención a los grupos minoritarios o vulnerables que pueden verse afectados, amén de las dificultades de trabajar con un rango de edad tan amplio en los relevamientos y el riesgo de discriminación o aun criminalización inherente al sistema.
Los especialistas coincidieron en que hubo una contaminación sutil de los datos de evaluación ya que los datos sobre los cuales se evalúa el sistema no son distintos de los datos que se usan para entrenarlo. Por otra parte, los datos son inadecuados para el fin que se persigue. Estos datos provinieron de una encuesta a adolescentes que residían en la provincia de Salta, que indagaba información sobre su persona (edad, etnia, país de origen, etc.), su entorno (si contaba con agua caliente en su vivienda, con cuántas personas cohabitaba, etc.) y sobre si había cursado o estaba cursando un embarazo. Ahora bien, la pregunta que se intentaba responder a partir de estos datos actuales era si una adolescente podía cursar un embarazo en el futuro, algo que, más que una predicción, tiene el aspecto de una premonición. Eran, además, informaciones sesgadas porque los datos sobre embarazos adolescentes, por la sensibilidad inherente a esta clase de temas, tienden a estar incompletos o, directamente, ocultos.
Los investigadores del Laboratorio de Inteligencia Artificial Aplicada del Instituto de Ciencias de la Computación de la Universidad de Buenos Aires determinaron que, además de utilizar estos datos poco confiables, la iniciativa de Microsoft adolece de desaciertos metodológicos serios. Además, plantean el riesgo de tomar medidas incorrectas a los responsables de políticas públicas: “Las técnicas de inteligencia artificial son poderosas y demandan responsabilidad por parte de quienes las emplean; son solo una herramienta más, que debe complementarse con otras, y de ningún modo reemplazan el conocimiento o la inteligencia de un experto”, especialmente en un área tan sensible como la salud pública y los sectores vulnerables.5
Y es que este es uno de los nudos conflictivos graves: aun si fuera posible (lo cual no parece ser el caso) predecir el embarazo adolescente, no queda claro para qué se haría: la prevención permanece ausente en todo el proceso. Considerar un riesgo alto de estigmatización de niñas y adolescentes por esta causa es, entonces, inevitable.