IA responsable

Sngular + Eticas

Nos aliamos a Eticas para empezar a aplicar una metodología de trabajo que nos convierte en el primer proveedor de Inteligencia Artificial ética y responsable.

Entrevistamos a Gemma Galdón, CEO y fundadora de Eticas, para ahondar en el mundo de la auditoría algorítmica.

Con el objetivo de aportar el máximo valor a nuestros clientes, buscamos constantemente las mejores soluciones técnicas que habilitan los procesos de transformación y de disrupción que están reinventando todos los sectores. Nos situamos en una posición de conector de talento tecnológico continua, porque el concepto de crecimiento e integración está en el ADN de Sngular desde que se fundó, y nos gusta acercarnos a personas excelentes que compartan nuestra filosofía y que aporten nuevas capacidades, nuevos puntos de vista, nuevos retos. Por ese motivo, no podíamos anunciar una noticia mejor: la alianza con Eticas.

En un momento marcado por la creciente preocupación y regulación en torno al uso responsable de la tecnología, nos aliamos con Eticas para ayudar a las empresas que ya incorporan Inteligencia Artificial en sus procesos empresariales, o están empezando a elaborar una estrategia para hacerlo, a entender los riesgos de sus algoritmos e identificar dónde son vulnerables.

Con este acuerdo articulamos la primera propuesta global de desarrollo integrado de sistemas de IA éticos, responsables y legales desde su conceptualización.

«La metodología conjunta que proponemos facilitará no sólo cumplir con un marco legal en el desarrollo de proyectos sino también acelerar y aportar solidez en el paso de prueba de concepto a producción; los clientes contarán con expertos en desarrollo técnico y legal». Nerea Luis, Artificial Intelligence Lead de Sngular.

Nerea Luis, Artificial Intelligence Lead en Sngular, y Gemma Galdón, CEO y fundadora de Eticas.

¿En qué consiste este trabajo común?

Tal y como apunta la futura Ley de Inteligencia Artificial de la Unión Europea, sectores como la salud, el empleo, la educación, la seguridad, los servicios sociales o la justicia son especialmente sensibles en torno al uso responsable de esta tecnología y la aplicación de IA en cualquiera de estos ámbitos es considerada de ‘alto riesgo’. En todos los sectores mencionados el espacio para el error algorítmico es mínimo, lo que requiere de la creación de equipos altamente especializados y de la implementación de modelos de gobernanza y protección de datos para minimizar riesgos legales, reputacionales y éticos.

Conscientes de esta incipiente problemática, en Sngular hemos construido un partnership con esta empresa pionera en auditoría algorítmica para empezar a aplicar una metodología de trabajo conjunta y ágil en proyectos técnicos de terceros que persigue como objetivo el desarrollo, supervisión, evaluación y auditado de algoritmos de sistemas de datos en contextos de alto riesgo y cuyas decisiones tengan un impacto directo o indirecto en las personas.

Descarga la carta de servicios

Sobre Eticas

Eticas es una empresa pionera en auditoría algorítmica y líder global en el diseño de soluciones de ética práctica aplicadas a la Inteligencia Artificial, con experiencia en el sector público, privado e instituciones internacionales como Naciones Unidas, OECD o la Comisión Europea.

Trabaja con las organizaciones para identificar las vulnerabilidades algorítmicas y reentrena la tecnología impulsada por la IA con mejores datos y contenidos. Dota a los clientes de un algoritmo cognitivamente más diverso para obtener resultados más precisos que pueden convertirse en ventajas competitivas.

Hemos hablado con Gemma Galdón, CEO y fundadora de esta empresa, con la que hemos podido ahondar en el mundo de la auditoría algorítmica, y entender con mayor claridad cómo garantizar la seguridad en la aplicación de este tipo de tecnologías.

¿Qué fue lo que te impulsó a crear la iniciativa Eticas?

Lo que me impulsó a crear Eticas fue la constatación de que la forma en la que hacemos tecnología a menudo genera impactos sociales, consecuencias y externalidades nada deseables. La rapidez del desarrollo tecnológico olvida muchas veces que para maximizar lo positivo de la innovación tenemos que aprender a mitigar los riesgos y las partes negativas.

Encontré una gran necesidad de trabajar en tecnología desde esa perspectiva de mejora del desarrollo tecnológico para asegurar que protege a las personas.

¿Qué es la Inteligencia Artificial ética?

La Inteligencia Artificial ética es como la comida saludable, el consumo responsable o los coches con freno. Para mí es la única Inteligencia Artificial posible y la única innovación tecnológica que merece ser llamada innovación y que debería ser desarrollada. Hay tecnologías que no son deseables, igual que un coche sin límites de velocidad no sería deseable. Creo que la mejor tecnología es la que incorpora aspectos de ética e impacto social en su desarrollo.

Lo difícil de la innovación tecnológica es innovar entendiendo cuáles son las limitaciones de lo que haces. Hacer algo que no cumpla la ley y dañe a terceros es fácil, lo difícil es entender que no todo se puede hacer, por motivos legales y de aceptabilidad social, con lo cual, la tecnología tiene que incorporar preocupaciones sociales, marco legal y transparencia en su forma de funcionamiento.

La Inteligencia Artificial ética protege a las personas, es transparente, asume responsabilidad sobre sus impactos e incorpora todas esas preocupaciones dentro de su código. En Eticas traducimos las preocupaciones sociales en especificaciones técnicas para asegurar que las buenas intenciones se traduzcan en las tripas de la tecnología y de la Inteligencia Artificial.

¿Cómo definirías en qué consiste la auditoría algorítmica?

La auditoría algorítmica es un proceso que nos permite validar desde el exterior, como actor independiente, si un algoritmo está funcionando bien o mal, si está generando impactos diferentes sobre ciertos colectivos. Por ejemplo, las mujeres estamos tradicionalmente discriminadas por los sistemas algorítmicos porque estos utilizan datos históricos. Es el caso del ámbito bancario: como históricamente las mujeres no hemos sido las representantes económicas de las familias, en las bases de datos de entrenamiento de los algoritmos bancarios las mujeres estamos infrarrepresentadas. Cuando esos datos se toman sin ser conscientes de que existe ese sesgo histórico, lo que hacen esos datos es indicar al algoritmo que tiene que reproducir esa dinámica, por lo tanto el algoritmo entiende que a las mujeres se nos tiene que asignar más riesgo y los hombres siguen sobrerrepresentados en la bolsa de clientes de los bancos.

Cuando hacemos una auditoría algorítmica analizamos todo el ciclo de vida del algoritmo, desde la elección de las bases de datos del entrenamiento hasta la implementación de un sistema algorítmico. Tenemos hasta 20 puntos de identificación de sesgos e ineficiencias y testeamos en cada uno de esos 20 puntos para asegurar que no se produzcan. Cuando identificamos esas ineficiencias las subsanamos, intervenimos (a veces en forma de políticas o mediante especificaciones técnicas) incorporando datos sintéticos y normas dentro de los algoritmos para asegurar que esa disfunción, ineficiencia o sesgo no se reproduce.

En tu opinión, ¿cuáles son los mayores retos a los que se enfrentan las Administraciones públicas en materia de ética tecnológica?

La Administración pública tiene muchos retos en la incorporación de tecnología, pero también el conjunto de la sociedad. Estamos viviendo un momento muy anómalo en el que los políticos y la ciudadanía cuando hablan de tecnología parece que se refieren a ciencia ficción; tenemos mala comprensión de cuál es el momento tecnológico actual.

Una de las claves de la Administración pública es comprar bien la tecnología, pero si no sabes lo que puede hacer la tecnología es poco probable que la compres bien. En Eticas apoyamos a la Administración pública a comprar mejor la tecnología, a licitar mejor, a entender mejor qué puede hacer la tecnología desde una perspectiva realista, no desde ‘promesas’.

En mi opinión, los grandes retos que tiene la Administración pública son:

1- La licitación tecnológica: licitar mejor el producto que se incorpora.

2- Tener personal interno capaz de hacer esa tarea, de saber licitar y saber trabajar con la tecnología. Esto es difícil porque se trata de perfiles profesionales muy nuevos que están tardando en entrar en la plantilla de la Administración pública.

3- Proteger los datos de la ciudadanía. Cuando una Administración pública compra un sistema de IA, se utilizan datos personales para alimentar esa herramienta . Si se ha hecho una mala licitación y un mal control de ese sistema y hay un desconocimiento de cómo funciona, se pueden estar vulnerabilizando esos datos.

4- Liderar, ser capaz de no ser consumidor de tecnología, sino ser un espacio de desarrollo de tecnologías éticas y responsables; esperamos que no se busque una lógica de beneficio sino una lógica de servicio y de cuidado.

Esos son los cuatro grandes retos que tiene la Administración pública, pero me temo que aún no hay mucha consciencia de que están ahí; estamos aún en fase de definición de cómo se puede situar la Administración pública en un entorno sano dentro del desarrollo tecnológico actual.

¿Qué aspectos hay que tener en cuenta a la hora de desarrollar y entrenar un algoritmo?

Para desarrollar e implementar un algoritmo lo primero que hay que saber es qué problema queremos resolver. Muchas veces en tecnología encontramos muchas soluciones buscando problemas, en vez de al revés: pensar qué tecnologías nos ayudan a solucionar un problema que existe.

Un problema a abordar debe ser un reto en sí mismo. Cuando identificamos el problema tenemos que entender cuáles son los puntos de datos que nos pueden ayudar a resolverlo. Hay un ejemplo del que se ha hablado bastante: un algoritmo de priorización hospitalaria que se había entrenado con datos financieros porque lo entrenó una compañía de seguros. A menudo se usan los datos que se tienen y no los que se necesitan. ¿Qué podemos hacer? Conocer bien cuáles son los datos que me permiten tomar una buena decisión y seleccionar los inputs adecuados.

Después de la selección, otro reto importante es ver si hay sesgos históricos en esos datos, por ejemplo, si hay infrarrepresentación de algún colectivo: mujeres, hombres, personas no blancas, niños, personas mayores, personas que viven en ciertas zonas, etc. Las capas de discriminación que nos podemos encontrar dentro de los algoritmos son muchísimas, identificarlas es clave para poder mitigarlas. Por ejemplo: si sabemos que nuestra base de datos tiene condicionantes históricos que podrían llevar al algoritmo a tomar decisiones injustas sobre esos perfiles, tenemos mecanismos para solventar eso, pero si no lo hemos identificado, ese problema no se solventa y acabamos teniendo problemas de reproducción de esos sesgos.

Pero los riesgos en la selección y en los datos históricos no son los únicos. Existen también riesgos técnicos a la hora de asegurarnos de que la identificación que hemos hecho previamente de esas bases de datos funciona bien. Muchas veces podemos estar seguros de que la selección la hemos hecho correctamente y que los datos no están históricamente sesgados, pero quizás en el modelo hemos introducido algún tipo de norma que hace que aparezcan nuevos sesgos, discriminaciones y deficiencias. Tenemos que hacer ese monitoreo constante de cómo funciona el algoritmo para garantizar que las decisiones que toma son buenas.

Y, por último, tenemos que asegurar que la implementación de la decisión algorítmica sea un paso que está cubierto. Es decir, no paramos la política tecnológica cuando hemos incorporado el algoritmo, sino que vemos quién está leyendo esas decisiones algorítmicas y cómo se están implementando; esa fase de implementación es otro de los puntos clave en los que identificamos disfunciones que llevan finalmente a la una mala decisión algorítmica.

Entre las empresas y los proveedores de tecnología, ¿dónde recae la responsabilidad cuando aparece un error?

La responsabilidad es uno de los grandes temas en este ámbito porque no siempre está claro para los que participan. Por ejemplo, en Texas, un coche autónomo atropelló mortalmente a una mujer, y aunque se descubrió que el sistema de conducción autónoma estaba muy mal diseñado porque no se programó para identificar a personas humanas fuera de un paso de peatones, (algo claramente anómalo, pues ese algoritmo ignoraba aspectos importantes de la realidad y de la conducción), en el contrato que se firmaba entre el conductor y la empresa, se dejaba muy claro que la responsabilidad era del conductor, y, finalmente, se determinó que la responsabilidad de aquel suceso fue del conductor.

La responsabilidad la determinan los términos contractuales y lo que estamos viendo actualmente en numerosas ocasiones es que, precisamente por desconocimiento, la Administración pública y la gran empresa compran tecnologías de terceros sin asegurarse de que protegen, sin identificar esos errores de la tecnología que vienen de serie.

Si en ese contrato que se firma, el desarrollador dice que la responsabilidad es del cliente y es el cliente quien lo firma, por mucho que digamos que existe un problema irresoluble que llevaba al desastre, tenemos un caso de liability innegable. Una de las labores que hacemos en Eticas es ayudar a nuestros clientes a repasar esos contratos y a asegurar que se protegen y que esa responsabilidad se distribuye en base a quién ha hecho qué. Evidentemente, si el cliente no ha tenido parte en la codificación de un algoritmo, parece absurdo responsabilizarle de los errores en una fase en la que no ha tenido ningún tipo de control, pero ahora mismo es un asunto que no está del todo resuelto.

Actualmente, ¿las empresas están preparadas para identificar este tipo de errores y mitigar riesgos?

En nuestra experiencia, las empresas y la Administración pública no están preparadas para identificar esos riesgos porque se ha asumido en estos años de desarrollo tecnológico alrededor de la IA, que la IA se puede desarrollar solo con ingenieros. Eso podría ser válido en casos de IA de bajo impacto (con fines comerciales), por ejemplo, si el algoritmo de Netflix se equivoca en la recomendación de la siguiente película o serie, el impacto es bastante bajo.

Pero ahora se está produciendo un salto de la IA de bajo impacto a la IA de alto impacto, cuando utilizamos IA en el ámbito de la salud, educación, seguridad, justicia criminal (con algoritmos que asignan penas en EE.UU., por ejemplo), o en el caso de la priorización hospitalaria, cuando se decide si alguien vive o muere, vemos que el impacto ya no es equiparable al caso de Netflix y comprobamos que el input de los ingenieros no es suficiente.

Por ejemplo, si le encomendamos a un fontanero que construya él solo un edificio, seguramente le vendrá grande; tendrá que estar presente y relacionarse con otros profesionales, como diseñadores, arquitectos, pintores, etc. En la IA de alto impacto ocurre igual: el ingeniero es una pieza más en un proceso de construcción de sistemas sociotécnicos muy complejos.

Creemos que las empresas no tienen capacidad para identificar riesgos en los algoritmos porque sus equipos técnicos incorporan únicamente ingenieros que, aunque puedan ser muy válidos, no están formados para entender determinados temas; por ejemplo: un ingeniero no tiene por qué saber cómo debe funcionar un algoritmo médico, por ello en ese equipo debería haber un médico ayudando a que ese código incorpore las preocupaciones del sector médico.

En Eticas facilitamos a los ingenieros el conocimiento que les falta; somos un equipo sociotécnico externo que se puede movilizar en base a demanda para ayudar a que el desarrollo tecnológico de una empresa o Administración pública sea más ético y más robusto.

¿Qué supone para Eticas esta alianza con Sngular?

La alianza con Sngular es un paso más en nuestra vocación de cambiar cómo hacemos la tecnología. En nuestra alianza nos convertimos en el primer proveedor integral de soluciones de IA ética y damos el salto clave entre los principios legales y éticos y la implementación concreta.

Creemos que a muy corto plazo la IA del alto riesgo, como la que se implementa en servicios sociales, educativos, salud, justicia criminal, etc., no se podrá hacer con IA que no sea por defecto IA ética y responsable, y queremos mostrar cómo se hace eso en la práctica. Actualmente, hay mucha gente interesada en saber cómo se da ese salto, cómo pasamos de los principios a las prácticas. Lo que hacemos con Sngular es crear esa alianza que nos permite juntar lo mejor del conocimiento de la IA desde una perspectiva técnica con lo mejor de la comprensión de los aspectos sociales y sociotécnicos que intervienen en la definición y despliegue de la IA. Nos convertimos en un espacio pionero, de cambio, para generar experiencias y casos concretos de desarrollo de una mejor IA, de mayor calidad que lo que se ha hecho hasta ahora.

Damos un salto cualitativo brutal en cómo pensamos, codificamos y desarrollamos la Inteligencia Artificial, y solo podemos hacerlo de la mano de un partner pionero, pero también joven y dinámico, como es Sngular.