Qui assumeix la responsabilitat de les decisions de la IA?

Hi ha decisions vinculades a la IA que poden marcar profundament la cultura i la trajectòria d'una organització. No són decisions tècniques, sinó estratègiques i ètiques.

Davant la bifurcació moral

En filosofia, hi ha un experiment mental clàssic conegut com el dilema del tramvia. Imaginem una via de tren amb dues bifurcacions: en una, hi ha cinc persones; en l’altra, una sola. Tu tens la palanca que decideix per on passarà el tramvia. Què faràs? Aquest escenari, aparentment simple, exposa la complexitat de les decisions morals quan qualsevol opció implica una pèrdua irreparable.

Aquest mateix dilema ha ressorgit amb força arran de l'experiment Moral Machine, impulsat pel MIT, que plantejava situacions similars però aplicades a vehicles autònoms: si un cotxe sense conductor es veu abocat a un accident inevitable, hauria de prioritzar salvar els passatgers o els vianants? A nens o avis? Aquestes preguntes, que milers de persones van ajudar a respondre en línia, revelen diferències culturals, valors socials i percepcions sobre la responsabilitat moral de la màquina.

L'estudi complet, publicat a Nature l’any 2018, posa sobre la taula la necessitat d’incorporar la diversitat ètica en el disseny d’IA que prengui decisions crítiques.

No és només una qüestió tecnològica

Aquestes decisions no són només reptes d'enginyeria. De fet, moltes de les decisions vinculades a la intel·ligència artificial no tenen res a veure amb el programari o l'algoritme en si. Són decisions que afecten la imatge de marca (quin aspecte tindrà el nostre chatbot o quin to farà servir quan parli amb un client?), l'estratègia reputacional (què farem quan la IA cometi un error?) o fins i tot la identitat de l’organització (què ens diu de nosaltres la forma com dissenyem els criteris de priorització d’una màquina?).

Adoptar la IA només des d’un punt de vista tecnològic és un error habitual que pot portar a decisions mal alineades amb els valors de l’empresa, amb conseqüències legals, ètiques i reputacionals que poden durar anys. A Utopiq ens hem trobat massa sovint amb organitzacions que han començat a implementar solucions d’IA sense haver definit qui prendrà les decisions difícils quan les coses es compliquin.

Responsabilitat, disseny i prevenció

El Moral Machine ens recorda que cal decidir què farà la IA abans que arribi la situació crítica. Algú ha de decidir quin valor prioritzem. I aquest “algú” no pot ser una línia de codi ni un model estadístic. Ha de ser una institució, un comitè, una persona amb responsabilitat jurídica i moral.

És per això que a Utopiq no només assessorem sobre com introduir IA, sinó també sobre com dissenyar les preguntes que caldrà respondre abans d’engegar el sistema. El design thinking, l’avaluació d’impacte ètic i legal, i les taules de deliberació participativa són eines imprescindibles per definir el comportament dels sistemes automatitzats.

La tecnologia no decideix sola

En definitiva, la pregunta no és què farà la IA en cas d’accident, sinó qui haurà decidit què ha de fer. I, el que és més important: la decisió haurà tingut en compte els valors prioritzats? I haurà comptat amb la participació dels usuaris afectats?

L’era de la IA no és només una era de màquines intel·ligents, sinó d’organitzacions responsables. Com sempre, la clau no està en la tecnologia, sinó en com decidim utilitzar-la.