+36 21 345 7060
reszletek@practiwork.hu
Székhely: 1037 Budapest, Jablonka út 103. Levelezési cím: 3525 Miskolc Szent Anna utca 12/B
Bevezetés
A mesterséges intelligencia térnyerése a napjainkban nyilvánvaló: az automatizált rendszerek és algoritmusok ma már szinte észrevétlenül segítik döntéseinket – navigációban, orvoslásban, munkahelyi folyamatokban. Ez azonban hordoz egy olyan veszélyt, ami pszichológiai szempontból különösen problémás lehet: minél fejlettebb és megbízhatóbb egy gép, annál könnyebb túlzottan megbízni benne.
Ez a jelenség nem véletlen, hanem egy jól ismert pszichológiai torzítás része: automation bias, vagyis automatizációs torzítás. De mi is ez pontosan, és miért lehet veszélyes?
Befolyásolja-e az autmatizáció a döntéshozatalt? – egy 1999-es tanulmány tanulságai
Skitka, Mosier és Burdick (1999) azt a kérdést vizsgálta, hogy a döntéstámogató, számítógépesített rendszerek használata milyen hatással van a döntéshozók teljesítményére. Egy NASA által támogatott pszichológiai kísérletben 80 főiskolai hallgatót kértek meg, hogy egy szimulált repülési feladatot hajtsanak végre. A környezet egy kereskedelmi repülőgép műszerfala volt: négy feladatot kellett párhuzamosan figyelniük — például magasságtartás, műszerek állapota, rádiókapcsolat, térképes követés.
A résztvevőket két csoportra osztották:
Automatizált csoport: kaptak egy döntéstámogató rendszert (AMA – Automated Monitoring Aid), amely időnként figyelmeztette őket, ha be kellett avatkozni.
Nem automatizált csoport: minden információt manuálisan kellett figyelniük, nem volt rendszer, ami figyelmeztette volna őket.
A rendszer nem volt tökéletes: szándékosan úgy programozták, hogy néha hibás figyelmeztetést adjon, vagy épp ne szóljon, amikor kellett volna. A cél az volt, hogy megvizsgálják, mennyire vakon követik az emberek az automatizált rendszert — még akkor is, ha az hibázik.
Az automatizált csoport akkor is gyakran elmulasztotta a szükséges beavatkozást, amikor az információk nyilvánvalóan mutatták a hibát — csak épp az automatizált rendszer nem szólt róla.
59%-ban nem cselekedtek, ha az AMA nem figyelmeztette őket.
Ezzel szemben a manuális csoport ugyanazokat a helyzeteket csak 3%-ban mulasztotta el.
Vagyis: tízből hat ember hibázott, mert a gép nem szólt — annak ellenére, hogy minden más adat a hiba felé mutatott.
A rendszer néha rossz döntést javasolt – például azt állította, hogy az egyik hajtómű lángra kapott, pedig a kijelzők alapján minden rendben volt.
Az automatizált csoport résztvevői az esetek 65%-ában követték a hibás utasítást, és leállították az egészséges hajtóművet.
Még azok is így döntöttek, akik korábban a kiképzés során kifejezetten megtanulták, hogy ilyen helyzetben nem szabad automatikusan a riasztásnak hinni.
A teszt végén a résztvevők jelentős része azt állította, hogy látott más jeleket is a hibára, pedig semmi ilyen nem volt. Az elme kiegészítette a valótlan eseményt, hogy igazolja a gépi utasítást. A résztvevők nemcsak a rendszert követték vakon – hamis emlékeket is kreáltak, hogy igazolják döntéseiket. Ez jól mutatja, milyen mélyen hat ránk a technológiába vetett bizalom. Fontos azt is kiemelni, hogy ez a jelenség korántsem új, hiszen a tanulmány még az előző évezredben született!
Ez miért lehet veszélyes?
Bár az automatizált rendszerek gyakran segítenek elkerülni az emberi hibákat, nem tévedhetetlenek. A probléma ott kezdődik, amikor kritika nélkül elfogadjuk, amit „a gép mond”, és lemondunk saját döntéshozói szerepünkről.
Az automation bias hátterében több mélyen gyökerező pszichológiai hajlam áll, amelyek önállóan is torzítják az ítélőképességünket — együtt viszont kifejezetten veszélyessé teszik az automatizált rendszerek vak követését.
Kognitív lustaság: Az emberi agy energiatakarékos: ha teheti, elkerüli a bonyolult gondolkodást, és inkább rövid, egyszerű döntési útvonalakat (heurisztikákat) választ. Fiske & Taylor (1991) az embereket találó angol kifejezéssel „cognitive misers”-ként írták le, amit talán leginkább gondolati fösvényként lehetne fordítani. Ez azt jelenti, hogy az emberek arra törekednek, hogy kerüljék a felesleges agymunkát. Az automatizált rendszerek pont egy ilyen „gondolkodási mankóként” működnek. Skitka et al. (1999) is hangsúlyozzák, hogy az automatizáció gyakran csökkenti a felhasználók kognitív erőfeszítését, ami új hibákhoz vezethet.
Felelősségátruházás: Ha valaki úgy érzi, hogy nem ő az egyedüli döntéshozó, hanem „megoszlik a felelősség” (akár más emberek, akár gépek között), akkor kevésbé érzi magát kötelesnek a helyes döntés meghozatalára. Latane és Darley számos munkájában (pl. 1970) foglalkozott ezzel a kérdéskörrel, és kimutatta, hogy az emberek kevésbé segítenek vészhelyzetben, ha mások is jelen vannak – ez a társas felelősségmegosztás jelensége. Skitka és társai (1999) azt találták, hogy az automatizált rendszerek jelenléte csökkenti a felhasználók éberségét, mert úgy érzik, a rendszer „átveszi” a felelősség egy részét.
Szakértői heurisztika:A szakértői heurisztika azt jelenti, hogy hajlamosak vagyunk automatikusan megbízni abban, akit (vagy amit) szakértőnek gondolunk, anélkül hogy alaposan megvizsgálnánk az állításait. Ez a heurisztika praktikus: nem tudunk minden információt ellenőrizni, így "kölcsönvesszük" a döntést attól, akit illetékesnek hiszünk. A legtöbb automatizált rendszer — például egy orvosi diagnosztikai algoritmus vagy egy repülőgép navigációs rendszere — úgy van tálalva, mintha szakértő lenne: pontos, gyors, hozzáférése van rengeteg adathoz. Ez megerősíti a szakértői heurisztika működését. Skitka és munkatársai (1999) pedig konkrétan megemlítik, hogy az automatizált rendszerek tekintélyként jelennek meg, és emiatt a felhasználók alábecsülik saját ítélőképességük értékét.
Mit tehetünk?
Az automatizált rendszerek nagyon csábítóak, mert kielégítenek egy alapvető emberi törekvést: azt a törekvésünket, hogy ne legyen szükségünk megerőltető kognitív folyamatokra. Ez értelemszerűen veszélyeket is hordoz magában, de tudatossággal ezt csökkenteni tudjuk. Néhány javaslat:
Tartsuk fenn az emberi éberséget – sose hagyjuk el a saját megfigyelést vagy ellenőrzést.
Tudatosítsuk a torzítást – ismerjük fel magunkban a hajlamot a „gépi tekintély” iránt.
Képezzük magunkat - a képzés csökkentheti a torzítás hatását.
Használjunk több, független adatforrást – ne csak az automatizált rendszerre támaszkodjunk.
Kérdőjelezzük meg a gépi döntést, ha valami nem stimmel – a józan észt ne dobjuk ki az ablakon
A legfontosabb a kritikus gondolkodás: ne veszítsük el azt a képességünket, hogy felülbíráljuk a gépi javaslatokat.
Felhasznált irodalom:
Fiske, S. T., & Taylor, S. E. (1991). Social cognition (2nd ed.). Mcgraw-Hill Book Company.
Latané´, B., & Darley, J. M. (1970). The unresponsive bystander: Why doesn’t he help? New York, NY: Appleton-Century-Croft.
Skitka, L. J., Mosier, K. L., & Burdick, M. (1999). Does automation bias decision-making?. International Journal of Human-Computer Studies, 51(5), 991-1006.