Teszteljünk-e mobilon?

Bevezetés

Napjainkban különösen gyakori, hogy a munkaerő kiválasztásához képességteszteket alkalmaznak a munkaadók. A technológiai fejlődés lehetővé tette, hogy a kiválasztás során használt teszteket mobil eszközökön is ki tudják tölteni a jelöltek. Ahhoz, hogy a mobil eszközökön történő tesztkitöltés eredményeit elfogadjuk, az szükséges, hogy a platformtól függetlenül hasonló eredményeket kapjunk.
Bizonyos kutatások azonban azt mutatták ki, hogy általában személyiségkérdőíveknél nincsenek jelentős különbségek a mobil és nem mobil eszközökön való kitöltés között, viszont a kognitív képességeket mérő teszteken a mobil eszközöket használók alacsonyabb pontszámokat érnek el, mint azok, akik nem mobil eszközöket használnak. Ez arra utalhat, hogy a kognitív tesztek nehezebbek lehetnek mobil eszközökön, és emiatt kérdésessé válhat az ezeknek a teszteknek a használata.
A fenti eredmény ugyanakkor nem általános: más kutatások nem találtak ilyen különbségeket. Az inkonzisztenciára magyarázatot kell találni, főleg, ha emberek sorsa múlhat rajta. Mi lehet az inkonzisztens eredmények oka? Hogyan lehet ezt a problémát orvosolni? Hogyan bízhatunk a mobil eszközökön tett tesztek eredményeiben? Ezt a kérdést elemezzük.

A platform hatása

A munkaerő kiválasztás kutatásban közkedvelt eljárás az, hogy a kutatók valódi álláskeresők operatív adatait tartalmazó adatbázisokat elemeznek. Ez kifejezetten hasznos a vizsgálatok érvényességének szempontjából, hiszen a való életből származó adatokkal dolgoznak a kutatók, ugyanakkor felmerül egy komoly probléma: az ilyen adatok, miután nem kísérleti elrendezésből származnak, nem alkalmasak ok-okozati kapcsolatok meghatározására. De miért van ennek jelentősége?
Elsősorban azért, mert a valódi álláskeresői mintán nem tudjuk befolyásolni azt, hogy ki tölti ki a tesztet mobil eszközön, és ki személyi számítógépen vagy laptopon. Ezt szelekciós torzításnak nevezzük, és komoly veszélyt jelent arra nézve, hogy mennyire tudunk oksági kapcsolatokat levonni az adatokból.
Brown és munkatársai (2022) szerint a kutatások során megmutatkozó inkonzisztenciákra adott magyarázat nem abban áll, hogy milyen platformon töltik ki a jelöltek a tesztet, hanem inkább abban, hogy az eltérő jellemzőkkel rendelkező személyek más és más eszközt preferálnak a tesztkitöltésre. A kutatók több mint 75 000 álláspályázó adatait elemezték, akik közül sokan 2019 december és 2020 júniusa között végeztek egy általános mentális képességeket vizsgáló tesztet. Érdekességképpen azt találták, hogy a mobil eszközök használata gyakoribb volt azok között az álláspályázók között, akik kevesebb iskolai végzettséggel rendelkeztek, és hagyományosabb, gyakorlatiasabb, alacsonyabb komplexitású munkakörökre jelentkeztek (pl. takarítók, munkások). Azok a pályázók, akik magasabb iskolai végzettséggel rendelkeztek, és magasabb komplexitású munkakörökre pályáztak (pl. elemzők), kevésbé valószínű, hogy mobil eszközt használtak a teszt kitöltésekor.
A szerzők tehát arra a következtetésre jutottak, hogy a pontszámok különbségei a mobil és a nem mobil eszközökön való tesztelés során valószínűleg azoknak az egyéneknek a különbségeiből erednek, akik előnyben részesítik az egyes platformokat, és nem maguknak az eszközök jellegzetességeiből.

Gyakorlati jelentőség

Milyen gyakorlati jelentősége van mindennek? Teszteljünk akkor mobilon, vagy sem? Kétségtelen, hogy a mobil eszközök manapság már majdnem mindenhol rendelkezésre állnak, így adja magát, hogy ezekre az eszközökre is fejlesszük képességmérő teszteket. Ugyanakkor a fenti problémakör megoldására sokkal inkább az lenne a javasolt, hogy a kiválasztási eljárás során a mérési folyamatot sztenderdizáljuk: mindenkinek ugyanolyan körülményeket biztosítsunk, mindenki ugyanolyan eszközön, ugyanolyan feladatokkal találkozzon, és ugyanúgy legyen értékelve. A sztenderd eszközök használata teljesen megszünteti az eltérő platformokból származó problémákat, és mindenki számára igazságosabb körülményeket biztosít.

Felhasznált irodalom

Brown, M. I., Grossenbacher, M. A., & Warman, Z. (2023). Self-selection as an explanation for general mental ability test score differences between mobile and nonmobile devices in observational studies. Journal of Applied Psychology, 108(7), 1190–1206.