Research

SHORT SUMMARY

Das JobTreffer Screening wurde in Kooperation mit der Universität Wien im Rahmen von 4 Studien entwickelt. Weiterführende Studien sind im Laufen bzw. in Planung. Die abgeschlossenen Studien beschäftigten sich mit folgenden Themen:

Vorstudie: Theoretische Konzeption, Aufbau eines Itempools und Identifikation normativer Items
2 Studien zur testtheoretischen Analyse des Itempools, Berechnung der Reilabilitäten der Skalen und Entwicklung von Präferenzprofilen
Validierungsstudie durch eine sogenannte Extremgruppenvalidierung, in der reale „Top-Matches vs. Non-Matches“ mit JobTreffer untersucht wurden.

Ergebnisse:

Es konnte ein differenzierungsfähiger Itempool unter Ausschluss normativer Items kreiert werden
Nach der Itemselektion zeigten sich gute bis sehr gute Reliabilitäten aller Skalen. Innerhalb der Präferenzprofile zeigen sich niedrige Inter-Itemkorrelationen und bestätigen damit, dass die Dimensionen differenziert erfragt werden.
Die inhaltliche, diskriminante und prospektive Validität des Verfahrens konnte festgestellt werden. Mit dem JobTreffer Screening alleine konnten „83% Top-Matches und Non-Matches“ korrekt zugeteilt werden, ein hoch signifikantes Ergebnis.
Die wissenschaftliche Basis des Verfahrens wird laufend erweitert, weitere Studien sind bereits am Laufen bzw. in Planung.

ABSTRACT STUDIEN 1 BIS 3:

TESTTHEORETISCHE KONSTRUKTION DES JOBTREFFER-VERFAHRENS IN KOOPERATION MIT DER UNIV. WIEN / DEP. ARBEITS- & ORGANISATIONSPSYCHOLOGIE (JobTreffer: Monshi, Benesch et al. in Kooperation mit Univ. Wien: Korunka, Senjak, Teksoy, Szapary 2023 )

1. Ziel der Studien
Im Rahmen der Entwicklung des mehrdimensionalen JobTreffer-Matchingverfahrens wurden insgesamt 3 Studien durchgeführt, wobei Studie eins als Vorstudie diente.
Ziel der 3 Studien war es, einen testtheoretisch fundierten Fragebogen zu konstruieren, der die Passung zwischen Arbeitgeber und Arbeitnehmer:innen in mehreren Dimensionen, Skalen und Präferenzprofilen erfassen kann.
Aus dem resultierenden Passungsprofil sollte ein Gesprächsleitfaden ableitbar sein, der beiden Seiten die Möglichkeit gibt, informierte und präzise Fragen im Kennenlerngespräch zu stellen. Für die Praxis soll also eine umfassende und effiziente Vorbereitung des Erstgesprächs im Recruiting ermöglicht werden.

2. Projektschritte zur wissenschaftlichen Grundlegung des JobTreffer-Verfahrens
In einem Zeitraum von 2 Jahren Entwicklungszusammenarbeit der JobTreffer GmbH mit der Universität Wien / Department Arbeits- & Organisationspsychologie wurden folgende Meilensteine abgeschlossen:

Theoretische Ableitung arbeitswissenschaftlich relevanter Faktoren für das Matching zwischen Arbeitgebern und Arbeitnehmer:innen
Folgende Matching-Dimensionen wurden als relevant abgeleitet und evaluiert:
- Culture-Fit
- Leader-Fit
- Team-Fit
- Role-Fit und
- Task Fit
Aufbau eines Itempools entlang der Theorie zu den entsprechenden Dimensionen
Vorstudie zur Überprüfung des Itempools auf „differenzierungsfähige Items“.
Die Items wurden einer ersten Stichprobe (n=111) vorgegeben und anschließend die statistische Antwortverteilungen pro Item überprüft. Im JobTreffer-Matching dürfen ausschließliche Items, die ein differenziertes Antwortverhalten aufweisen zum Einsatz kommen. Items mit normativem Charakter weisen statistisch zu enge Antwortverteilung auf, die der Effekt „sozialen Erwünschtheit“ die Antworten eine Richtung drängt. Innerhalb einer Bewerbungssituation verstärkt sich der Druck sozial erwünscht zu antworten und dementsprechend mussten Items (z.B. zur fairen Zusammenarbeit) ausgeschlossen werden, da sie letztlich kein differenzierendes Matchingprofil im Bewerbungskontext ermöglichen.
Testtheoretische Analyse und finale Itemselektion: Der Fragebogen mit den vorselektierten Dimensionen, Skalen und Items wurden darauffolgend einer Stichprobe von 466 Proband:innen zwischen 18 – 68 Jahren aus verschiedensten gesellschaftlichen und Bildungsschichten vorgegeben.
Das JobTreffer-Screening: Auf Grundlage umfassender testtheoretischer Itemanalysen und Reliabilitätsberechnungen (=Messgenauigkeit) aller Einzelskalen wurde die aktuelle Version des „Jobtreffer-Screenings“ erstellt. Anzumerken ist, dass die Skalen aus Effizienz- und Zumutbarkeitsgründen mit sehr wenigen Items (2-4) konstruiert wurden. Die geringe Itemanzahl pro Skala erschwert eine hohe Ausprägung der Reliabilitäts-Kennwerte (Cronbachs Alpha) sehr stark. Demensprechend sind die errechneten Reliabilitäten in allen Skalen als gut bis sehr gut zu beurteilen.
Darüber hinaus wurden sogenannte Präferenzprofile entwickelt, um die Präferenzen bezüglich Arbeitsbedingungen differenziert erfassen zu können.
Abschließende Beurteilung der Testgütekriterien:
1. Reliabilität
  Bei der testtheoretischen Grundlegung wurden die strengen Richtgrößen für differentialdiagnostische psychologische Fragebogenverfahren angelegt. Das JobTreffer_Verfahren erfüllt diese Kriterien für ein reliables Verfahren.
2. Objektivität
  Das Hauptgütekriterium der Objektivität durch die digitale Prozessarchitektur zu 100% gewährleistet, sowohl hinsichtlich standardisierter Vorgabe, Durchführung und Auswertung.
3. Validität
  Inhaltliche, diskriminante und prospektive Validität des Verfahrens konnten nachgewiesen werden. Nähere Angaben siehe in der Beschreibung der Studie 4 (nicht Inhalt dieser Zusammenfassung) zur Validitätsüberprüfung.

3. Abschließende Bemerkung:
Betont sein an dieser Stelle, dass das JobTreffer Matching-Verfahren trotz der sehr guten Kennwerte in der digitalen Prozessarchitektur nicht als alleiniges Selektionskriterium vorgesehen ist. Das Verfahren dient als gesprächsvorbereitendes und hypothesengenerierendes Instrument, um die Anwender:innen in einer vorurteilsfreien und fundierten Personalauswahl und -entwicklung zu unterstützen.

Anhang

Reliabilitäten der einzelnen Skalen pro Matching-Dimension
1. CULTURE-FIT-Skalen
  - Beziehungskultur: 0.70
  - Erfolgskultur: 0.75
  - Perfektionskultur: 0.73
  - Innovationskultur: 0.68
  - Homeoffice: 0.84
2. LEADER FIT-Skalen
  - Autonomie: 0,71
  - Direkte Steuerung: 0.73
3. TASK FIT-Skalen
  - Aufgabenvielfalt: 0.72
  - Schwierigkeit kognitiv: 0.81
  - Schwierigkeit körperlich: 0,74
  - Schwierigkeit emotional: 0.84
Präferenzprofile
Im Rahmen der Verfahrensentwicklung wurden sogenannte Präferenzprofile abgeleitet. Mit diesen werden die Präferenzen seitens Arbeitnehmenden bezüglich der Arbeitsrahmenbedingungen erfasst und mit den Angaben der Arbeitsbedingungen des Arbeitgebers abgeglichen. Bei Präferenzprofilen war es wichtig, dass die Items innerhalb eines Profils, z.B. Arten der Teamstabilität, möglichst gering korrelieren, weil ein differenziertes Bild mit unabhängigen Merkmalsausprägungen erfasst werden soll.
CULTURE FIT-Präferenzprofile
- Zeitliche Flexibilität
- Überleistung
- Entwicklungsmöglichkeiten
LEADER-FIT-Präferenzprofile
- Ergebnisverantwortung
- Feedback durch Führungskraft
TEAM-FIT-Präferenzprofile
- Entscheidungen im Team
- Teamstabilität
ROLE-FIT-Präferenzprofile
- Problemlösen
- Beziehungsarbeit
- Proaktivität
TASK-FIT-Präferenzprofile
- Wichtigkeit der Arbeit
- Verteilung der Arbeitsmenge

STUDIE 4: EXTREMGRUPPENVALIDIERUNG:

Die zentrale Frage dieser Studie lautete:
„Kann das mehrdimensionale JobTreffer-Screening zwischen Personen, die nachweislich in der Praxis sehr gut zu ihrem Job passen („Top-Matches“) und jenen, die nachweislich nicht gut passen („Non-Matches“), unterscheiden?“

Methodische Vorgehensweise
Um diese Frage zu beantworten wurden zwei Extremgruppen erhoben:
- „Top-Matches“: Personen, bei denen sowohl Arbeitgeber als auch sie selbst sehr zufrieden mit ihrem Job sind und keine Wechselbereitschaft vorhanden ist.
- „Non-Matches“: Personen, die sehr unzufrieden mit ihrem Job sind und daher eine hohe Wechselbereitschaft aufweisen.
Die Stichprobe
Insgesamt 51 Personen und ihre Arbeitgeber*innen haben das JobTreffer-Screening beantwortet. Anschließend wurden ihre Angaben mit dem Job-Treffer Algorithmus ausgewertet und die Matchingprofile berechnet.
Die Hypothesen
Folgende Hypothesen wurden überprüft:
1. Nachweisliche Top-Matches haben höhere Matching-Scores als Non-Matches.
2. Mit Hilfe des JobTreffer-Verfahrens kann zuverlässig vorhergesagt werden, ob ein Matchingergebnis zu einem Top-Match oder einem Non-Match gehört.
Die Ergebnisse
Folgende Erkenntnisse konnten gewonnen werden:
ad1) „Top-Matches“ haben signifikant höhere Übereinstimmungen in ihren Matchingprofilen als „Non-Matches“. Das spricht für eine hohe diskriminante Validität des Verfahrens.
Ad2) Mittels einer logistischen Regressionsanalyse konnte darüber hinaus festgestellt werden, dass durch das JobTreffer-Matching die Personen zu 83,3% richtig als „Top-Matches“ bzw. „Non-Matches“ identifiziert werden konnten. Damit konnte eine hohe prädiktive Validität des Matchingverfahrens festgestellt werden.
Schlussfolgerung
Die Ergebnisse dieser Studie zeigen, dass das Hauptgütekriterium der Validität sehr gut erfüllt wird. Wichtig ist dazu noch zu erwähnen, dass das JobTreffer Matchingverfahren nicht als alleiniges Selektionskriterium in der Personalauswahl bzw. für die Personalentwicklung gedacht ist. Durch die Integration weiterer Daten, wie Qualifikationen, und die Vertiefung der Ergebnisse des Matchingprofils in einem professionell vorbereiteten Bewerbungsgespräch, ist eine hohe Treffsicherheit in der Praxis anzunehmen.
Als qualitatives Nebenergebnis ist noch hervorzuheben, dass Anwender:innen berichten, dass durch das mehrdimensionale Matchingprofil klassische Personenmerkmale, wie z.B. Alter, Geschlecht, Aussehen oder Namensherkunft, in den Wahrnehmungshintergrund gerückt werden. JobTreffer stellt damit eine objektive Grundlage für eine vorurteilsfreie Personalauswahl (vgl. Unconscious Bias) sicher.
Entsprechende weitere Langzeitstudien mit der Universität Wien sind bereits am Laufen.

Anhang: Studie 4:

Ad1) Überprüfung der Unterschiedshypothese („Top-Matches“ vs. „Non-Matches“) mittels Mann-Whitney U-Test