Grenzen und Möglichkeiten der Messung des Transfererfolgs ELO

Gültigkeitsprüfungen dieses ELOs

Pflichtdaten: Sprache

Sprache: deutsch

Pflichtdaten: Aufgabenaktivität

Aufgabenaktivität: Verständnis-/ Zuordnungsaufgabe, Analyseaufgabe

Pflichtdaten: Level

Level: mittel

Pflichtdaten: Gesamte Bearbeitungszeit in Minuten

Gesamte Bearbeitungszeit in Minuten: 45

Platzhalter - Teaser-Bild
Teaser-Text:
Die Kontrolle des Transfer- oder Anwendungserfolgs ist ein wichtiger Bestandteil einer Weiterbildungsmaßnahme, doch hat sie auch ihre Grenzen. Warum Unternehmen sich nicht auf die reine Zufriedenheitsabfrage ihrer Mitarbeitenden verlassen sollten und welche Erfolgsebenen bei der Evaluation berücksichtigt werden sollten, erfahren Sie in diesem Lernschritt.
Achtung: H5P-Inhalte können hier nicht korrekt dargestellt werden. Stattdessen erscheint ein grauer Balken. Um den Inhalt mit H5P-Elementen zu sehen, klicken Sie auf den folgenden Link.
Grenzen und Möglichkeiten der Messung des Transfererfolgs
„Lernen an sich, insbesondere aber auch der Transfer des Erlernten vom Lern- in das Funktionsfeld, ist ein hoch komplexer Prozess, in dem sich so viele (Stör-)Variablen befinden, dass man sich nie sicher sein kann, ob nun wirklich das Verkaufstraining dazu geführt hat, dass der Autoverkäufer mehr Autos verkauft oder ob es schlichtweg dem Umstand geschuldet ist, dass er eine Frau gefunden oder sich von seiner Frau getrennt hat.“

(Prof. Dr. Gesman, 2018, S. 7)

Während es relativ einfach ist, die Zufriedenheit der Seminarteilnehmenden anhand von Feedbackbögen abzufragen, sieht es für die Ermittlung anderer Erfolgsindikatoren wie dem Lernerfolg, dem Transfererfolg und dem ökonomischen Erfolg, wie sie in dem Vier-Stufen-Modell von Kirkpatrick festgehalten sind, weitaus schwieriger aus. Die Komplexität der Erfolgsmessung erklärt auch, warum viele Unternehmen ihre Erfolgskontrolle auf die Zufriedenheitsabfrage anhand der sogenannten „Happiness Sheets“ beschränken.

 

Das Bild zeigt einen Fragebogen, auf dem drei Fragen zu sehen sind, die den Fokus auf die Zufriedenheit der Teilnehmenden legen.

                                                                      „Happiness-Sheets", Bild: Eigene Darstellung“

 

"Man erfährt dann, dass das Tagungshaus gut, das Essen lauwarm und der Referent durchschnittlich war. Ob die Teilnehmenden etwas gelernt haben und inwiefern das Erlernte auch im organisationalen Alltag zum Tragen kommt, bleibt in der Regel aber diffus“, kritisiert Stefan Gesmann, Professor für Erwachsenenbildung und Weiterbildung in der Sozialen Arbeit. Zufriedenheit kann ein erster wichtiger Hinweis für den Lernerfolg sein, dieser reicht jedoch nicht aus.

Der Transfer- oder Anwendungserfolg setzt den Fokus zusätzlich auf den Mehrwert des Seminars für das Unternehmen sowie auf Arbeitsergebnisse und die verbesserte Arbeitsqualität der Mitarbeitenden. Beschränkt sich die Beurteilung jedoch auf Bewertungsbögen, Befragungen oder Beurteilungsgespräche, ist sie sehr subjektiv und sollte unbedingt durch objektivierbare Kriterien ergänzt werden. Positive Erlebnisse, die zum Beispiel einer rhetorisch brillanten Lehrperson oder intensiven Teamerlebnissen geschuldet sind, geben nicht notwendigerweise Aufschluss über die Erreichung der Lernziele oder den Transfer, wie auch der Organisations- und Wirtschaftspsychologe Lutz von Rosenstiel unterstreicht. Er weist auch darauf hin, dass Fragebögen oft sehr oberflächliche Fragen beinhalten, zum Beispiel wenn es darum geht anzukreuzen, welche Themen aus einer Liste die Lernenden besonders interessieren, statt zu prüfen, ob die gewählten Inhalte geeignet sind, um Defizite auszugleichen und den Anforderungen entsprechen. Werden beliebte Themen ausgesucht oder angesagte Trainer oder Trainerinnen engagiert, macht es die Sache noch schwieriger. Als weiteren Grund für die mangelnde Erfolgskontrolle nennt Prof. Dr. Gesmann, dass die Überprüfung des Lernerfolgs anhand einer Prüfung normalerweise nicht die gängigste Art ist, ein Seminar abzuschließen, da niemand sich gerne bewerten lässt.

Die Evaluation hängt auch von der Art der Fortbildung ab. Während es bei manchen Weiterbildungsmaßnahmen leichtfällt, den ökonomischen Erfolg abzuleiten, gestaltet sich der Prozess bei anderen Maßnahmen viel schwieriger. Als Beispiel führt der Experte für Erfolgskontrolle Bruno Schmalen die Service-Mitarbeitenden eines Unternehmens an, die sich nicht mit der Wartung eines neuen Geräts auskennen, so dass sie die Kunden und Kundinnen immer wieder vor Ort aufsuchen müssen, bis das Gerät einwandfrei funktioniert. Während hier nach der Weiterbildungsmaßnahme die Reklamationsquote sinkt und sich der Trainingserfolg in Zahlen übersetzen lässt, bedarf es in anderen Fällen eines viel höheren Aufwands: zum Beispiel, wenn es darum geht festzulegen, inwieweit die verbesserte Zusammenarbeit im Team Einfluss auf die Umsatzzahlen des Unternehmens ausübt.

Wie kann die  Erfolgsmessung von Weiterbildungen und Trainings sinnvoll erfolgen?

Angesichts der Einschränkungen, die sich bei der Messung des Lern- und Transfererfolgs sowie des Unternehmenserfolgs ergeben, empfiehlt Prof. Dr. Gesmann bei der Bewertung von Bildungsprozessen nicht so sehr das Ergebnis in den Vordergrund zu stellen, sondern vielmehr den Kontext und die Rahmenbedingungen, die Lernen ermöglichen, zu untersuchen. Dies geschieht im Hinblick auf die Gruppengröße, die Anforderungen an den Trainer und Trainerinnen, das didaktische Konzept, die Lernräume, den zeitlichen Rahmen und die Vorerfahrungen der Teilnehmenden unter anderem.

Kirkpatricks Modell diente als Ausgangbasis für viele nachfolgende Überlegungen. In der folgenden Darstellung sind zwei weitere Ebenen aufgeführt: der Vorbereitungserfolg und der Prozesserfolg. Dies zeigt, wie wichtig für die Erfolgskontrolle nicht nur die Evaluation der Ergebnisse, sondern auch die Vorbereitungsphase sowie der gesamte Prozess sind. Die Ergebnisse dieser Ebenen lassen sich mit verschiedenen Verfahren (pädagogisch und/oder ökonomisch), (Erfolgs-)Ergebnisdimensionen (Effektivität und/oder Effizienz) Methoden und Instrumenten ermitteln.

Im Folgenden können Sie sich sechs Karten zu den Verfahren anschauen. Wenden Sie die Karten, um die Rückseite zu sehen.

 

This H5P content cannot be shown right now.
Did you just move this element? Reload the page to attempt to fix the problem.

Verfahren der Erfolgskontrolle nach Ulbrich, 1999, Bilder: Eigene Darstellung

 

Wie die Transfer-Expertin Dorothea Kunze erklärt, ist eine wichtige Voraussetzung, um den Erfolg der Maßnahme besser auswerten zu können, dass die Weiterbildung nicht isoliert stattfindet, sondern in die Organisationsentwicklung eingebettet wird. Dabei soll, wie Arnold und Stürzl fordern, die Verantwortung nicht mehr alleine bei der Weiterbildungs- bzw. Personalentwicklungsabteilung liegen, sondern bei der Abteilung, den Teams und den Mitarbeitenden selbst. Diese definieren in Workshops gemeinsam ihre Ziele, suchen gemeinsam nach Strategien und übernehmen Verantwortung für die Überprüfung der Ziele.


Der Kostenfaktor

Das Bild zeigt einen Münzenstapel.

Lohnt sich eine Weiterbildungsmaßnahme als Investition für das Unternehmen? Und wie kann sie für mögliche Folgeaufträge optimiert werden? Dies sind Fragestellungen, die sowohl für das Unternehmen als auch für den Bildungsanbieter von Interesse sind. Genauso wie jedoch bei der Planung und Durchführung der Kostenfaktor eine wichtige Rolle spielt, hängt auch die Art der Evaluation davon ab, wie viel der Betrieb bereit ist, in ein geeignetes Design zu investieren. Die oben aufgeführten Methoden der empirischen Sozialforschung haben zum Ziel, die Wirkung der Maßnahme zu messen, wie Von Rosenstiel erklärt. In der Praxis werden sie jedoch aus Kostengründen  meistens nicht in die Tat gesetzt, zum Beispiel, wenn es darum geht, ein individuelles Problem mit anschließendem persönlichem Coaching zu bearbeiten. Wenn es darum geht zu beurteilen, welche Inhalte die einzelnen Mitarbeitenden aus welchen Gründen besonders gut umsetzen konnten, kann sich der Widerstand des Betriebs- oder Personalrats aber auch der betriebliche Datenschutz ebenfalls als hinderlich erweisen.

Checkliste für die Planung

Folgende Fragen können dem Bildungsanbieter als Orientierung bei der Planung der Erfolgskontrolle für eine Weiterbildungsmaßnahme dienen. Sie beziehen sich auf die Zielsetzung und die gewünschten Veränderungen sowie auf mögliche Transferbarrieren und Verbesserungsvorschläge:

  • Trägt das Ergebnis der Bildungsmaßnahme zum Erreichen der Zielsetzung des Unternehmens und der Teilnehmenden bei?
  • Sind die gewünschten Verhaltens-, Wissens- bzw. Einstellungsänderungen bei den Teilnehmenden tatsächlich eingetreten?
  • Welche organisatorischen Barrieren sind beim Transfer aufgetaucht und wie können sie beseitigt werden?
  • Wie kann die Planung des Lehr- bzw. Lernprozesses optimiert werden?
  • Wie können passende Maßnahmen zur eventuellen Verbesserung von Bildungsveranstaltungen erarbeitet werden?

(In Anlehnung an Ulbrich, 1999, S. 45)


Referenzen

Arnold, R. & Krämer-Stürzl, A. (1997). Erfolgskontrolle – Thema  professioneller betrieblicher Weiterbildung? In  R. Arnold (Hrsg.), Qualitätssicherung in der Erwachsenenbildung (S. 119-132). Opladen: Leske + Budrich, hier S. 146, zitiert in  Kunze, 2003, S. 30.

Fengler, J. (2018). Interview mit Prof. Dr. Stefan Gesmann, Fachhochschule Münster, Bildung messen – Neue Ansätze suchen. Zeitschrift Weiterbildung, (4),  6-8.

Kunze, D. (2003). Lerntransfer im Kontext einer personenzentriert-systemischen Erwachsenenbildung. Wie Wissen zum (nicht) veränderten Handeln führt. Köln: GwG-Verlag, hier S. 30

Mohr, B. (1999). Unternehmenserfolg und Bildungserfolg – Planung und Steuerung betrieblicher Weiterbildung. In W. Wittwer (Hrsg.), Transfersicherung in der beruflichen Weiterbildung. Empirische Befunde – Konzepte – Transferinstrumente (S. 113-122). Frankfurt am Main: Peter Lang, hier S. 113-114.

Schmalen, B. Erfolgskontrolle in der Weiterbildung nach Kirkpatrick. Verfügbar unter https://wb-web.de/material/diagnose/erfolgskontrolle-in-der-weiterbildung-nach-kirkpatrick.html  (zuletzt abgerufen am 02.01.2020)

Schmalen, B. Auftragsklärung und Erfolgskontrolle in Weiterbildung und Veränderungsprozessen, hier S. 1-6. Verfügbar unter  http://www.schmalen-online.de/Download/ErKon.pdf  (zuletzt abgerufen am 06.01.2020)

Ulbrich, M. (1999). Transferprozess-Management in der betrieblichen Weiterbildung: Erste Ergebnisse einer Untersuchung in Industrie und Dienstleistung. In W. Wittwer (Hrsg.), Transfersicherung in der beruflichen Weiterbildung. Empirische Befunde – Konzepte – Transferinstrumente (S. 39-83). Frankfurt am Main: Peter Lang, hier S. 45-46.

Von Rosenstiel, L. (2008). Qualitätssicherung in der betrieblichen Weiterbildung. Qualitätssicherung im Bildungswesen. Eine aktuelle Zwischenbilanz. Zeitschrift für Pädagogik, 53, 122-134, hier S. 122 und S. 124-126.

Achtung: H5P-Inhalte können hier nicht korrekt dargestellt werden. Stattdessen erscheint ein grauer Balken. Um die Aufgabe mit H5P-Elementen zu sehen, klicken Sie auf den folgenden Link.
Grenzen und Möglichkeiten der Messung des Transfererfolgs

This H5P content cannot be shown right now.
Did you just move this element? Reload the page to attempt to fix the problem.

Primäre KSF

Einsatz von Arbeits- und Sozialformen

Kompetenzsäule oder -niveau ist nicht ausgewählt. Bitte eine Auswahl treffen, um die Zuordnung zu dieser KSF abzuschließen.

Säule →

↓ Niveau
Wissen Wissen / Können Können
Hoch
Mittel
Niedrig

Eine blaue Markierung bedeutet, dass das ELO dieser Säule & Niveau-Kombination zugeordnet ist.

(Achtung: Änderungen der Kompetenz-Referenzen werden alle 1-2 Stunden aktualisiert und sind erst dann sichtbar!)

 

ID dieses ELOs: 91763dff-0250-49b5-b41b-a92b6e1aa145

Generierungsdatum Gültig? Generierungsfehler Validierungsfehler Link

Hinweis: Links auf das XML müssen mit Rechtsklick und "Link in neuem Tab öffnen" geöffnet werden.