"Man erfährt dann, dass das Tagungshaus gut, das Essen lauwarm und der Referent durchschnittlich war. Ob die Teilnehmenden etwas gelernt haben und inwiefern das Erlernte auch im organisationalen Alltag zum Tragen kommt, bleibt in der Regel aber diffus“, kritisiert Stefan Gesmann, Professor für Erwachsenenbildung und Weiterbildung in der Sozialen Arbeit. Zufriedenheit kann ein erster wichtiger Hinweis für den Lernerfolg sein, dieser reicht jedoch nicht aus.
Der Transfer- oder Anwendungserfolg setzt den Fokus zusätzlich auf den Mehrwert des Seminars für das Unternehmen sowie auf Arbeitsergebnisse und die verbesserte Arbeitsqualität der Mitarbeitenden. Beschränkt sich die Beurteilung jedoch auf Bewertungsbögen, Befragungen oder Beurteilungsgespräche, ist sie sehr subjektiv und sollte unbedingt durch objektivierbare Kriterien ergänzt werden. Positive Erlebnisse, die zum Beispiel einer rhetorisch brillanten Lehrperson oder intensiven Teamerlebnissen geschuldet sind, geben nicht notwendigerweise Aufschluss über die Erreichung der Lernziele oder den Transfer, wie auch der Organisations- und Wirtschaftspsychologe Lutz von Rosenstiel unterstreicht. Er weist auch darauf hin, dass Fragebögen oft sehr oberflächliche Fragen beinhalten, zum Beispiel wenn es darum geht anzukreuzen, welche Themen aus einer Liste die Lernenden besonders interessieren, statt zu prüfen, ob die gewählten Inhalte geeignet sind, um Defizite auszugleichen und den Anforderungen entsprechen. Werden beliebte Themen ausgesucht oder angesagte Trainer oder Trainerinnen engagiert, macht es die Sache noch schwieriger. Als weiteren Grund für die mangelnde Erfolgskontrolle nennt Prof. Dr. Gesmann, dass die Überprüfung des Lernerfolgs anhand einer Prüfung normalerweise nicht die gängigste Art ist, ein Seminar abzuschließen, da niemand sich gerne bewerten lässt.
Die Evaluation hängt auch von der Art der Fortbildung ab. Während es bei manchen Weiterbildungsmaßnahmen leichtfällt, den ökonomischen Erfolg abzuleiten, gestaltet sich der Prozess bei anderen Maßnahmen viel schwieriger. Als Beispiel führt der Experte für Erfolgskontrolle Bruno Schmalen die Service-Mitarbeitenden eines Unternehmens an, die sich nicht mit der Wartung eines neuen Geräts auskennen, so dass sie die Kunden und Kundinnen immer wieder vor Ort aufsuchen müssen, bis das Gerät einwandfrei funktioniert. Während hier nach der Weiterbildungsmaßnahme die Reklamationsquote sinkt und sich der Trainingserfolg in Zahlen übersetzen lässt, bedarf es in anderen Fällen eines viel höheren Aufwands: zum Beispiel, wenn es darum geht festzulegen, inwieweit die verbesserte Zusammenarbeit im Team Einfluss auf die Umsatzzahlen des Unternehmens ausübt.
Wie kann die Erfolgsmessung von Weiterbildungen und Trainings sinnvoll erfolgen?
Angesichts der Einschränkungen, die sich bei der Messung des Lern- und Transfererfolgs sowie des Unternehmenserfolgs ergeben, empfiehlt Prof. Dr. Gesmann bei der Bewertung von Bildungsprozessen nicht so sehr das Ergebnis in den Vordergrund zu stellen, sondern vielmehr den Kontext und die Rahmenbedingungen, die Lernen ermöglichen, zu untersuchen. Dies geschieht im Hinblick auf die Gruppengröße, die Anforderungen an den Trainer und Trainerinnen, das didaktische Konzept, die Lernräume, den zeitlichen Rahmen und die Vorerfahrungen der Teilnehmenden unter anderem.
Kirkpatricks Modell diente als Ausgangbasis für viele nachfolgende Überlegungen. In der folgenden Darstellung sind zwei weitere Ebenen aufgeführt: der Vorbereitungserfolg und der Prozesserfolg. Dies zeigt, wie wichtig für die Erfolgskontrolle nicht nur die Evaluation der Ergebnisse, sondern auch die Vorbereitungsphase sowie der gesamte Prozess sind. Die Ergebnisse dieser Ebenen lassen sich mit verschiedenen Verfahren (pädagogisch und/oder ökonomisch), (Erfolgs-)Ergebnisdimensionen (Effektivität und/oder Effizienz) Methoden und Instrumenten ermitteln.
Im Folgenden können Sie sich sechs Karten zu den Verfahren anschauen. Wenden Sie die Karten, um die Rückseite zu sehen.
