Banner Programmbaum

Send by emailPDF version

Evaluation? – Aber logisch! Der Programmbaum nach Univation

Der Programmbaum und seine Elemente

Der Programmbaum ist ein durch Wolfgang Beywl und Univation entwickeltes logisches Programmmodell. Sein Einsatz strukturiert Evaluationen und Beratungen. Evaluierende nutzen ihn bei Gegenstandsbeschreibung und Kontextanalyse, Designentwicklung und Kommunikation. Programmverantwortliche prüfen und entwickeln mit ihm die Konzeptqualität ihrer Vorhaben. Sein Einsatz sichert einen hohen Prozessnutzen der Evaluation.
Die Graphik des Programmbaums können Sie hier herunterladen.

In der folgenden Tabelle finden Sie Erläuterungen und Beispiele zu den einzelnen Elementen des Modells. Die Beispiele in der jeweils folgenden Zeile stammen aus dem Bereich der Beschäftigungsförderung.

Kontext Systemumwelt des Programms auf lokaler bis internationaler Ebene; inkl. rechtlicher, politischer, sozialer, kultureller u. a. Aspekte, die sich langfristig und unabhängig vom Programm selbst ändern

Beispiele

 Gesetze wie SGB II, Anteile von Arbeit suchenden Personen an der Bevölkerung einer Region, gesellschaftliches Klima gegenüber Arbeitslosigkeit
Incomes Voraussetzungen, mit denen die Mitglieder der Zielgruppen in das Programm `hinein kommen´, insb. Wissen, Einstellungen, Verhaltensweisen, Bedürfnisse, Werte (evtl. durch Teilnehmendenauswahl beeinflussbar)
Beispiele Lerneingangsbedingungen der Teilnehmenden von Qualifizierungsmaßnahmen (Vorwissen, Motivation etc.) 
Inputs Finanzielle, personale oder andere Ressourcen, die in ein Programm investiert werden, teils als monetäre Kosten erfassbar

Beispiele 

 Personal- und Sachaufwendungen, Anzahl und Qualifikation der im Programm Tätigen
Struktur Mittelfristig stabile Aufbau- und Ablauforganisation der das Programm tragenden Organisation, des Verbundes/Netzwerks, Verbands (...) 

Beispiele

 Rechtsform, Verantwortlichkeiten, Kooperationsvielfalt, Qualitätsmanagementsystem, Leitbild der das Programm tragenden Organisation 
Konzept Gedanklicher Entwurf, welche Resultate bis wann/wo/bei wem ausgelöst werden sollen (vgl. Zielsystem), welche Aktivitäten/Interventionen zur Zielerreichung eingesetzt werden sollen (Interventionsplan)

Beispiele

 Projekt-/Förderantrag für eine Qualifizierungsmaßnahme oder ein Profiling-Angebot, Curricula für Weiterbildungsangebote etc.
Ziele Gesamtheit schriftlich dargelegter Ziele für ein Programm, ggf. in Form eines Zielsystems auf unterschiedlichen Konkretionsstufen [bspw. Leitziele (LZ), Mittlerziele (MZ), Detailziele (DZ)]. Ziele niedriger Konkretionsstufe sind logisch darauf geprüft, dass ihre Erreichung zur Verwirklichung der Ziele auf einer höheren Stufe beiträgt
Beispiele Ein MZ einer EQUAL-EP: Eltern, die Kinder betreuen, werden durch serviceorientierte Beratungs- und Vermittlungsangebote darin unterstützt, Kinderbetreuung auf ihre individuellen Bedarfe zuzuschneiden.
Wirkannahmen Explizite oder implizite Vermutungen zu programminternen Einflussbeziehungen, welche die Zielerreichung des Programms ermöglichen, begünstigen oder hemmen. Insbesondere Beziehungen zwischen Interventionen und erwünschten Resultaten.
Beispiele Es wird angenommen, dass die Simulation eines Bewerbungsgesprächs in einem Rollenspiel dazu beiträgt, dass Arbeitssuchende sich in realen Bewerbungssituationen angemessen präsentieren können. 
Aktivitäten Handlungen der im Programm beruflich, ehrenamtlich oder als koproduzierende Zielgruppenmitglieder Tätigen, die bei Umsetzung des Programms ausgeführt werden (direkt auf Ziele gerichtete Interventionen, Hilfsaktivitäten sowie Zielgruppenaktivitäten)
Beispiele Interventionen: Beratung...; Hilfsaktivitäten: Teamaufbau, Einarbeiten neuer Mitarbeitender...; Zielgruppenaktivitäten: Lernen, Bewerben...
Outputs Durch die Interventionen erzeugte Resultate, wie (zählbare) Leistungen/Produkte, Teilnahme-/Nutzungsmengen, Zufriedenheit der Zielgruppenmitglieder mit den Interventionen
Beispiele Anzahl Teilnehmerstunden, verteilte Informationsbroschüren, Hits auf der Webseite der Organisation, Anzahl Beratungsgespräche
Outcomes Intendierte Resultate von Aktivitäten/Interventionen des Programms bei Mitgliedern der Zielgruppe bzw. Vorteile für diese (staffelbar in kurz-, mittel- und langfristige Outcomes)
Beispiele Erweitertes Wissen, erhöhte Motivation zur Bewerbung, verstärkte Bewerbungstätigkeit, Integration in Arbeitsmarkt
Impacts Resultierende Merkmale sozialer Systeme, insb. von Organisationen (Unternehmen, sozialen Dienstleistern, Schulen...), von Sozialräumen (Nachbarschaften, Kommunen, Regionen...) oder eines Netzwerks im Politikfeld (Weiterbildungssystem eines Bundeslandes...)
Beispiele Verbesserte Zusammenarbeit der Arbeitsverwaltung mit Weiterbildungsanbietern, Ausbau eines bedarfsgerechten Angebots an Beratungsangeboten sowie Qualifizierungsmaßnahmen, bedarfsgerechter ÖPNV für Berufspendler
nicht-intendierte Resultate Resultate, die im Konzept nicht als zu erzielend vorgesehen sind (nicht-intendiert), können auftreten bei Mitgliedern der Zielgruppe wie bei anderen Personen, im Kontext oder in der Struktur des Programms; sind bei Programmbeginn nicht voraussehbar und können erst nachträglich als positiv oder negativ bewertet werden
Beispiele Wohn-Attraktivität eines Stadtteils, in dem intensiv Maßnahmen zur Beschäftigungsförderung betrieben werden, steigt an, dadurch Beeinflussung von Wohnungsmarkt/Mietspiegel


Weitere Beispiele

Die folgenden Dokumente geben Beispiele für die Füllung der Programmbaumelemente aus weiteren Praxisfeldern, wobei hier eine ältere Fassung des Programmbaums zugrunde gelegt ist:

 

Weitergehende Differenzierung von Resultaten – Die Resultatetreppe

Es besteht die Möglichkeit, Resultate über das oben Beschriebene hinaus weiter zu untergliedern. Es lassen sich jeweils Outputs und Outcomes I., II. und III. Ordnung unterschieden (vgl. Abbildung unten). Die Überlegung hinter der sogenannten Resultatetreppe ist, dass es oft eines Resultats auf einer niedrigeren Stufe bedarf, damit ein Resultat auf einer höheren Stufe eintreten kann. So ist bspw. die erweiterte Kenntnis von Recherchemöglichkeiten nach Ausbildungsplätzen (Outcome I) eine Voraussetzung dafür, dass Jugendliche eine verstärkte und gezielte Bewerbungstätigkeit entfalten können (Outcome II). Ein Denken und Planen in diesen Abfolgen kann die Konsistenz eines Programmentwurfs erhöhen und verschiedene Ansatzpunkte für Fragestellungen und Datenerhebungen in der Programmevaluation aufzeigen. Jedoch ist zu beachten, dass die Logik der Treppe nicht in allen Fällen zutrifft. Dass Impacts logisch bspw. direkt auf Outputs folgen können, ist in der aktuellen Programmbaum-Grafik durch die verschiedenen Linien in der Krone des Baumes verdeutlicht.

Die Resultatetreppe von Univation

 

Praxisbeispiele

An dieser Stelle präsentieren wir Beispiele, wie der Programmbaum von Univation und anderen in der Evaluation genutzt wurde.

Peter Jablonka und Philipp Ulmer haben 2018 beim Forum der Arbeitsgemeinschaft Berufsbildungsforschungsnetz zum Thema „Evaluation und Wirkungsforschung in der Berufsbildung“ ihre „Evaluierung einer berufspädagogischen Weiterbildungsmaßnahme für das betriebliche Ausbildungspersonal in Portugal“ präsentiert. Bei dieser Evaluation haben sie den Programmbaum genutzt. Die Präsentation ist hier verfügbar.

Sabine Jungk und Andrea Nachtigall haben 2014 das Projekt „Lernen in und mit Vielfalt“ von „Die Wille gGmbH“ evaluiert und dabei den Programmbaum (in einer Vorgängerversion) genutzt. Dies wird auch in der Struktur des Berichts deutlich, der hier verfügbar ist.

Univation hat 2008 die „EQUAL-Entwicklungspartnerschaft“ „Vieles ist möglich – Tandem-Partner in der Wissenschaft“ evaluiert und dabei den Programmbaum (in einer Vorgängerversion) genutzt. Auch dieser Bericht ist hier öffentlich zugänglich.

Haben Sie den Programmbaum bereits genutzt? Wir freuen uns über Ihre Praxisbeispiele!

 

Literatur

In den folgenden Publikationen finden Sie weitere Informationen zum Programmbaum und zu seinem Einsatz.

Publikationen von Univation:

Bartsch, Samera/Beywl, Wolfgang/Niestroj, Melanie (2016): "Der Programmbaum als Evaluationsinstrument". In: Giel, Susanne/Klockgether, Katharina/Mäder, Susanne (Hrsg.): Evaluationspraxis. Professionalisierung - Ansätze - Methoden. 2. Auflage. Münster: Waxmann. S. 89-112. (mehr Informationen)

Beywl, Wolfgang/Niestroj, Melanie (2009): "Der Programmbaum. Landmarke wirkungsorientierter Evaluation". In: Beywl, Wolfgang/Niestroj, Melanie (Hrsg.): Das A-B-C der wirkungsorientierten Evaluation. Glossar Deutsch / Englisch der wirkungsorientierten Evaluation. 2., vollständig bearbeitete und ergänzte Auflage. Köln. (Download des Artikels)

Publikationen Anderer:

Ottmann, Sebastian/König, Joachim (2018): "Was wirkt wie?–Konzeptionelle Überlegungen zur Messung und Analyse von Wirkungen in der Sozialen Arbeit. Der Wirkungsradar des Instituts für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg." (Download des Artikels)

Schwarz, Rolf/Gieß-Stüber, Petra (2018): "Evaluation sozialkulturell motivierter Fußballprojekte". In: Gramespacher, Elke/Schwarz, Rolf (Hrsg.): Bildungspotentiale des Fußballs. Springer VS, Wiesbaden, 2018. 193-212. (mehr Informationen)