Der Programmbaum ist ein durch Wolfgang Beywl und Univation entwickeltes logisches Programmmodell. Sein Einsatz strukturiert Evaluationen und Beratungen. Evaluierende nutzen ihn bei Gegenstandsbeschreibung und Kontextanalyse, Designentwicklung und Kommunikation. Programmverantwortliche prüfen und entwickeln mit ihm die Konzeptqualität ihrer Vorhaben. Sein Einsatz sichert einen hohen Prozessnutzen der Evaluation.
Die Graphik des Programmbaums können Sie hier herunterladen.
In der folgenden Tabelle finden Sie Erläuterungen und Beispiele zu den einzelnen Elementen des Modells. Die Beispiele in der jeweils folgenden Zeile stammen aus dem Bereich der Beschäftigungsförderung.
Kontext | Systemumwelt des Programms auf lokaler bis internationaler Ebene; inkl. rechtlicher, politischer, sozialer, kultureller u. a. Aspekte, die sich langfristig und unabhängig vom Programm selbst ändern |
Beispiele |
Gesetze wie SGB II, Anteile von Arbeit suchenden Personen an der Bevölkerung einer Region, gesellschaftliches Klima gegenüber Arbeitslosigkeit |
Incomes | Voraussetzungen, mit denen die Mitglieder der Zielgruppen in das Programm `hinein kommen´, insb. Wissen, Einstellungen, Verhaltensweisen, Bedürfnisse, Werte (evtl. durch Teilnehmendenauswahl beeinflussbar) |
Beispiele | Lerneingangsbedingungen der Teilnehmenden von Qualifizierungsmaßnahmen (Vorwissen, Motivation etc.) |
Inputs | Finanzielle, personale oder andere Ressourcen, die in ein Programm investiert werden, teils als monetäre Kosten erfassbar |
Beispiele |
Personal- und Sachaufwendungen, Anzahl und Qualifikation der im Programm Tätigen |
Struktur | Mittelfristig stabile Aufbau- und Ablauforganisation der das Programm tragenden Organisation, des Verbundes/Netzwerks, Verbands (...) |
Beispiele |
Rechtsform, Verantwortlichkeiten, Kooperationsvielfalt, Qualitätsmanagementsystem, Leitbild der das Programm tragenden Organisation |
Konzept | Gedanklicher Entwurf, welche Resultate bis wann/wo/bei wem ausgelöst werden sollen (vgl. Zielsystem), welche Aktivitäten/Interventionen zur Zielerreichung eingesetzt werden sollen (Interventionsplan) |
Beispiele |
Projekt-/Förderantrag für eine Qualifizierungsmaßnahme oder ein Profiling-Angebot, Curricula für Weiterbildungsangebote etc. |
Ziele | Gesamtheit schriftlich dargelegter Ziele für ein Programm, ggf. in Form eines Zielsystems auf unterschiedlichen Konkretionsstufen [bspw. Leitziele (LZ), Mittlerziele (MZ), Detailziele (DZ)]. Ziele niedriger Konkretionsstufe sind logisch darauf geprüft, dass ihre Erreichung zur Verwirklichung der Ziele auf einer höheren Stufe beiträgt |
Beispiele | Ein MZ einer EQUAL-EP: Eltern, die Kinder betreuen, werden durch serviceorientierte Beratungs- und Vermittlungsangebote darin unterstützt, Kinderbetreuung auf ihre individuellen Bedarfe zuzuschneiden. |
Wirkannahmen | Explizite oder implizite Vermutungen zu programminternen Einflussbeziehungen, welche die Zielerreichung des Programms ermöglichen, begünstigen oder hemmen. Insbesondere Beziehungen zwischen Interventionen und erwünschten Resultaten. |
Beispiele | Es wird angenommen, dass die Simulation eines Bewerbungsgesprächs in einem Rollenspiel dazu beiträgt, dass Arbeitssuchende sich in realen Bewerbungssituationen angemessen präsentieren können. |
Aktivitäten | Handlungen der im Programm beruflich, ehrenamtlich oder als koproduzierende Zielgruppenmitglieder Tätigen, die bei Umsetzung des Programms ausgeführt werden (direkt auf Ziele gerichtete Interventionen, Hilfsaktivitäten sowie Zielgruppenaktivitäten) |
Beispiele | Interventionen: Beratung...; Hilfsaktivitäten: Teamaufbau, Einarbeiten neuer Mitarbeitender...; Zielgruppenaktivitäten: Lernen, Bewerben... |
Outputs | Durch die Interventionen erzeugte Resultate, wie (zählbare) Leistungen/Produkte, Teilnahme-/Nutzungsmengen, Zufriedenheit der Zielgruppenmitglieder mit den Interventionen |
Beispiele | Anzahl Teilnehmerstunden, verteilte Informationsbroschüren, Hits auf der Webseite der Organisation, Anzahl Beratungsgespräche |
Outcomes | Intendierte Resultate von Aktivitäten/Interventionen des Programms bei Mitgliedern der Zielgruppe bzw. Vorteile für diese (staffelbar in kurz-, mittel- und langfristige Outcomes) |
Beispiele | Erweitertes Wissen, erhöhte Motivation zur Bewerbung, verstärkte Bewerbungstätigkeit, Integration in Arbeitsmarkt |
Impacts | Resultierende Merkmale sozialer Systeme, insb. von Organisationen (Unternehmen, sozialen Dienstleistern, Schulen...), von Sozialräumen (Nachbarschaften, Kommunen, Regionen...) oder eines Netzwerks im Politikfeld (Weiterbildungssystem eines Bundeslandes...) |
Beispiele | Verbesserte Zusammenarbeit der Arbeitsverwaltung mit Weiterbildungsanbietern, Ausbau eines bedarfsgerechten Angebots an Beratungsangeboten sowie Qualifizierungsmaßnahmen, bedarfsgerechter ÖPNV für Berufspendler |
nicht-intendierte Resultate | Resultate, die im Konzept nicht als zu erzielend vorgesehen sind (nicht-intendiert), können auftreten bei Mitgliedern der Zielgruppe wie bei anderen Personen, im Kontext oder in der Struktur des Programms; sind bei Programmbeginn nicht voraussehbar und können erst nachträglich als positiv oder negativ bewertet werden |
Beispiele | Wohn-Attraktivität eines Stadtteils, in dem intensiv Maßnahmen zur Beschäftigungsförderung betrieben werden, steigt an, dadurch Beeinflussung von Wohnungsmarkt/Mietspiegel |
Die folgenden Dokumente geben Beispiele für die Füllung der Programmbaumelemente aus weiteren Praxisfeldern, wobei hier eine ältere Fassung des Programmbaums zugrunde gelegt ist:
Es besteht die Möglichkeit, Resultate über das oben Beschriebene hinaus weiter zu untergliedern. Es lassen sich jeweils Outputs und Outcomes I., II. und III. Ordnung unterschieden (vgl. Abbildung unten). Die Überlegung hinter der sogenannten Resultatetreppe ist, dass es oft eines Resultats auf einer niedrigeren Stufe bedarf, damit ein Resultat auf einer höheren Stufe eintreten kann. So ist bspw. die erweiterte Kenntnis von Recherchemöglichkeiten nach Ausbildungsplätzen (Outcome I) eine Voraussetzung dafür, dass Jugendliche eine verstärkte und gezielte Bewerbungstätigkeit entfalten können (Outcome II). Ein Denken und Planen in diesen Abfolgen kann die Konsistenz eines Programmentwurfs erhöhen und verschiedene Ansatzpunkte für Fragestellungen und Datenerhebungen in der Programmevaluation aufzeigen. Jedoch ist zu beachten, dass die Logik der Treppe nicht in allen Fällen zutrifft. Dass Impacts logisch bspw. direkt auf Outputs folgen können, ist in der aktuellen Programmbaum-Grafik durch die verschiedenen Linien in der Krone des Baumes verdeutlicht.
An dieser Stelle präsentieren wir Beispiele, wie der Programmbaum von Univation und anderen in der Evaluation genutzt wurde.
Peter Jablonka und Philipp Ulmer haben 2018 beim Forum der Arbeitsgemeinschaft Berufsbildungsforschungsnetz zum Thema „Evaluation und Wirkungsforschung in der Berufsbildung“ ihre „Evaluierung einer berufspädagogischen Weiterbildungsmaßnahme für das betriebliche Ausbildungspersonal in Portugal“ präsentiert. Bei dieser Evaluation haben sie den Programmbaum genutzt. Die Präsentation ist hier verfügbar.
Sabine Jungk und Andrea Nachtigall haben 2014 das Projekt „Lernen in und mit Vielfalt“ von „Die Wille gGmbH“ evaluiert und dabei den Programmbaum (in einer Vorgängerversion) genutzt. Dies wird auch in der Struktur des Berichts deutlich, der hier verfügbar ist.
Univation hat 2008 die „EQUAL-Entwicklungspartnerschaft“ „Vieles ist möglich – Tandem-Partner in der Wissenschaft“ evaluiert und dabei den Programmbaum (in einer Vorgängerversion) genutzt. Auch dieser Bericht ist hier öffentlich zugänglich.
Haben Sie den Programmbaum bereits genutzt? Wir freuen uns über Ihre Praxisbeispiele!
In den folgenden Publikationen finden Sie weitere Informationen zum Programmbaum und zu seinem Einsatz.
Publikationen von Univation:
Bartsch, Samera/Beywl, Wolfgang/Niestroj, Melanie (2016): "Der Programmbaum als Evaluationsinstrument". In: Giel, Susanne/Klockgether, Katharina/Mäder, Susanne (Hrsg.): Evaluationspraxis. Professionalisierung - Ansätze - Methoden. 2. Auflage. Münster: Waxmann. S. 89-112. (mehr Informationen)
Beywl, Wolfgang/Niestroj, Melanie (2009): "Der Programmbaum. Landmarke wirkungsorientierter Evaluation". In: Beywl, Wolfgang/Niestroj, Melanie (Hrsg.): Das A-B-C der wirkungsorientierten Evaluation. Glossar Deutsch / Englisch der wirkungsorientierten Evaluation. 2., vollständig bearbeitete und ergänzte Auflage. Köln. (Download des Artikels)
Publikationen Anderer:
Ottmann, Sebastian/König, Joachim (2018): "Was wirkt wie?–Konzeptionelle Überlegungen zur Messung und Analyse von Wirkungen in der Sozialen Arbeit. Der Wirkungsradar des Instituts für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg." (Download des Artikels)
Schwarz, Rolf/Gieß-Stüber, Petra (2018): "Evaluation sozialkulturell motivierter Fußballprojekte". In: Gramespacher, Elke/Schwarz, Rolf (Hrsg.): Bildungspotentiale des Fußballs. Springer VS, Wiesbaden, 2018. 193-212. (mehr Informationen)