Der Programmbaum ist ein durch Wolfgang Beywl und Univation entwickeltes logisches Programmmodell. Sein Einsatz strukturiert Evaluationen und Beratungen. Evaluierende nutzen ihn bei Gegenstandsbeschreibung und Kontextanalyse, Designentwicklung und Kommunikation. Programmverantwortliche prüfen und entwickeln mit ihm die Konzeptqualität ihrer Vorhaben. Sein Einsatz sichert einen hohen Prozessnutzen der Evaluation.
Grafik der Programmbaums kann hier heruntergeladen oder bei uns angefragt werden.
In der folgenden Tabelle finden Sie Erläuterungen und Beispiele zu den einzelnen Elementen des Modells. Die Beispiele in der jeweils folgenden Zeile stammen aus dem Bereich der Beschäftigungsförderung.
| Kontext | Systemumwelt des Programms auf lokaler bis internationaler Ebene; inkl. rechtlicher, politischer, sozialer, kultureller u. a. Aspekte, die sich langfristig und unabhängig vom Programm selbst ändern |
| Beispiele | Gesetze wie SGB II, Anteile von Arbeit suchenden Personen an der Bevölkerung einer Region, gesellschaftliches Klima gegenüber Arbeitslosigkeit |
| Incomes | Voraussetzungen, mit denen die Mitglieder der Zielgruppen in das Programm `hinein kommen´, insb. Wissen, Einstellungen, Verhaltensweisen, Bedürfnisse, Werte (evtl. durch Teilnehmendenauswahl beeinflussbar) |
| Beispiele | Lerneingangsbedingungen der Teilnehmenden von Qualifizierungsmaßnahmen (Vorwissen, Motivation etc.) |
| Inputs | Finanzielle, personale oder andere Ressourcen, die in ein Programm investiert werden, teils als monetäre Kosten erfassbar |
| Beispiele | Personal- und Sachaufwendungen, Anzahl und Qualifikation der im Programm Tätigen |
| Struktur | Mittelfristig stabile Aufbau- und Ablauforganisation der das Programm tragenden Organisation, des Verbundes/Netzwerks, Verbands (...) |
| Beispiele | Rechtsform, Verantwortlichkeiten, Kooperationsvielfalt, Qualitätsmanagementsystem, Leitbild der das Programm tragenden Organisation |
| Konzept | Gedanklicher Entwurf, welche Resultate bis wann/wo/bei wem ausgelöst werden sollen (vgl. Zielsystem), welche Aktivitäten/Interventionen zur Zielerreichung eingesetzt werden sollen (Interventionsplan) |
| Beispiele | Projekt-/Förderantrag für eine Qualifizierungsmaßnahme oder ein Profiling-Angebot, Curricula für Weiterbildungsangebote etc. |
| Ziele | Gesamtheit schriftlich dargelegter Ziele für ein Programm, ggf. in Form eines Zielsystems auf unterschiedlichen Konkretionsstufen [bspw. Leitziele (LZ), Mittlerziele (MZ), Detailziele (DZ)]. Ziele niedriger Konkretionsstufe sind logisch darauf geprüft, dass ihre Erreichung zur Verwirklichung der Ziele auf einer höheren Stufe beiträgt |
| Beispiele | Ein MZ einer EQUAL-EP: Eltern, die Kinder betreuen, werden durch serviceorientierte Beratungs- und Vermittlungsangebote darin unterstützt, Kinderbetreuung auf ihre individuellen Bedarfe zuzuschneiden. |
| Wirkannahmen | Explizite oder implizite Vermutungen zu programminternen Einflussbeziehungen, welche die Zielerreichung des Programms ermöglichen, begünstigen oder hemmen. Insbesondere Beziehungen zwischen Interventionen und erwünschten Resultaten. |
| Beispiele | Es wird angenommen, dass die Simulation eines Bewerbungsgesprächs in einem Rollenspiel dazu beiträgt, dass Arbeitssuchende sich in realen Bewerbungssituationen angemessen präsentieren können. |
| Aktivitäten | Handlungen der im Programm beruflich, ehrenamtlich oder als koproduzierende Zielgruppenmitglieder Tätigen, die bei Umsetzung des Programms ausgeführt werden (direkt auf Ziele gerichtete Interventionen, Hilfsaktivitäten sowie Zielgruppenaktivitäten) |
| Beispiele | Interventionen: Beratung...; Hilfsaktivitäten: Teamaufbau, Einarbeiten neuer Mitarbeitender...; Zielgruppenaktivitäten: Lernen, Bewerben... |
| Outputs | Durch die Interventionen erzeugte Resultate, wie (zählbare) Leistungen/Produkte, Teilnahme-/Nutzungsmengen, Zufriedenheit der Zielgruppenmitglieder mit den Interventionen |
| Beispiele | Anzahl Teilnehmerstunden, verteilte Informationsbroschüren, Hits auf der Webseite der Organisation, Anzahl Beratungsgespräche |
| Outcomes | Intendierte Resultate von Aktivitäten/Interventionen des Programms bei Mitgliedern der Zielgruppe bzw. Vorteile für diese (staffelbar in kurz-, mittel- und langfristige Outcomes) |
| Beispiele | Erweitertes Wissen, erhöhte Motivation zur Bewerbung, verstärkte Bewerbungstätigkeit, Integration in Arbeitsmarkt |
| Impacts | Resultierende Merkmale sozialer Systeme, insb. von Organisationen (Unternehmen, sozialen Dienstleistern, Schulen...), von Sozialräumen (Nachbarschaften, Kommunen, Regionen...) oder eines Netzwerks im Politikfeld (Weiterbildungssystem eines Bundeslandes...) |
| Beispiele | Verbesserte Zusammenarbeit der Arbeitsverwaltung mit Weiterbildungsanbietern, Ausbau eines bedarfsgerechten Angebots an Beratungsangeboten sowie Qualifizierungsmaßnahmen, bedarfsgerechter ÖPNV für Berufspendler |
| nicht-intendierte Resultate | Resultate, die im Konzept nicht als zu erzielend vorgesehen sind (nicht-intendiert), können auftreten bei Mitgliedern der Zielgruppe wie bei anderen Personen, im Kontext oder in der Struktur des Programms; sind bei Programmbeginn nicht voraussehbar und können erst nachträglich als positiv oder negativ bewertet werden |
| Beispiele | Wohn-Attraktivität eines Stadtteils, in dem intensiv Maßnahmen zur Beschäftigungsförderung betrieben werden, steigt an, dadurch Beeinflussung von Wohnungsmarkt/Mietspiegel |
Beispielhafte Anwendungen auf Praxisfelder
Die folgenden Dokumente geben Beispiele für die Füllung der Programmbaumelemente aus spezifischen Praxisfeldern, wobei hier eine ältere Fassung des Programmbaums zugrunde liegt:
Weitergehende Differenzierung von Resultaten – Die Resultatetreppe
Es besteht die Möglichkeit, Resultate über das oben Beschriebene hinaus weiter zu untergliedern. Es lassen sich jeweils Outputs und Outcomes I., II. und III. Ordnung unterschieden (vgl. Abbildung unten). Die Überlegung hinter der sogenannten Resultatetreppe ist, dass es oft eines Resultats auf einer niedrigeren Stufe bedarf, damit ein Resultat auf einer höheren Stufe eintreten kann. So ist bspw. die erweiterte Kenntnis von Recherchemöglichkeiten nach Ausbildungsplätzen (Outcome I) eine Voraussetzung dafür, dass Jugendliche eine verstärkte und gezielte Bewerbungstätigkeit entfalten können (Outcome II). Ein Denken und Planen in diesen Abfolgen kann die Konsistenz eines Programmentwurfs erhöhen und verschiedene Ansatzpunkte für Fragestellungen und Datenerhebungen in der Programmevaluation aufzeigen. Jedoch ist zu beachten, dass die Logik der Treppe nicht in allen Fällen zutrifft. Dass Impacts logisch bspw. direkt auf Outputs folgen können, ist in der aktuellen Programmbaum-Grafik durch die verschiedenen Linien in der Krone des Baumes verdeutlicht.
Quelle: Beywl, Wolfgang/Niestroj, Melanie (2009): Der Programmbaum - Landmarke wirkungsorientierter Evaluation. In: Beywl, Wolfgang/Niestroj, Melanie (Hrsg.): Das A-B-C der wirkungsorientierten Evaluation. Glossar - Deutsch Englisch - der wirkungsorientierten Evaluation. 2., vollständig überarbeitete Auflage. Aufl. Köln: Univation, S. 137-149. – Seite 145
Ausgewählte Praxisbeispiele
An dieser Stelle präsentieren wir Beispiele, wie der Programmbaum von Univation und anderen in der Evaluation genutzt wurde.
Peter Jablonka und Philipp Ulmer haben 2018 beim Forum der Arbeitsgemeinschaft Berufsbildungsforschungsnetz zum Thema „Evaluation und Wirkungsforschung in der Berufsbildung“ ihre „Evaluierung einer berufspädagogischen Weiterbildungsmaßnahme für das betriebliche Ausbildungspersonal in Portugal“ präsentiert. Bei dieser Evaluation haben sie den Programmbaum genutzt. Die Präsentation ist hier verfügbar.
Sabine Jungk und Andrea Nachtigall haben 2014 das Projekt „Lernen in und mit Vielfalt“ von „Die Wille gGmbH“ evaluiert und dabei den Programmbaum (in einer Vorgängerversion) genutzt. Dies wird auch in der Struktur des Berichts deutlich, der hier verfügbar ist.
Univation hat 2008 die „EQUAL-Entwicklungspartnerschaft“ „Vieles ist möglich – Tandem-Partner in der Wissenschaft“ evaluiert und dabei den Programmbaum (in einer Vorgängerversion) genutzt. Auch dieser Bericht ist hier öffentlich zugänglich.
Haben Sie den Programmbaum bereits genutzt? Wir freuen uns über Ihre Praxisbeispiele!
Literatur
In der folgenden Liste finden Sie weitere Praxisbeispiele zum Einsatz des Programmbaums im Rahmen von Evaluationen, wissenschaftlichen Publikationen und Fortbildungen.
Publikationen von Univation:
Bartsch, Samera/Beywl, Wolfgang/Niestroj, Melanie (2016): "Der Programmbaum als Evaluationsinstrument". In: Giel, Susanne/Klockgether, Katharina/Mäder, Susanne (Hrsg.): Evaluationspraxis. Professionalisierung - Ansätze - Methoden. 2. Auflage. Münster: Waxmann. S. 89-112. (mehr Informationen)
Farrokhzad, Schahrzad/Mäder, Susanne (2014): Nutzenorientierte Evaluation - ein Leitfaden für die Arbeitsfelder Integration, Vielfalt und Toleranz. Münster: Waxmann.
Beywl, Wolfgang/Niestroj, Melanie (2009): "Der Programmbaum. Landmarke wirkungsorientierter Evaluation". In: Beywl, Wolfgang/Niestroj, Melanie (Hrsg.): Das A-B-C der wirkungsorientierten Evaluation. Glossar Deutsch / Englisch der wirkungsorientierten Evaluation. 2., vollständig bearbeitete und ergänzte Auflage. Köln. (Download des Artikels)
Niestroj, Melanie (2009): Der Programmbaum in der Evaluationspraxis. Vortrag auf der Fachtagung „Visuelle Modelle und Programmtheorie“ des Deutschen Jugendinstituts in Fulda, 03./04.12.2009. (mehr Informationen und Download)
Publikationen Anderer:
2022
Ottmann, Sebastian (2022): Wirkmodelle in der sozialen Arbeit. https://blog.soziale-wirkung.de/2022/02/03/wirkmodelle-soziale-arbeit/. [Letzter Zugriff: 27.08.2022]
2021
Fichter, Klaus/Widrat, Alexandra/Olteanu, Yasmin (2021). IMPACT Guide: Von der Evaluation zum Impact-Management von Gründungsförderprogrammen. Berlin: Borderstep Institut.
Gesemann, Frank/Riede, Milena (2021). Vorexpertise. „Potenziale der Gemeinwesenarbeit
für lokale Demokratie“. Berlin.
Meissner, Marita (2021): Wirkungsorientierung in der Präventionskette Gelsenkirchen Ein Leitfaden für die Praxis. [Letzter Zugriff: 27.08.2022]
Kleinlerchner, Kai-Michael/Marschall, Jörg (2021). Evaluation des Projekts „Gesundheitsförderung in Quartieren der Sozialen Stadt (Clearingstelle Gesundheit)“. Ergebnisbericht. Hrsg.: GKV-Spitzenverband. Berlin.
schmidt evaluation (2021): Kommunale Präventionsketten wirkungsvoll planen und steuern. FRÜHJAHRSAKADEMIE 2021. „Erfahrungen gemeinsam nutzen – Präventionsketten (weiter-)entwickeln“. [Letzter Zugriff: 27.08.2022]
Stockmann, Reinhard/Ertl, Hubert (2021): Evaluation und Wirkungsforschung in der beruflichen Bildung. Bonn: Barbara Budrich. https://www.agbfn.de/dokumente/pdf/AGBFN_Stockmann_Ertl_Evaluation_Wirkungsforschung_bf.pdf [Letzter Zugriff: 27.08.2022]
Waldherr, Karin (2021). Evaluation und Assessmentverfahren in der ernährungsbezogenen Prävention und Gesundheitsförderung. In: Tiemann, Michael, Mohokum, Melvin (eds) Prävention und Gesundheitsförderung. Springer Reference Pflege – Therapie – Gesundheit . Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-662-62426-5_127.
2020
Gretler Heusser, Simone/Näther, Caroline/Glatt, Anita (2020): Altersgerechtes Wettstein. Luzern.
JFF – Institut für Medienpädagogik in Forschung und Praxis (2020): INKLUSIV DIGITAL. Die Potenziale von Digitalisierung im pädagogisch-pflegerischen Arbeitsfeld. Abschlussbericht zum Projekt. München.
Möller, Kurt/Buschbom, Jan/Pfeiffer, Thomas (2020): Kapitel 4: Zur Evaluation von Praxisansätzen der
Extremismusprävention. In: Ben Slama, Brahim/Kemmesis, Uwe (Hrsg.) (2020): Handbuch Extremismusprävention. Gesamtgesellschaftlich. Phänomenübergreifend. Wiesbaden: Bundeskriminalamt.
Pfeil, Patricia/Müller, Marion (2020): Planung von Evaluationen: Auftrags- und Ressourcenklärung. In: Evaluation in der Sozialwirtschaft. Basiswissen Sozialwirtschaft und Sozialmanagement. Springer VS, Wiesbaden. https://doi.org/10.1007/978-3-658-26322-5_3
Farrokhzad, Schahrzad (2020): Veranstaltung „Interkulturelle Öffnung – Erfolge messen, Wirkung evaluieren“ des Ministerium für Kinder, Jugend, Familie, Gleichstellung, Flucht und Integration NRW
Spieler, Bernadette (2020): Nachlese: Fortbildungsreihe – Modul 6: “Präsentation der Praxisarbeiten”
Zewo (2020): "Programmbaum". https://zewo.ch/de/programmbaum/ [Letzter Zugriff: 27.08.2022]
2019
Jungermann, Anja (2019): "Schulentwicklung wirkungsorientiert planen". In: journal für schulentwicklung, Jg. 23, Nr. 1, S. 56-63
Ottmann,Sebastian/König, Joachim (2019): Am Anfang steht das Wirkmodell. Überlegungen und Ansätze zur Analyse von Wirkungen in der Sozialen Arbeit. In: Blätter der Wohlfahrtspflege (BdW) 166(2), S. 67 - 70
2018
Babitsch, B./Kusserow, K. M. (2018): KeGL - Teilvorhaben Universität Osnabrück: Konzept zur formativen und summativen Evaluation der Erprobung von Modulen. Osnabrück.
Kollewe, Thomas/Ochsendorf, Falk/Sennekamp, Monika (2018): Evaluation der Lehre. In: Medizindidaktik. Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-662-56305-2_7
Metje, Ute Marie (2018): Evaluation „APPLAUS – Auszeichnung der Programmplanung unabhängiger Spielstätten“. Bericht. Hamburg.
Ottmann, Sebastian/König, Joachim (2018): "Was wirkt wie?–Konzeptionelle Überlegungen zur Messung und Analyse von Wirkungen in der Sozialen Arbeit. Der Wirkungsradar des Instituts für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg." (Download des Artikels)
Walter, Kristina/Peinhaupt, Christa (2019): Themenschwerpunkt Gesundheitskompetenz im Steirischen Gesundheitsfonds – Methode und erste Analysen der Programmevaluation. [Letzter Zugriff: 27.08.2022]
Schwarz, Rolf/Gieß-Stüber, Petra (2018): "Evaluation sozialkulturell motivierter Fußballprojekte". In: Gramespacher, Elke/Schwarz, Rolf (Hrsg.): Bildungspotentiale des Fußballs. Springer VS, Wiesbaden, 2018. 193-212. (mehr Informationen)
Узунова, Елица/Бисеринска, София/Михайлов, Николай/Иванова, Ваня (2018): Стъпка по стъпка към успешни проекти. Оценка на иновация в 90 СУ „Ген. Хосе де Сан Мартин“ - София. Ръководство за училища и финансиращи организации.
2016
Hoffer, Daniel (2016): Projekt KOMET, Kompetenzmessung und Kompetenzentwicklung in
den Pflegeberufen der Schweiz. [Letzter Zugriff: 27.08.2022]
Giel, Susanne (2016): Programmtheorie in der Bildungsevaluation. In: Marburger, Helga/Griese, Christiane/Müller, Thomas (Hrsg.): Bildungs- und Bildungsorganisationsevaluation: Ein Lehrbuch. De Gruyter, S. 105-122. https://doi.org/10.1515/9783110413854-007
Schlögl, Peter/Mayerl, Martin (2016): Wirkungsmodellierung des Systems der betrieblichen Lehrstellenförderung. Teilbericht im Rahmen der ibw-öibf-Studie „Hintergrundanalyse zur Wirksamkeit der betrieblichen Lehrstellenförderung (gemäß 19c BAG)“. Wien: öibf.
2015
Lüter, Albrecht/Schroer-Hippel, Miriam (Hrsg.) (2015): Gewaltpräventive Arbeit mit gefährdeten und straffälligen jungen Menschen. Vier Projektevaluationen. Berlin.
2014
Bertelsmann Stiftung (2014): Wirkungsorientiertes Investieren: Neue Finanzierungsquellen zur Lösung
gesellschaftlicher Herausforderungen. Abschlussbericht des National Advisory Board Deutschland. https://www.bertelsmann-stiftung.de/de/publikationen/publikation/did/wirkungsorientiertes-investieren-neue-finanzierungsquellen-zur-loesung-gesellschaftlicher-herausfor/ [Letzter Zugriff: 27.08.2022]
Fabian, Carlo/Käser, Nadine/Klöti, Tanja/Bachmann, Nicole (2014): Leitfaden Good-Practice-Kriterien. Prävention von Jugendgewalt: Kriterien guter Praxis in Familie, Schule und Sozialraum.
Fabian, Carlo/Käser, Nadine (2014) : Prävention von Jugendgewalt: Kriterien guter Praxis in Familie,
Schule und Sozialraum. In: Kerner, Hans-Jürgen u. Marks, Erich (Hrsg.), Internetdokumentation des Deutschen Präventionstages. Hannover 2014.
Rädiker, Stefan (2013): Evaluation von Weiterbildungsprozessen: Status quo, Herausforderungen, Kompetenzanforderungen. Marburg: Tectum.
Wirth, Franziska (2014): Vorgehensweise bei einem Evaluationsauftrag. [Letzter Zugriff: 27.08.2022]
2012
schmidt evaluation (2012): Regionale Bildungslandschaften wirkungsorientiert gestalten.
Vortrag im Rahmen der Frühjahrstagung„Keiner wird zurück gelassen!? – Evaluation von Bildungslandschaften“ des AK Soziale Dienstleistungen der DeGEval – Gesellschaft für Evaluation
am 24.04.2012 in Trier.
Strobl, Rainer/Lobermeier, Olaf (2012): Evaluation von Programmen und Projekten für eine demokratische Kultur. In: W. Heitmeyer (Ed.). Springer Fachmedien Wiesbaden.
2008
Wirth, Franziska (2008): Wie komme ich zu sinnvollen, verwendbaren Evaluationsergebnissen? Tipps, Hinweise & Stolperfallen - ein Erfahrungsbericht. [Letzter Zugriff: 27.08.2022]