Evaluierung und Wirkungsanalysen

Die Evaluation dieses Fachprogramms des Bundesministeriums für Wirtschaft und Energie (BMWi) deckt die Programmperiode 2011-2018 ab. Die Programmumsetzung ist maßgeblich eingebettet in die Raumfahrtstrategie der Bundesregierung und dem Engagement Deutschlands bei der Europäischen Weltraumorganisation ESA.

Die Untersuchung fokussiert auf die Zielerreichung und die Wirkungen des Programms, sowie die Wirtschaftlichkeit der Programmumsetzung durch das Raumfahrtmanagement (RFM) der Deutschen Agentur für Luft- und Raumfahrt (DLR). Schwerpunkte der Analyse sind Fragen zur internen Organisation und zum Governance der Programmumsetzung, sowie die Umsetzung von Großmissionen. Abgesehen von der tatsächlichen Programm-Performance wird auch ein Konzept für eine erhöhte zukünftige Evaluierbarkeit des Programms erarbeitet.

Ansprechperson: Mag. Peter Kaufmann

Kooperationspartner: Dr. Christiane Kerlen Evaluation und Beratung, Institut für Innovation und Technik (iit) in der VDI/VDE Innovation + Technik GmbH

Die Bundesrepublik Deutschland möchte mit einer steuerlichen Forschungsförderung zur Erhöhung des Anteils der FuE-Ausgaben am Bruttoinlandsprodukt auf 3,5 % bis zum Jahr 2025 beitragen, sowie die vorhandene Projektförderung ergänzen.
In diesem Projekt untersuchen die KMU Forschung Austria, das Institut für Höhere Studien (IHS) sowie das Ifo Institut München die möglichen Datengrundlagen und methodischen Herausforderungen für eine zukünftige Evaluation der Maßnahme. Die Ergebnisse münden in einen abgestimmten Evaluationsplan, der eine tiefgehende Analyse der Wirkungen ermöglicht.

Mit dieser Evaluierung im Auftrag des Bundesministeriums für Klimaschutz, Umwelt, Energie, Mobilität, Innovation und Technologie (BMK, vormals BMVIT) wurde das österreichische Weltraumengagement im Zeitraum 2012 bis 2018 untersucht und entsprechende Empfehlungen für die Weiterentwicklung abgeleitet. Dies umfasst nicht nur die Ausrichtung der Weltraumstrategie, das relevante Engagement bei der ESA und auf Ebene der Europäischen Union, sondern auch das Austrian Space Applications Programme (ASAP), das nationale Weltraumprogramm Österreichs.
Die Evaluierung wurde von der KMU Forschung Austria koordiniert und in enger Zusammenarbeit mit dem Institut für Innovation und Technik (iit) in der VDI/VDE Innovation + Technik GmbH und der inspire research GmbH umgesetzt.

In diesem Projekt unterstützt die KMU Forschung Austria die Innosuisse bei der Ausarbeitung eines Konzepts für die Wirkungsanalyse der Agentur. Hierbei werden Wirkungsmodelle für die wichtigsten Förderinstrumente und die Agentur insgesamt ausgearbeitet. Diese stellen die Grundlage für die Entwicklung eines Indikatorensystems dar, das gegenüber dem Auftraggeber, der Politik und der Öffentlichkeit über die eigene Tätigkeit und daraus resultierenden Wirkungen in einer klaren Systematik Auskunft geben kann.
Die aus dem Konzept der Wirkungsanalyse hervorgehenden Ergebnisse werden für strategische Optimierungen und Lerneffekte genutzt.

Die Evaluation des Zentralen Innovationsprogramms Mittelstand (ZIM) mit seinen drei Programmsäulen F&E Einzelprojekte, F&E Kooperationsprojekte und Innovationsnetzwerke betrifft eines der wichtigsten Instrumente der Innovationspolitik in der Bundesrepublik Deutschland. Zeitlich fokussierte die Evaluierung primär auf die Programmperiode 2015 bis Mitte 2018.

Der Bedeutung des Programms entsprechend wurde ein umfassendes Evaluationsdesign umgesetzt, das auf dem Ansatz der Theoriebasierten Evaluation, sowie unterschiedlichen empirischen Grundlagen und einem breiten Set an qualitativen und quantitativen Methoden basiert, die sich durch ihre kombinierte Umsetzung ergänzen und auch kontrollieren. Hierzu gehören unter anderem ein Kontrollgruppenansatz sowie einer Analyse von Spillover-Effekten sowie einen detaillierten, internationalen Programmvergleich.

Ziel der begleitenden Wirkungsanalyse und Evaluation der "CTI Entrepreneurship" Start-up Trainingsprogramme an Schweizer Hochschulen war die Beurteilung der Konzeption, Umsetzung und der kurz- bis mittelfristigen Wirkungen. Die Wirkungsanalyse, durchgeführt von der KMU Forschung Austria in Kooperation mit B, S, S Volkswirtschaftliche Beratung AG in Basel, basiert u.a. konzeptionell auf Theorien der sozialen Psychologie und deren empirische Implementierung vor dem Hintergrund heterogener Unterstützungsinfrastrukturen in den Schweizer Regionen.

Diese Studie im Auftrag der GD GROW untersucht die Machbarkeit und Eignung der Einbeziehung gesellschaftlicher Kriterien (in den Bereichen Umwelt, Innovation, Beschäftigung) in die Beschaffungstätigkeiten der EU-Raumfahrtprogramme Kopernikus, Galileo und EGNOS. Zu den wichtigsten Aufgaben der Studie gehören: i) Untersuchung der rechtlichen Machbarkeit der Einbeziehung gesellschaftlicher Kriterien in die Beschaffung von Infrastrukturen für das EU-Raumfahrtprogramm; ii) Abschätzung der Auswirkungen der Einbeziehung gesellschaftlicher Kriterien; iii) Schlussfolgerungen hinsichtlich der am besten geeigneten gesellschaftlichen Kriterien, die bei der künftigen Beschaffung berücksichtigt werden sollten.

Im Rahmen des Wirkungsmonitorings der FFG Förderungen werden vier Jahre nach Projektabschluss die Projektwirkungen bei geförderten Unternehmen und Forschungsinstituten erhoben. Der Fokus liegt insbesondere bei Wirkungen auf den Ebenen der F&E-Inputs, dem Verhalten der Unternehmen und Institute sowie auch Projektoutputs.

Die Ergebnisse dienen als eine Grundlage zur Reflexion innerhalb der FFG sowie dem politischen Diskurs insgesamt zur Weiterentwicklung des Portfolios der Agentur.

Die begleitende Evaluierung zum Programm „Investitionen in Wachstum und Beschäftigung Österreich 2014-20“ (Europäischer Fonds für regionale Entwicklung - EFRE) fokussiert auf die Wirkungen und die Zielerreichung des Programms um Lehren aus der Umsetzung des operationellen Programms zu ziehen und Effizienz und Effektivität der Programmumsetzung zu verbessern.

Dieses Projekt beinhaltet die wissenschaftliche Begleitforschung eines Forschungsvorhabens, das das wirtschaftliche und technische Potenzial der außenliegenden Bauteilaktivierung für die Sanierung von Bestandsgebäuden mit vorgefertigten Fassadenelementen aufzeigt bzw. die Randbedingungen dafür definiert und neue Methoden entwickelt. Die Projektbegleitung beinhaltet vor allem Analysen entlang der projektrelevanten Wertschöpfungskette, z.B.: Bedarfs- und Anforderungsanalysen, Wirkungs- und Potenzialanalysen etc.

Klima- und Energie Modellregionen (KEM) ist ein Programm des österreichischen Klima- und Energiefonds (KLIEN), das Regionen in der Entwicklung und Umsetzung von klimaschutzbezogenen Maßnahmen unterstützt. Die Evaluierung des Programms widmet sich dem Design, der Umsetzung sowie den Ergebnissen und Wirkungen des Programms und formuliert Empfehlungen für die weitere Laufzeit.

Ziel der Zwischenevaluierung von „Mobilität der Zukunft“ (MdZ) ist die Überprüfung der Qualität des missionsorientierten FTI-Programms. Der Schwerpunkt der Evaluierung, die von der KMU Forschung Austria in Kooperation mit dem Wuppertal Institut für Klima, Umwelt, Energie gGmbh durchgeführt wird, liegt auf der Analyse des Programmdesigns und der Programmprozesse sowie der zu beobachtenden kurzfristigen Wirkungen. Ein besonderer Fokus wurde dabei auf die Lernprozesse innerhalb des Programms gelegt. Der Output und die vorläufigen Outcomes des Programms werden bezüglich der Zielvorgaben (Ziele und Indikatoren) überprüft. Zudem erfolgt eine Evaluierung der für die wirkungsorientierte Folgenabschätzung gewählten Zielerreichungsindikatoren. Die Evaluierung basiert auf einem Mix aus qualitativen und quantitativen Erhebungsmethoden.

Gegenstand des Projekts ist die Durchführung der Evaluierung des „Förderungsprogramm(s) für Studien für den kommerziellen, internationalen Technologietransfer“ (kit4market, kit4market 2.0). Im Zentrum der Evaluierung steht die Beantwortung von Evaluierungsfragen zum Programmdesign, zur Einbettung des Programms in das relevante Förderungsportfolio, den Programmprozessen sowie bislang erreichten Wirkungen. Dazu werden Interviews mit Programmeigentümer und aws durchgeführt sowie die Fördernehmer zu ihren Erfahrungen mit dem Programm und die erzielen Wirkungen befragt.

Evaluierungsziel war die Gesamtbetrachtung der Umsetzung von HORIZON 2020 und ERA in Österreich, ergänzt durch die drei europäischen Initiativen EUREKA, COSME und EEN. Dabei steht die Analyse des Designs und der Ausrichtung sowie der Umsetzung der Formate und Unterstützungsleistungen mit Blick auf deren Effizienz und Effektivität im Vordergrund. Die Evaluierung setzte auf einem sehr breiten Methodenportfolio auf.

Die Evaluierung überprüfte, inwieweit das 2011 etablierte Leitkonzept für eine innovationsfördernde öffentliche Beschaffung (IÖB) erfolgreich umgesetzt wurde bzw. ob das entsprechende Setting eine effiziente Umsetzung ermöglicht. Die Evaluierung basiert auf einer Mischung aus quantitativen und qualitativen Methoden und hat auch mithilfe eines internationalen Vergleichs Handlungsempfehlungen für die weitere Umsetzung entwickelt. Die Studie wurde in Kooperation mit der VDI/VDE Innovation und Technik GmbH, Jakob Edler und Joanneum Research durchgeführt.

Das FFG Programm BRIDGE fokussiert sich auf die Förderung von grundlagenforschungsnahen Projekten, die von Forschungsinstituten in Abstimmung mit Unternehmen aus der Industrie bearbeitet, und damit einer industriellen Verwertung nähergebracht werden sollen. Zu diesem Zweck ist das Programm auf zwei Programmlinien aufgeteilt, damit Forschungsprojekte schrittweise, mit etwas unterschiedlichen Rahmenbedingungen weiterentwickelt werden können. Die Evaluierung, die von der KMU Forschung Austria in Kooperation mit inspire research Beratungsgesellschaft m.b.H. durchgeführt wurde, umfasst den Zeitraum 2009 bis 2016 und basierte auf einem breit gefächerten Methodeneinsatz, der quantitative und qualitative Elemente integrativ zur Beantwortung der Evaluierungsfragen vereint.

In dieser Studie werden sämtliche Maßnahmen und Programme der unternehmensbezogenen Wirtschafts- und Forschungsförderung des Landes Oberösterreich im Sinne eine Portfolioevaluierung analysiert. Im Fokus stehen dabei Komplementaritäten bzw. mögliche Doppelgleisigkeiten der einzelnen Förderungen hinsichtlich ihrer Förder- bzw. Wirkungslogiken, die Eignung des Förderportfolios hinsichtlich zukünftiger Herausforderungen Oberösterreichs, die potenziellen Lenkungseffekte der Förderungen sowie die unterschiedlichen Förderinstrumente.

Der eingesetzte Methodenmix bestand aus der Entwicklung von Interventionslogiken, der Analyse von Monitoringdaten, Befragungen und Fallstudien. Dies diente der Erarbeitung von zwei Dossiers, welche die Basis für die Beurteilung der beiden Instrumente durch zwei international besetzte akademische Panels bildete.

Die Evaluierung der Förderungsgesellschaften AWS und FFG widmete sich insbesondere der Erreichung von Erwartungen und Zielen, der vor mehr als 10 Jahren im Rahmen der Strukturreform erfolgten Zusammenführung der jeweiligen Vorgängerorganisationen in die beiden Agenturen. Sie basierte auf einem umfangreichen Mix aus quantitativen und qualitativen Erhebungsmethoden und analysierte vor diesem Hintergrund die organisatorische und inhaltliche Funktionsweise sowie die systemimmanenten Eigenschaften, Funktionslogiken und Wirkungen der beiden Agenturen. Darüber hinaus wurden verschieden Szenarien für die Weiterentwicklung und zukünftige Governance der beiden Agenturen entwickelt.

Mayring, P. / Kerlen, C. / Sheikh, S. / Hense, J. / Schwab, O. (2017): Zwanzig Jahre DeGEval – Historie, Entwicklungen, Herausforderungen. In: Zeitschrift für Evaluation, Themenheft: Zwanzig Jahre DeGEval, 16 (2) 13-33

Der Beitrag versucht die Tätigkeiten der DeGEval in den zwanzig Jahren ihres Bestehens zu bilanzieren. Dazu werden zunächst Schlaglichter auf ihre historische Entwicklung geworfen. Dann werden aufgrund einer inhaltsanalytischen Auswertung der Zeitschrift für Evaluation, zentrale Thematiken der Arbeit analysiert. Weiterhin werden die Handlungsfelder der DeGEval, hier in Form der Arbeitskreise, diskutiert. Dann werden die Produkte der Arbeit, hier vor allem die Standards für Evaluation, vorgestellt. Ein Überblick über die internationale Vernetzung der DeGEval wird gegeben. Schließlich wird die Mitgliederentwicklung nachgezeichnet, die ein sehr positives Bild zeigt. Eine Bilanz am Ende des Beitrags zeigt, dass die Ziele der DeGEval, wie sie bei der Gründung formuliert wurden, zum großen Teil als erfüllt gelten können. Ansatzpunkte für die weitere Arbeit werden aufgeführt.

Ziel der Evaluierung war es, auf Ebene der Antragsteller Auswirkungen zu identifizieren, die dem Instrument der steuerlichen Forschungsförderung zugeordnet werden können. Der Fokus lag auf Auswirkungen in den Bereichen: Additionalität, Steuerungseffekte auf Projekt- und Standortentscheidungen und Wechselwirkungen mit der direkten Forschungsförderung. Darüber hinaus erfolgten ein internationaler Vergleich sowie die Entwicklung von Szenarien für die zukünftige Ausgestaltung einer indirekten Forschungsförderung in Österreich. Das Projekt wurde mit dem Kooperationspartnern WPZ Research und IHS durchgeführt.

Es besteht ein eindeutiger positiver Zusammenhang zwischen F&E-Aktivitäten und Unternehmensentwicklung. FFG Projekte spielen bei F&E-intensiven Unternehmen eine zentrale Rolle. Insbesondere sind FFG-Projekte von schnell wachsenden Unternehmen ein zentraler Bestandteil für den Forschungserfolg und Unternehmenswachstum. Dieser Bericht (KMU Forschung Austria in Kooperation mit dem WIFO) untersucht den Zusammenhang zwischen F&E-Aktivitäten, Beschäftigungswachstum und der Exportquote; Welche Gruppe von F&E-aktiven Unternehmen eine hohe Beschäftigungswirkungen aufweisen; Welche Unternehmenscharakteristika und Projektmerkmale schnell wachsende Unternehmen im Vergleich zu Unternehmen mit moderatem Wachstum aufweisen; Welche Kriterien zur Auswahl von Projekten geeignet sind, wenn ein möglichst hohes Arbeitsplatzpotential generiert werden soll.

Ziel der Studie war die Identifikation von validen Indikatoren zum Monitoring von Wirkungen des heterogenen FFG Förderportfolios. Hierzu wurde über die Entwicklung von Wirkungslogiken für die Förderungs- und Finanzierungsinstrumente der FFG hinaus ein partizipativer Prozess umgesetzt, um den Bedürfnissen der unterschiedlichen Stakeholder-Gruppen gerecht zu werden. Das Ergebnis ist ein am internationalen Best Practice orientiertes Indikatorenset für die Förderungen der FFG, das als Grundlage für ein wirkungsorientiertes Monitoring des Portfolios dient. Die Studie wurde in Kooperation mit dem AIT Austrian Institute of Technology GmbH durchgeführt.

Ziel der Evaluierung war es, Informationen über die Wirkungen, Prozesse und die Zugänglichkeit der aws-Garantieprogramme zu erheben und zu bewerten sowie darauf aufbauend Grundlagen für etwaige Verbesserungen bzw. eine Neuausrichtung zu schaffen. Neben Dokumenten- und Datenanalysen wurden zwei Online-Befragungen (bei Unternehmen und BankenvertreterInnen) sowie ein Kontrollgruppenvergleich auf Basis der Bilanzdatenbank der KMU Forschung Austria durchgeführt.

Die Evaluierung beinhaltet eine Analyse des Designs, des Managements und der Wirkungen der Programme sowie deren Einbettung in die österreichische und europäische Förderlandschaft.

Als Ergebnis kann festgehalten werden, dass sowohl START als auch der Wittgenstein-Preis einzigartig in der österreichischen Förder- und Forschungslandschaft sind: Das START-Programm ist das einzige Programm in Österreich, das eine Art "Startpaket" für eine wissenschaftliche Karriere von vielversprechenden NachwuchsforscherInnen bereit hält. Der Wittgenstein-Preis ist die einzige Förderung, die dem Prinzip "Finanziere Menschen, nicht Projekte" folgt.

Ziel der Studie war die Entwicklung eines Modells und einer Methodik, mit Hilfe dessen sich soziale Wirkungen von Förderprogrammen in der Mobilitätsforschung abschätzen lassen. Da dies ein relativ neuer Bereich in der Abschätzung von Wirkungen von FTI Politik darstellt, waren davon auch Lerneffekte für andere FTI Programme abzuleiten. Das Projekt wurde in Kooperation mit netwiss OG durchgeführt.
 
  

Im Rahmen dieses Projektes wurde ein Gutachten als wissenschaftliche und administrative Grundlage für die Erarbeitung eines Evaluationsplans für eines der größten Innovationsprogramme Europas ausgearbeitet. In einem zweiten Schritt wurde in enger Abstimmung mit dem BMWi der Evaluationsplan für die Programmperiode 2015-2019 erarbeitet, der bei der Europäischen Kommission zur Notifizierung eingereicht wurde.

Die gemeinsame FTI-Strategie 2020 der Bundesregierung enthält u.a. die Ziele einer nachhaltigen Reform des österreichischen Bildungssystems und der Stärkung der Innovationskraft von Unternehmen. Das erste Ziel steht im Zusammenhang mit einer Optimierung der Rahmenbedingungen für FTI sowie einer Verbesserung des Bildungs- und Innovationssystems und der Steigerung von Qualität und Quantität des Humanpotenzials für FTI in Österreich. Das zweite Ziel geht einher mit einer Intensivierung der angewandten Forschung und des Technologietransfers mit Fokus auf KMU. Die Evaluierung analysierte die Zweckmäßigkeit der Instrumente (Qualifizierungsseminare, Qualifizierungsnetze und Innovationslehrveranstaltungen mit tertiärem Charakter) und die Einbettung des Programms ins Förderportfolio sowie die Umsetzung und Wirkungen des Programms.

Das Luftfahrtprogramm TAKE OFF wurde einer ex-post Programmevaluation unterzogen, die eine Designevaluierung und eine Wirkungsanalyse umfasst. Besondere Herausforderungen lagen neben der internationalen Einbettung des Luftfahrtsektors, mit den damit verbundenen parallellaufenden Prozessen, auch bei den langen Forschungs-, Innovations- und Entwicklungszyklen in der Luftfahrtindustrie. Zusätzlich zu gängigeren methodischen Zugängen in der Evaluation erfolgte in dieser Evaluierung eine konzeptionelle Überprüfung des Programmdesigns anhand eines Wirkungsmodells sowie dessen Einbettung in das FTI-Programmportfolio. Zur Berücksichtigung der langen Entwicklungszeiten wurde mit internationalen Definitionen von Technologiereifegraden gearbeitet; und es wurde eine Input-Output Analyse zur Schätzung von aggregierten Wirkungen im Vergleich mit den Ergebnissen in der Bundesrepublik Deutschland ausgearbeitet.

Die Studie wurde in Kooperation mit Economic Trends Research und Dr. Christiane Kerlen Evaluation und Beratung durchgeführt.

Mit den Innovationsschecks versucht die österreichische Bundesregierung die Grundgesamtheit der F&E-aktiven Unternehmen in Österreich zu erhöhen, indem neue Kooperationsbeziehungen zwischen KMU und Forschungseinheiten etabliert werden. Der Innovationsscheck Plus wurde 2011 mit dem Rational eingeführt, dass für eine Reihe von KMU eine vertiefende Analyse notwendig ist, um F&E-Aktivitäten tatsächlich aufzunehmen. Anhand dieser Zwischenevaluierung wurde überprüft, welche Effekte das Programm im Jahr 2014 bereits zeigte, und inwiefern die dem Programm zugrunde liegende Hypothese erhärtet werden konnte.

Die Evaluierung der Strategieprogramme „Intelligente Verkehrssysteme und Services“ (IV2S und IV2Splus) hat Informations- und Lenkungsfunktion. Sie umfasst Elemente der Konzept-, Prozess- und Wirkungsevaluierung. Eine Umfeldanalyse innerhalb des Projektes untersuchte auch die Forschungsförderung im Themenfeld Verkehr und Mobilität jenseits der beiden Strategieprogramme.

Ziel der Evaluierung war die Bewertung der Effekte der beiden Initiativen des 7. EU-Forschungsrahmenprogramms („Kooperation“ „Forschung zugunsten von KMU“) auf die teilnehmenden KMU, einschließlich der Auswirkungen auf die Wirtschaftsleistung, auf Verhaltensadditionalität und Innovation. Darüber hinaus wurde eine Bewertung der Relevanz, des europäischen Mehrwerts, der Effizienz und Effektivität der Initiativen vorgenommen. Methodisch wurde dabei u.a. auf eine Befragung von 400 geförderten KMU und 150 Fallstudien zu entsprechenden Forschungs- und Entwicklungsprojekten zurückgegriffen sowie mithilfe einer Kontrollgruppe die ökonomische Performanz der geförderten KMU verglichen.

Die Evaluierung begleitete das Impulsprogramm "Laura Bassi Centres of Expertise" bis Anfang 2014. Sie wurde als strategische Prozessbegleitung mit formativen Elementen verstanden, mit einem Fokus auf Lernmöglichkeiten und mit klaren Empfehlungen zur Programmsteuerung. Gegenstand der Evaluierung war auch die Frage, inwieweit hier neue und übertragbare Ansätze für FTI-Förderungen an der Schnittstelle von Wissenschaft und Wirtschaft unter besonderer Berücksichtigung von Gender-Aspekten entwickelt werden. Projektpartner der KMU Forschung Austria war das ISI Karlsruhe.