Evaluierung und Wirkungsanalysen

Die begleitende Evaluierung zum Programm „Investitionen in Wachstum und Beschäftigung Österreich 2014-20“ (Europäischer Fonds für regionale Entwicklung - EFRE) fokussiert auf die Wirkungen und die Zielerreichung des Programms um Lehren aus der Umsetzung des operationellen Programms zu ziehen und Effizienz und Effektivität der Programmumsetzung zu verbessern.

Im Rahmen des Wirkungsmonitorings der FFG Förderungen werden geförderte Unternehmen und Forschungsinstitute vier Jahre nach Projektabschluss nach den Projektwirkungen sowie deren Bedürfnissen befragt. Erhoben werden insbesondere Wirkungen auf Inputs, das Verhalten der Unternehmen und Institute sowie auch Projektoutputs. Die Ergebnisse dienen als eine Grundlage zur Information der FFG sowie des politischen Diskurses insgesamt zur Weiterentwicklung des Portfolios der Innovationsagentur.

Dieses Projekt beinhaltet die wissenschaftliche Begleitforschung eines Forschungsvorhabens, das das wirtschaftliche und technische Potenzial der außenliegenden Bauteilaktivierung für die Sanierung von Bestandsgebäuden mit vorgefertigten Fassadenelementen aufzeigt bzw. die Randbedingungen dafür definiert und neue Methoden entwickelt. Die Projektbegleitung beinhaltet vor allem Analysen entlang der projektrelevanten Wertschöpfungskette, z.B.: Bedarfs- und Anforderungsanalysen, Wirkungs- und Potenzialanalysen etc.

Klima- und Energie Modellregionen (KEM) ist ein Programm des österreichischen Klima- und Energiefonds (KLIEN), das Regionen in der Entwicklung und Umsetzung von klimaschutzbezogenen Maßnahmen unterstützt. Die Evaluierung des Programms widmet sich dem Design, der Umsetzung sowie den Ergebnissen und Wirkungen des Programms und formuliert Empfehlungen für die weitere Laufzeit.

Die Evaluation des Zentralen Innovationsprogramms Mittelstand (ZIM) mit seinen drei Programmsäulen F&E Einzelprojekte, F&E Kooperationsprojekte und Innovationsnetzwerke betrifft eines der wichtigsten Instrumente der Innovationspolitik in der Bundesrepublik Deutschland.

Zeitlich fokussiert die Evaluierung auf die Programmperiode 2015 bis Mitte 2018. Konzeptionell integriert die Evaluierung den Ansatz der Theoriebasierten Evaluation. Methodisch wird ein abgestimmtes Set an quantitativen und qualitativen Ansätzen umgesetzt, wie ein Kontrollgruppenansatz sowie verschiedene qualitativen Methoden, inklusive einer Analyse von Spillover-Effekten.
Konsortialpartner: Institut für Höhere Studien (IHS)

Ziel der Zwischenevaluierung von „Mobilität der Zukunft“ (MdZ) ist die Überprüfung der Qualität des missionsorientierten FTI-Programms. Der Schwerpunkt der Evaluierung, die von der KMU Forschung Austria in Kooperation mit dem Wuppertal Institut für Klima, Umwelt, Energie gGmbh durchgeführt wird, liegt auf der Analyse des Programmdesigns und der Programmprozesse sowie der zu beobachtenden kurzfristigen Wirkungen. Ein besonderer Fokus wird dabei auf die Lernprozesse innerhalb des Programms gelegt. Der Output und die vorläufigen Outcomes des Programms werden bezüglich der Zielvorgaben (Ziele und Indikatoren) überprüft. Zudem erfolgt eine Evaluierung der für die wirkungsorientierte Folgenabschätzung gewählten Zielerreichungsindikatoren. Die Evaluierung basiert auf einem Mix aus qualitativen und quantitativen Erhebungsmethoden.

Ziel der begleitenden Wirkungsanalyse und Evaluation des CTI Entrepreneurship Programms ist die Beurteilung der Konzeption, Umsetzung und der kurz- bis mittelfristigen Wirkungen. Die Wirkungsanalyse, durchgeführt von der KMU Forschung Austria in Kooperation mit B, S, S Volkswirtschaftliche Beratung AG in Basel, basiert u.a. konzeptionell auf Theorien der sozialen Psychologie und deren empirische Implementierung vor dem Hintergrund heterogener Unterstützungsinfrastrukturen in den Schweizer Regionen.

Gegenstand des Projekts ist die Durchführung der Evaluierung des „Förderungsprogramm(s) für Studien für den kommerziellen, internationalen Technologietransfer“ (kit4market, kit4market 2.0). Im Zentrum der Evaluierung steht die Beantwortung von Evaluierungsfragen zum Programmdesign, zur Einbettung des Programms in das relevante Förderungsportfolio, den Programmprozessen sowie bislang erreichten Wirkungen. Dazu werden Interviews mit Programmeigentümer und aws durchgeführt sowie die Fördernehmer zu ihren Erfahrungen mit dem Programm und die erzielen Wirkungen befragt.

Die KMU Forschung Austria war Teil des Konsortiums (Leitung AIT) zur Evaluierung der Implementierung von HORIZON 2020 und ERA sowie EUREKA, COSME und EEN in Österreich. Die Evaluierung fokussierte drei Bereiche: die Evaluierung der Beratungs- und Unterstützungsmaßnahmen der Österreichischen Forschungsförderungsgesellschaft (FFG), das EU Performance Monitoring und das ERA Observatory Austria.

Die innovationsfördernde öffentliche Beschaffung (IÖB) ist eines der wichtigsten innovationspolitischen Instrumente hochentwickelter Volkswirtschaften. Sechs Jahre nach der Veröffentlichung eines österreichischen IÖB-Leitkonzepts hat die KMU Forschung Austria den entsprechenden Umsetzungsstand evaluiert und Vorschläge für eine Weiterentwicklung erarbeitet. Die Evaluierung basiert auf einer Mischung aus quantitativen und qualitativen Methoden und wird auch mithilfe eines internationalen Vergleichs Handlungsempfehlungen für die weitere Umsetzung entwickeln.

Das FFG Programm BRIDGE fokussiert sich auf die Förderung von grundlagenforschungsnahen Projekten, die von Forschungsinstituten in Abstimmung mit Unternehmen aus der Industrie bearbeitet, und damit einer industriellen Verwertung näher gebracht werden sollen. Zu diesem Zweck ist das Programm auf zwei Programmlinien aufgeteilt, damit Forschungsprojekte schrittweise, mit etwas unterschiedlichen Rahmenbedingungen weiterentwickelt werden können. Die Evaluierung, die von der KMU Forschung Austria in Kooperation mit inspire research Beratungsgesellschaft m.b.H. durchgeführt wird, umfasst den Zeitraum 2009 bis 2016 und basiert auf einem breit gefächerten Methodeneinsatz, der quantitative und qualitative Elemente integrativ zur Beantwortung der Evaluierungsfragen vereint.

In dieser Studie werden sämtliche Maßnahmen und Programme der unternehmensbezogenen Wirtschafts- und Forschungsförderung des Landes Oberösterreich im Sinne eine Portfolioevaluierung analysiert. Im Fokus stehen dabei Komplementaritäten bzw. mögliche Doppelgleisigkeiten der einzelnen Förderungen hinsichtlich ihrer Förder- bzw. Wirkungslogiken, die Eignung des Förderportfolios hinsichtlich zukünftiger Herausforderungen Oberösterreichs, die potenziellen Lenkungseffekte der Förderungen sowie die unterschiedlichen Förderinstrumente.

Die KMU Forschung Austria unterstützt den Fonds zur Förderung der wissenschaftlichen Forschung (FWF) beim Evaluierungsvorhaben der deutschen Leibniz Forschungsverbünde und WissenschaftsCampi. Der eingesetzte Methodenmix besteht aus der Entwicklung von Programmlogiken, der Analyse von Monitoringdaten, Befragungen und Fallstudien. Dies dient der Erarbeitung von zwei Hintergrundpapieren, welche die Basis für die Beurteilung der beiden Instrumente durch zwei akademische Panels bildet.

Die Evaluierung der Förderungsgesellschaften AWS und FFG widmete sich insbesondere der Erreichung von Erwartungen und Zielen, der vor mehr als 10 Jahren im Rahmen der Strukturreform erfolgten Zusammenführung der jeweiligen Vorgängerorganisationen in die beiden Agenturen. Sie basierte auf einem umfangreichen Mix aus quantitativen und qualitativen Erhebungsmethoden und analysierte vor diesem Hintergrund die organisatorische und inhaltliche Funktionsweise sowie die systemimmanenten Eigenschaften, Funktionslogiken und Wirkungen der beiden Agenturen. Darüber hinaus wurden verschieden Szenarien für die Weiterentwicklung und zukünftige Governance der beiden Agenturen entwickelt.

Mayring, P. / Kerlen, C. / Sheikh, S. / Hense, J. / Schwab, O. (2017): Zwanzig Jahre DeGEval – Historie, Entwicklungen, Herausforderungen. In: Zeitschrift für Evaluation, Themenheft: Zwanzig Jahre DeGEval, 16 (2) 13-33

Der Beitrag versucht die Tätigkeiten der DeGEval in den zwanzig Jahren ihres Bestehens zu bilanzieren. Dazu werden zunächst Schlaglichter auf ihre historische Entwicklung geworfen. Dann werden aufgrund einer inhaltsanalytischen Auswertung der Zeitschrift für Evaluation, zentrale Thematiken der Arbeit analysiert. Weiterhin werden die Handlungsfelder der DeGEval, hier in Form der Arbeitskreise, diskutiert. Dann werden die Produkte der Arbeit, hier vor allem die Standards für Evaluation, vorgestellt. Ein Überblick über die internationale Vernetzung der DeGEval wird gegeben. Schließlich wird die Mitgliederentwicklung nachgezeichnet, die ein sehr positives Bild zeigt. Eine Bilanz am Ende des Beitrags zeigt, dass die Ziele der DeGEval, wie sie bei der Gründung formuliert wurden, zum großen Teil als erfüllt gelten können. Ansatzpunkte für die weitere Arbeit werden aufgeführt.

Ziel der Evaluierung war es, auf Ebene der Antragsteller Auswirkungen zu identifizieren, die dem Instrument der steuerlichen Forschungsförderung zugeordnet werden können. Der Fokus lag auf Auswirkungen in den Bereichen: Additionalität, Steuerungseffekte auf Projekt- und Standortentscheidungen und Wechselwirkungen mit der direkten Forschungsförderung. Darüber hinaus erfolgten ein internationaler Vergleich sowie die Entwicklung von Szenarien für die zukünftige Ausgestaltung einer indirekten Forschungsförderung in Österreich. Das Projekt wurde mit dem Kooperationspartnern WPZ Research und IHS durchgeführt.

Es besteht ein eindeutiger positiver Zusammenhang zwischen F&E-Aktivitäten und Unternehmensentwicklung. FFG Projekte spielen bei F&E-intensiven Unternehmen eine zentrale Rolle. Insbesondere sind FFG-Projekte von schnell wachsenden Unternehmen ein zentraler Bestandteil für den Forschungserfolg und Unternehmenswachstum. Dieser Bericht (KMU Forschung Austria in Kooperation mit dem WIFO) untersucht den Zusammenhang zwischen F&E-Aktivitäten, Beschäftigungswachstum und der Exportquote; Welche Gruppe von F&E-aktiven Unternehmen eine hohe Beschäftigungswirkungen aufweisen; Welche Unternehmenscharakteristika und Projektmerkmale schnell wachsende Unternehmen im Vergleich zu Unternehmen mit moderatem Wachstum aufweisen; Welche Kriterien zur Auswahl von Projekten geeignet sind, wenn ein möglichst hohes Arbeitsplatzpotential generiert werden soll.

Ziel der Studie war die Identifikation von validen Indikatoren zum Monitoring von Wirkungen des heterogenen FFG Förderportfolios. Hierzu wurde über die Entwicklung von Wirkungslogiken für die Förderungs- und Finanzierungsinstrumente der FFG hinaus ein partizipativer Prozess umgesetzt, um den Bedürfnissen der unterschiedlichen Stakeholder-Gruppen gerecht zu werden. Das Ergebnis ist ein am internationalen Best Practice orientiertes Indikatorenset für die Förderungen der FFG, das als Grundlage für ein wirkungsorientiertes Monitoring des Portfolios dient. Die Studie wurde in Kooperation mit dem AIT Austrian Institute of Technology GmbH durchgeführt.

Ziel der Evaluierung war es, Informationen über die Wirkungen, Prozesse und die Zugänglichkeit der aws-Garantieprogramme zu erheben und zu bewerten sowie darauf aufbauend Grundlagen für etwaige Verbesserungen bzw. eine Neuausrichtung zu schaffen. Neben Dokumenten- und Datenanalysen wurden zwei Online-Befragungen (bei Unternehmen und BankenvertreterInnen) sowie ein Kontrollgruppenvergleich auf Basis der Bilanzdatenbank der KMU Forschung Austria durchgeführt.

Die Evaluierung beinhaltet eine Analyse des Designs, des Managements und der Wirkungen der Programme sowie deren Einbettung in die österreichische und europäische Förderlandschaft.

Als Ergebnis kann festgehalten werden, dass sowohl START als auch der Wittgenstein-Preis einzigartig in der österreichischen Förder- und Forschungslandschaft sind: Das START-Programm ist das einzige Programm in Österreich, das eine Art "Startpaket" für eine wissenschaftliche Karriere von vielversprechenden NachwuchsforscherInnen bereit hält. Der Wittgenstein-Preis ist die einzige Förderung, die dem Prinzip "Finanziere Menschen, nicht Projekte" folgt.

Ziel der Studie war die Entwicklung eines Modells und einer Methodik, mit Hilfe dessen sich soziale Wirkungen von Förderprogrammen in der Mobilitätsforschung abschätzen lassen. Da dies ein relativ neuer Bereich in der Abschätzung von Wirkungen von FTI Politik darstellt, waren davon auch Lerneffekte für andere FTI Programme abzuleiten. Das Projekt wurde in Kooperation mit netwiss OG durchgeführt.
 
  

Im Rahmen dieses Projektes wurde ein Gutachten als wissenschaftliche und administrative Grundlage für die Erarbeitung eines Evaluationsplans für eines der größten Innovationsprogramme Europas ausgearbeitet. In einem zweiten Schritt wurde in enger Abstimmung mit dem BMWi der Evaluationsplan für die Programmperiode 2015-2019 erarbeitet, der bei der Europäischen Kommission zur Notifizierung eingereicht wurde.

Die gemeinsame FTI-Strategie 2020 der Bundesregierung enthält u.a. die Ziele einer nachhaltigen Reform des österreichischen Bildungssystems und der Stärkung der Innovationskraft von Unternehmen. Das erste Ziel steht im Zusammenhang mit einer Optimierung der Rahmenbedingungen für FTI sowie einer Verbesserung des Bildungs- und Innovationssystems und der Steigerung von Qualität und Quantität des Humanpotenzials für FTI in Österreich. Das zweite Ziel geht einher mit einer Intensivierung der angewandten Forschung und des Technologietransfers mit Fokus auf KMU. Die Evaluierung analysierte die Zweckmäßigkeit der Instrumente (Qualifizierungsseminare, Qualifizierungsnetze und Innovationslehrveranstaltungen mit tertiärem Charakter) und die Einbettung des Programms ins Förderportfolio sowie die Umsetzung und Wirkungen des Programms.

Das Luftfahrtprogramm TAKE OFF wurde einer ex-post Programmevaluation unterzogen, die eine Designevaluierung und eine Wirkungsanalyse umfasst. Besondere Herausforderungen lagen neben der internationalen Einbettung des Luftfahrtsektors, mit den damit verbundenen parallel laufenden Prozessen, auch bei den langen Forschungs-, Innovations- und Entwicklungszyklen in der Luftfahrtindustrie. Zusätzlich zu gängigeren methodischen Zugängen in der Evaluation erfolgte in dieser Evaluierung eine konzeptionelle Überprüfung des Programmdesigns anhand eines Wirkungsmodells sowie dessen Einbettung in das FTI-Programmportfolio. Zur Berücksichtigung der langen Entwicklungszeiten wurde mit internationalen Definitionen von Technologiereifegraden gearbeitet; und es wurde eine Input-Output Analyse zur Schätzung von aggregierten Wirkungen im Vergleich mit den Ergebnissen in der Bundesrepublik Deutschland ausgearbeitet. Kooperationspartner: Dr. Christiane Kerlen Evaluation und Beratung, Economic Trends Research Hamburg

Mit den Innovationsschecks versucht die österreichische Bundesregierung die Grundgesamtheit der F&E-aktiven Unternehmen in Österreich zu erhöhen, indem neue Kooperationsbeziehungen zwischen KMU und Forschungseinheiten etabliert werden. Der Innovationsscheck Plus wurde 2011 mit dem Rational eingeführt, dass für eine Reihe von KMU eine vertiefende Analyse notwendig ist, um F&E-Aktivitäten tatsächlich aufzunehmen. Anhand dieser Zwischenevaluierung wurde überprüft, welche Effekte das Programm im Jahr 2014 bereits zeigte, und inwiefern die dem Programm zugrunde liegende Hypothese erhärtet werden konnte.

Die Evaluierung der Strategieprogramme „Intelligente Verkehrssysteme und Services“ (IV2S und IV2Splus) hat Informations- und Lenkungsfunktion. Sie umfasst Elemente der Konzept-, Prozess- und Wirkungsevaluierung. Eine Umfeldanalyse innerhalb des Projektes untersuchte auch die Forschungsförderung im Themenfeld Verkehr und Mobilität jenseits der beiden Strategieprogramme.

Ziel der Evaluierung war die Bewertung der Effekte der beiden Initiativen des 7. EU-Forschungsrahmenprogramms („Kooperation“ „Forschung zugunsten von KMU“) auf die teilnehmenden KMU, einschließlich der Auswirkungen auf die Wirtschaftsleistung, auf Verhaltensadditionalität und Innovation. Darüber hinaus wurde eine Bewertung der Relevanz, des europäischen Mehrwerts, der Effizienz und Effektivität der Initiativen vorgenommen. Methodisch wurde dabei u.a. auf eine Befragung von 400 geförderten KMU und 150 Fallstudien zu entsprechenden Forschungs- und Entwicklungsprojekten zurückgegriffen sowie mithilfe einer Kontrollgruppe die ökonomische Performanz der geförderten KMU verglichen.

Die Evaluierung begleitete das Impulsprogramm "Laura Bassi Centres of Expertise" bis Anfang 2014. Sie wurde als strategische Prozessbegleitung mit formativen Elementen verstanden, mit einem Fokus auf Lernmöglichkeiten und mit klaren Empfehlungen zur Programmsteuerung. Gegenstand der Evaluierung war auch die Frage, inwieweit hier neue und übertragbare Ansätze für FTI-Förderungen an der Schnittstelle von Wissenschaft und Wirtschaft unter besonderer Berücksichtigung von Gender-Aspekten entwickelt werden. Projektpartner der KMU Forschung Austria war das ISI Karlsruhe.