Evaluierung und Wirkungsanalysen

Der jährlich seit 2005 vergebene Houskapreis ist der höchstdotierte private Preis für anwendungsnahe Forschung in Österreich. Ziel der Evaluierung ist es festzustellen, inwiefern durch den Houskapreis herausragende Wissenschafts- und Forschungsprojekte ausgezeichnet wurden, die zu wirtschaftlichen Erfolgen führten. Aus den Erkenntnissen der Evaluierung sollen Empfehlungen für die Weiterentwicklung des Preises abgeleitet werden. Die Evaluierung basiert auf einer Kombination quantitativer und qualitativer Methoden.

Projektlaufzeit: 2022/12 – 2023/10
Auftraggeber: B&C Stiftung
Projektpartner: Inspire Research
Ansprechperson: Eva Heckl

Die Sektion III, Innovation und Technologie des Bundesministeriums für Klimaschutz, Umwelt, Energie, Mobilität, Innovation und Technologie (BMK) weist ein heterogenes Portfolio an thematischen Schwerpunkten, FTI-politischen Instrumenten sowie Begleitmaßnahmen auf, und implementiert diese mit Unterstützung von Agenturen (z.B. FFG, aws) und Beteiligungen (AIT, SAL). Mit der Entwicklung eines übergreifenden Monitoringsystems wird eine effiziente und transparente Systematik zur Wirkungsmessung und Unterstützung des Wissensausbaus angestrebt, um die strategische Steuerung auf Sektionsebene zu erleichtern.

Projektlaufzeit: 2022/12 – 2023/06
Auftraggeber: Bundesministerium für Klimaschutz, Umwelt, Energie, Mobilität, Innovation und Technologie (BMK)
Projektpartner: technopolis group
Ansprechperson: Peter Kaufmann

Die FFG hat diese Kurzstudie beauftragt, um zum einen den Status quo in Hinblick auf die Repräsentanz von Frauen in den von ihr geförderten Projekten zu untersuchen, und zum anderen zu analysieren, welche Maßnahmen eine Agentur wie die FFG setzen kann bzw. welche bereits implementierten Maßnahmen am vielversprechendsten erscheinen.

Das Projekt nimmt eine umfassende Evaluierung der Förderprogramme License.IP (2013-2020) und IP.Market (2017-2022) der Austria Wirtschaftsservice (aws) vor. Die Evaluierung dient einer systematischen Erfassung, Auswertung und Reflexion von Stärken und Schwächen der Programme, um für eventuelle zukünftige Förderungen von IP-Transaktionen allenfalls erforderliche Verbesserungen und Adaptionen vornehmen zu können. Die Evaluierung hat somit in erster Linie unterstützenden Charakter für das Management zukünftiger Programme und informiert die Programmauftraggeber über den bisherigen Verlauf.

Projektlaufzeit: 2022/09 – 2023/04
Auftraggeber: Austria Wirtschaftsservice GmbH
Projektpartner: Inspire Research Beratungsgesellschaft m.b.H.
Ansprechperson: Harald Wieser

Der vertrauenswürdige Einsatz von Künstlicher Intelligenz (KI) hat das Potenzial, die Wirtschaft in zentralen Zukunftsbranchen zum Wohl der Gesellschaft zu verändern und die Positionierung Österreichs bzw. Europas im internationalen Wettbewerb positiv zu beeinflussen. Zunächst werden in einer Überblicksstudie die Begrifflichkeiten geklärt, und mögliche Potenziale und Herausforderungen betrachtet. Dabei richtet sich der Fokus auf die notwendige Digitalisierung der Bereiche Produktion, Mobilität und Medizin.

Daneben erlangt die Klimafreundlichkeit von KI und dessen Potenziale für den Klimaschutz zunehmend Interesse. Vor diesem Hintergrund bietet eine zweite Studie eine Wissensgrundlage zur Beurteilung des Klimaschutzpotenzials von KI-Anwendungen und verschafft einen Überblick zu bestehenden Entwicklungen und Praktiken in der Unternehmensförderung.

Die Policy Insights sind ein Resultat der Begleitforschung im Rahmen des begleitenden Monitorings und der Evaluierung des Calls „aws Digitalisierung – vertrauenswürdige künstliche Intelligenz“ im Auftrag der aws - Austria Wirtschaftsservice Gesellschaft mbH.

In der Studie wurde untersucht, welche Faktoren den Verwertungserfolg von anwendungsorientierten F&E Projekten beeinflussen. Dies wurde anhand von analytisch-quantitativen und qualitativen Analysen sowie Workshops herausgearbeitet, und Handlungsempfehlungen davon abgeleitet, wo die FFG ihr Angebot weiterentwickeln kann, um die Realisierung von Verwertungspotentialen zu fördern. Die Analyse konzentriert sich damit auf eine Kernfunktion der FFG – Projekte mit hohem Potential auszuwählen und diese in ihrer Umsetzung zu unterstützen.

Projektlaufzeit: 2021/09 - 2022/02
Auftraggeber: Österr. Forschungsförderungsgesellschaft (FFG)
Ansprechperson: Peter Kaufmann

Untersuchungsgegenstand der Evaluierung ist die Weltraumpolitik der Schweiz, so wie sie sich auf der Grundlage der institutionellen Strategie «Weltraumpolitik Schweiz 2008» in den letzten 13 Jahren entwickelt hat. Es werden Zweckmäßigkeit und Wirksamkeit ausgewählter Leitlinien beschrieben und bewertet, dabei bisherige und künftige Entwicklungen berücksichtigt. Weiters dient die Evaluierung als Informationsbasis für die Entwicklung einer zukünftigen Schweizer Weltraumpolitik. Teil der Evaluierung ist u.a. die Analyse der komplexen Akteurslandschaft inkl. dem Start-up Ökosystem rund um die Weltraumpolitik der Schweiz.

Projektlaufzeit: 2021/09 - 2022/10

Projektpartner: econcept

Auftraggeber: Schweizerisches Staatssekretariat für Bildung, Forschung und Innovation (SBFI)

Projektleitung: Peter Kaufmann

Das Förderprogramm „EXIST – Existenzgründungen aus der Wissenschaft“ verfolgt das Ziel, die Anzahl sowie den Erfolg technologieorientierter und wissensbasierter Unternehmensgründungen zu erhöhen und das Gründungsklima an deutschen Hochschulen und außeruniversitären Forschungseinrichtungen zu verbessern.
Diese begleitende Evaluation legt die Schwerpunkte auf die Programmlinie EXIST – Potentiale ab 2018, der Evaluation von EXIST – Gründerstipendium und EXIST-Forschungstransfer ab 2020 und der übergreifenden Betrachtung der drei Programmlinien 2022 bis 2025.

Diese begleitende und ex-post Evaluierung wird im Auftrag des Bundesministeriums der Finanzen auf der Grundlage des von der Europäischen Kommission genehmigten Evaluierungsplanes im Zeitraum 2022 bis 2025 umgesetzt.

Durch den begleitenden Charakter erfolgt eine laufende Untersuchung von Umsetzungsprozessen, der Zielgruppenerreichung sowie eine vertiefende Analyse der Wirkungen in den Zielgruppen und für den Wirtschaftsstandort Deutschland.

Dies wird methodisch anhand eines Mix von qualitativen und quantitativen (ökonometrischen) Methodensets umgesetzt.

Im Rahmen dieser Evaluierung wird überprüft, welche Wirkungen das Programm „Stadt der Zukunft“ seit seiner Einführung erzielen konnte. Die Basis dafür bilden umfangreiche Befragungen von Projektnehmer*innen aus der Forschung und Multiplikator*innen aus Anwendungsgebieten wie der Ziviltechnik und Stadtplanung. Die Evaluierung schafft damit eine wichtige Grundlage für die Gestaltung von zukünftigen Forschungsförderungen.

Weitere Infos zum Projekt

Projektlaufzeit: 2021/11 - 2022/08
Auftraggeber: BMK
Projektleitung: Harald Wieser

Der vertrauenswürdige Einsatz von Künstlicher Intelligenz (KI) hat das Potential, die Wirtschaft in zentralen Zukunftsbranchen zum Wohl der Gesellschaft zu verändern und die Positionierung Österreichs bzw. Europas im internationalen Wettbewerb positiv zu beeinflussen.

In diesem Projekt begleitet und untersucht die KMU Forschung Austria für die aws - Austria Wirtschaftsservice Gmbh die zugrundeliegenden Annahmen, Potenziale, und das Design sowie Umsetzung der Pilotinitiative zum Einsatz von vertrauenswürdiger KI, die durch den Österreichfonds finanziert wird.

Projektlaufzeit: 06/2021 - 12/2022
Auftraggeber: aws - Austria Wirtschaftsservice GmbH
Ansprechperson: Peter Kaufmann

Die Klimaneutralität des Mobilitätssystems ist dringender denn je. Deshalb ist es auch notwendig, anhand einem geeigneten Monitoring den Fortschritt von Forschungsprojekten bis hin zur Umsetzung in der gesellschaftlichen Praxis aufzuzeigen und damit auch förderliche und hinderliche Einflussfaktoren zu identifizieren.
Mit diesem Projekt entwickelt die KMU Forschung Austria in Zusammenarbeit mit dem BMK, der AustriaTech, der FFG und gemeinsam mit laufenden Projekten im missionsorientierten Programm Mobilität der Zukunft (MdZ) Vorschläge für ein projekt- und programmbegleitendes Wirkungsmonitoring im Rahmen eines Wirkungslabors (ImpactLab).
Damit wird ein systematisch organisierter Lernprozess im Programm sichergestellt, der den konzeptionellen Ansprüchen der modernen Missionsorientierung entspricht, und mögliche Barrieren zur Umsetzung aufzeigt. Die Vorschläge werden im Rahmen der Umsetzung der FTI-Strategie Mobilität 2040 ab 2021 kontinuierlich getestet und umgesetzt.

Übergeordnetes Ziel dieser Studie war es, Erkenntnisse über die Effektivität der öffentlichen Innovationsförderung in Europa zu sammeln. Ein Hauptergebnis der Studie ist, dass KMU in der EU weiterhin mit Innovationshürden konfrontiert sind; für Kleinstunternehmen sind dies vorrangig finanzielle Hürden; für kleine und mittlere Unternehmen ist der Zugang zu Fachkräften die bedeutsamste Hürde. Bezüglich der Effektivität von Unterstützungsleistungen erschweren unterschiedliche Kontextbedingungen in den einzelnen Mitgliedstaaten hingegen eine pauschale Schlussfolgerung, die meisten KMU sehen öffentliche Unterstützung jedoch als entscheidend für die Ausführung ihrer Innovationstätigkeiten an.

Projektpartner: Centre for Strategy & Evaluation Services (CSES)

Auftraggeber: Executive Agency for Small and Medium-sized Enterprises (EASME)

Zum Studiendownload

Im Rahmen des Wirkungsmonitorings der FFG Förderungen werden vier Jahre nach Projektabschluss die Projektwirkungen bei geförderten Unternehmen und Forschungsinstituten erhoben. Der Fokus liegt insbesondere bei Wirkungen auf den Ebenen der F&E-Inputs, dem Verhalten der Unternehmen und Institute sowie auch Projektoutputs.

Die Ergebnisse dienen als eine Grundlage zur Reflexion innerhalb der FFG sowie dem politischen Diskurs insgesamt zur Weiterentwicklung des Portfolios der Agentur.

Die Analyse umfasst das Design und die Implementierung der ‚Förderbekanntmachung angewandte nichtnukleare Forschungsförderung‘ sowie der Richtlinie zur ‚Förderung von Reallaboren der Energiewende‘ im Rahmen des 7. Energieforschungsprogramms ‚Innovationen für die Energiewende‘ des Bundesministeriums für Wirtschaft und Energie. Die Evaluation soll eine Grundlage zur Steuerung und kontinuierlichen Verbesserung des Programms einwickeln. Schwerpunkt der Analyse sind eine Verhältnismäßigkeitsprüfung der Beihilfe sowie die Zielerreichung und Wirksamkeit der Maßnahmen. Im Rahmen des umfassenden Evaluierungsdesigns werden eine Vielzahl an qualitativen sowie quantitativen Methoden eingesetzt.

Unter der Koordination des AIT Center for Innovation Systems and Policy wird die Begleitevaluation Analysen, Reflexionen und laufende Empfehlungen als Grundlage zur Steuerung und kontinuierlichen Verbesserung des Programms („Programmlernen“) entwickeln.

Im Rahmen des Projekts wurde gemeinsam mit dem Wuppertal Institut für Klima, Umwelt, Energie die Klimaschutzinitiative klimaaktiv evaluiert. Interne und externe Berichte, persönliche Interviews mit wichtigen Stakeholdern, eine online Befragung des Partnernetzwerks sowie ein Strategieworkshop bildeten die Basis für die Evaluatorinnen und Evaluatoren. Sie evaluierten die klimaaktiv Programmperiode 2013 bis 2020. Auf Basis der Ergebnisse wurden Hinweise entwickelt, wie die Programmphase bis 2030 ausgestaltet werden kann. Die Ergebnisse zeigen: klimaaktiv ist wirksam, gut organisiert und hat ein schlagkräftiges Netzwerk aufgebaut. Die Aktivitäten sollen ausgebaut und mit den kommenden Maßnahmen und Förderungen verschränkt werden.

Projektpartner: Wuppertal Institut für Klima, Umwelt, Energie

Auftraggeber: Bundesministerium für Landwirtschaft, Regionen und Tourismus 

Weitere Informationen & Studiendownload

Die Studie untersucht die Wettbewerbsfähigkeit der Elektronik-, Elektro- und Maschinenbauindustrie in der EU gegenüber ihren Hauptkonkurrenten USA, Japan, Südkorea und den BRIC-Staaten. Sie vergleicht die rechtlichen Rahmenbedingungen in der EU mit jenen in wichtigen Drittländern. Darüber hinaus werden die Auswirkungen der Digitalisierung auf die Elektronik-, Elektro- und Maschinenbauindustrie in der EU sowie die Auswirkungen auf die globale Marktposition analysiert. Zudem enthält die Studie einen strategischen Ausblick und eine Einschätzung der Herausforderungen und Chancen für die europäische Elektronik-, Elektro- und Maschinenbauindustrie.

Mit der Evaluierung wurde das Instrument „BMVIT-Stiftungsprofessur“ analysiert und es wurden Empfehlungen zur Weiterentwicklung des Instruments entwickelt. Im Zentrum stehen dabei die organisatorischen und strukturellen Rahmenbedingungen für Stiftungsprofessuren aus der Perspektive des Fördergebers und der Universitäten. Die Evaluierung stellt Fragen nach der geeigneten Ausgestaltung des Instruments mit Blick auf die intendierten Förderziele in den Mittelpunkt. Darüber hinaus wird die Einbettung des Instruments in das nationale Förderumfeld sowie mit der Positionierung von Stiftungsprofessuren in der österreichischen Universitäts- und Hochschullandschaft untersucht.

Zum Studienbericht

Im Rahmen des "Förderschwerpunkts Talente" werden (potentielle) Forscher*innen im anwendungsorientierten, naturwissenschaftlich-technischen FTI-Bereich gefördert. Die Förderinstrumente richten sich an Kinder und Jugendliche (Praktika für Schüler*innen, Talente regional) sowie Forscher*innen (Karriere-Grants, Jobbörse) und adressieren die Chancengleichheit in der Forschung (FEMtech Studentinnenpraktika, FEMtech Karriere (Check), FEMtech Forschungsprojekte). Das Programm "Forschungspartnerschaften" fördert Dissertationsprojekte in Unternehmen und außeruniversitären Forschungseinrichtungen. Schwerpunkt der Evaluierung ist die Analyse der Förderkonzepte, der Umsetzung sowie der Wirkungen der Programme.

Projektlaufzeit: 05/2020 - 02/2021
Auftraggeber: Bundesministerium für Klimaschutz, Umwelt, Energie, Mobilität, Innovation und Technologie
Ansprechperson: Eva Heckl

Downloads:

• Bericht Talente - Evaluierung des Förderschwerpunkts
• Bericht Forschungspartnerschaften – industrienahe Dissertationen - Programmevaluierung 

Die Evaluation dieses Fachprogramms des Bundesministeriums für Wirtschaft und Energie (BMWi) deckt die Programmperiode 2011-2018 ab. Die Programmumsetzung ist maßgeblich eingebettet in die Raumfahrtstrategie der Bundesregierung und dem Engagement Deutschlands bei der Europäischen Weltraumorganisation ESA.

Die Untersuchung fokussiert auf die Zielerreichung und die Wirkungen des Programms, sowie die Wirtschaftlichkeit der Programmumsetzung durch das Raumfahrtmanagement (RFM) der Deutschen Agentur für Luft- und Raumfahrt (DLR). Schwerpunkte der Analyse sind Fragen zur internen Organisation und zum Governance der Programmumsetzung, sowie die Umsetzung von Großmissionen. Abgesehen von der tatsächlichen Programm-Performance wird auch ein Konzept für eine erhöhte zukünftige Evaluierbarkeit des Programms erarbeitet.

Ansprechperson: Mag. Peter Kaufmann

Kooperationspartner: Dr. Christiane Kerlen Evaluation und Beratung, Institut für Innovation und Technik (iit) in der VDI/VDE Innovation + Technik GmbH

Zum Evaluierungsbericht

Mit dieser Evaluierung im Auftrag des Bundesministeriums für Klimaschutz, Umwelt, Energie, Mobilität, Innovation und Technologie (BMK, vormals BMVIT) wurde das österreichische Weltraumengagement im Zeitraum 2012 bis 2018 untersucht und entsprechende Empfehlungen für die Weiterentwicklung abgeleitet. Dies umfasst nicht nur die Ausrichtung der Weltraumstrategie, das relevante Engagement bei der ESA und auf Ebene der Europäischen Union, sondern auch das Austrian Space Applications Programme (ASAP), das nationale Weltraumprogramm Österreichs.
Die Evaluierung wurde von der KMU Forschung Austria koordiniert und in enger Zusammenarbeit mit dem Institut für Innovation und Technik (iit) in der VDI/VDE Innovation + Technik GmbH und der inspire research GmbH umgesetzt.

Die Bundesrepublik Deutschland möchte mit einer steuerlichen Forschungsförderung zur Erhöhung des Anteils der FuE-Ausgaben am Bruttoinlandsprodukt auf 3,5 % bis zum Jahr 2025 beitragen, sowie die vorhandene Projektförderung ergänzen.
In diesem Projekt untersuchen die KMU Forschung Austria, das Institut für Höhere Studien (IHS) sowie das Ifo Institut München die möglichen Datengrundlagen und methodischen Herausforderungen für eine zukünftige Evaluation der Maßnahme. Die Ergebnisse münden in einen abgestimmten Evaluationsplan, der eine tiefgehende Analyse der Wirkungen ermöglicht.

In diesem Projekt unterstützt die KMU Forschung Austria die Innosuisse bei der Ausarbeitung eines Konzepts für die Wirkungsanalyse der Agentur. Hierbei werden Wirkungsmodelle für die wichtigsten Förderinstrumente und die Agentur insgesamt ausgearbeitet. Diese stellen die Grundlage für die Entwicklung eines Indikatorensystems dar, das gegenüber dem Auftraggeber, der Politik und der Öffentlichkeit über die eigene Tätigkeit und daraus resultierenden Wirkungen in einer klaren Systematik Auskunft geben kann.
Die aus dem Konzept der Wirkungsanalyse hervorgehenden Ergebnisse werden für strategische Optimierungen und Lerneffekte genutzt.

Die Evaluation des Zentralen Innovationsprogramms Mittelstand (ZIM) mit seinen drei Programmsäulen F&E Einzelprojekte, F&E Kooperationsprojekte und Innovationsnetzwerke betrifft eines der wichtigsten Instrumente der Innovationspolitik in der Bundesrepublik Deutschland. Zeitlich fokussierte die Evaluierung primär auf die Programmperiode 2015 bis Mitte 2018.

Der Bedeutung des Programms entsprechend wurde ein umfassendes Evaluationsdesign umgesetzt, das auf dem Ansatz der Theoriebasierten Evaluation, sowie unterschiedlichen empirischen Grundlagen und einem breiten Set an qualitativen und quantitativen Methoden basiert, die sich durch ihre kombinierte Umsetzung ergänzen und auch kontrollieren. Hierzu gehören unter anderem ein Kontrollgruppenansatz sowie eine Analyse von Spillover-Effekten sowie ein detaillierter, internationaler Programmvergleich.

Ziel der begleitenden Wirkungsanalyse und Evaluation der "CTI Entrepreneurship" Start-up Trainingsprogramme an Schweizer Hochschulen war die Beurteilung der Konzeption, Umsetzung und der kurz- bis mittelfristigen Wirkungen. Die Wirkungsanalyse, durchgeführt von der KMU Forschung Austria in Kooperation mit B, S, S Volkswirtschaftliche Beratung AG in Basel, basiert u.a. konzeptionell auf Theorien der sozialen Psychologie und deren empirische Implementierung vor dem Hintergrund heterogener Unterstützungsinfrastrukturen in den Schweizer Regionen.

Diese Studie im Auftrag der GD GROW untersucht die Machbarkeit und Eignung der Einbeziehung gesellschaftlicher Kriterien (in den Bereichen Umwelt, Innovation, Beschäftigung) in die Beschaffungstätigkeiten der EU-Raumfahrtprogramme Kopernikus, Galileo und EGNOS. Zu den wichtigsten Aufgaben der Studie gehören: i) Untersuchung der rechtlichen Machbarkeit der Einbeziehung gesellschaftlicher Kriterien in die Beschaffung von Infrastrukturen für das EU-Raumfahrtprogramm; ii) Abschätzung der Auswirkungen der Einbeziehung gesellschaftlicher Kriterien; iii) Schlussfolgerungen hinsichtlich der am besten geeigneten gesellschaftlichen Kriterien, die bei der künftigen Beschaffung berücksichtigt werden sollten.

Die begleitende Evaluierung zum Programm „Investitionen in Wachstum und Beschäftigung Österreich 2014-20“ (Europäischer Fonds für regionale Entwicklung - EFRE) fokussiert auf die Wirkungen und die Zielerreichung des Programms um Lehren aus der Umsetzung des operationellen Programms zu ziehen und Effizienz und Effektivität der Programmumsetzung zu verbessern.

Dieses Projekt beinhaltet die wissenschaftliche Begleitforschung eines Forschungsvorhabens, das das wirtschaftliche und technische Potenzial der außenliegenden Bauteilaktivierung für die Sanierung von Bestandsgebäuden mit vorgefertigten Fassadenelementen aufzeigt bzw. die Randbedingungen dafür definiert und neue Methoden entwickelt. Die Projektbegleitung beinhaltet vor allem Analysen entlang der projektrelevanten Wertschöpfungskette, z.B.: Bedarfs- und Anforderungsanalysen, Wirkungs- und Potenzialanalysen etc.

Klima- und Energie Modellregionen (KEM) ist ein Programm des österreichischen Klima- und Energiefonds (KLIEN), das Regionen in der Entwicklung und Umsetzung von klimaschutzbezogenen Maßnahmen unterstützt. Die Evaluierung des Programms widmet sich dem Design, der Umsetzung sowie den Ergebnissen und Wirkungen des Programms und formuliert Empfehlungen für die weitere Laufzeit.

Ziel der Zwischenevaluierung von „Mobilität der Zukunft“ (MdZ) ist die Überprüfung der Qualität des missionsorientierten FTI-Programms. Der Schwerpunkt der Evaluierung, die von der KMU Forschung Austria in Kooperation mit dem Wuppertal Institut für Klima, Umwelt, Energie gGmbh durchgeführt wird, liegt auf der Analyse des Programmdesigns und der Programmprozesse sowie der zu beobachtenden kurzfristigen Wirkungen. Ein besonderer Fokus wurde dabei auf die Lernprozesse innerhalb des Programms gelegt. Der Output und die vorläufigen Outcomes des Programms werden bezüglich der Zielvorgaben (Ziele und Indikatoren) überprüft. Zudem erfolgt eine Evaluierung der für die wirkungsorientierte Folgenabschätzung gewählten Zielerreichungsindikatoren. Die Evaluierung basiert auf einem Mix aus qualitativen und quantitativen Erhebungsmethoden.

Gegenstand des Projekts ist die Durchführung der Evaluierung des „Förderungsprogramm(s) für Studien für den kommerziellen, internationalen Technologietransfer“ (kit4market, kit4market 2.0). Im Zentrum der Evaluierung steht die Beantwortung von Evaluierungsfragen zum Programmdesign, zur Einbettung des Programms in das relevante Förderungsportfolio, den Programmprozessen sowie bislang erreichten Wirkungen. Dazu werden Interviews mit Programmeigentümer*innen und aws durchgeführt sowie die Fördernehmer*innen zu ihren Erfahrungen mit dem Programm und die erzielen Wirkungen befragt.

Evaluierungsziel war die Gesamtbetrachtung der Umsetzung von HORIZON 2020 und ERA in Österreich, ergänzt durch die drei europäischen Initiativen EUREKA, COSME und EEN. Dabei steht die Analyse des Designs und der Ausrichtung sowie der Umsetzung der Formate und Unterstützungsleistungen mit Blick auf deren Effizienz und Effektivität im Vordergrund. Die Evaluierung setzte auf einem sehr breiten Methodenportfolio auf.

Die Evaluierung überprüfte, inwieweit das 2011 etablierte Leitkonzept für eine innovationsfördernde öffentliche Beschaffung (IÖB) erfolgreich umgesetzt wurde bzw. ob das entsprechende Setting eine effiziente Umsetzung ermöglicht. Die Evaluierung basiert auf einer Mischung aus quantitativen und qualitativen Methoden und hat auch mithilfe eines internationalen Vergleichs Handlungsempfehlungen für die weitere Umsetzung entwickelt. Die Studie wurde in Kooperation mit der VDI/VDE Innovation und Technik GmbH, Jakob Edler und Joanneum Research durchgeführt.

Das FFG Programm BRIDGE fokussiert sich auf die Förderung von grundlagenforschungsnahen Projekten, die von Forschungsinstituten in Abstimmung mit Unternehmen aus der Industrie bearbeitet, und damit einer industriellen Verwertung nähergebracht werden sollen. Zu diesem Zweck ist das Programm auf zwei Programmlinien aufgeteilt, damit Forschungsprojekte schrittweise, mit etwas unterschiedlichen Rahmenbedingungen weiterentwickelt werden können. Die Evaluierung, die von der KMU Forschung Austria in Kooperation mit inspire research Beratungsgesellschaft m.b.H. durchgeführt wurde, umfasst den Zeitraum 2009 bis 2016 und basierte auf einem breit gefächerten Methodeneinsatz, der quantitative und qualitative Elemente integrativ zur Beantwortung der Evaluierungsfragen vereint.

In dieser Studie werden sämtliche Maßnahmen und Programme der unternehmensbezogenen Wirtschafts- und Forschungsförderung des Landes Oberösterreich im Sinne eine Portfolioevaluierung analysiert. Im Fokus stehen dabei Komplementaritäten bzw. mögliche Doppelgleisigkeiten der einzelnen Förderungen hinsichtlich ihrer Förder- bzw. Wirkungslogiken, die Eignung des Förderportfolios hinsichtlich zukünftiger Herausforderungen Oberösterreichs, die potenziellen Lenkungseffekte der Förderungen sowie die unterschiedlichen Förderinstrumente.

Die KMU Forschung Austria kooperierte mit dem Fonds zur Förderung der wissenschaftlichen Forschung (FWF) zum Evaluierungsvorhaben der deutschen Leibniz Forschungsverbünde und WissenschaftsCampi. Der eingesetzte Methodenmix bestand aus der Entwicklung von Interventionslogiken, der Analyse von Monitoringdaten, Befragungen und Fallstudien. Dies diente der Erarbeitung von zwei Dossiers, welche die Basis für die Beurteilung der beiden Instrumente durch zwei international besetzte akademische Panels bildete.

Die Evaluierung der Förderungsgesellschaften AWS und FFG widmete sich insbesondere der Erreichung von Erwartungen und Zielen, der vor mehr als 10 Jahren im Rahmen der Strukturreform erfolgten Zusammenführung der jeweiligen Vorgängerorganisationen in die beiden Agenturen. Sie basierte auf einem umfangreichen Mix aus quantitativen und qualitativen Erhebungsmethoden und analysierte vor diesem Hintergrund die organisatorische und inhaltliche Funktionsweise sowie die systemimmanenten Eigenschaften, Funktionslogiken und Wirkungen der beiden Agenturen. Darüber hinaus wurden verschieden Szenarien für die Weiterentwicklung und zukünftige Governance der beiden Agenturen entwickelt.

Ansprechperson: Peter Kaufmann

Zum Bericht

Mayring, P. / Kerlen, C. / Sheikh, S. / Hense, J. / Schwab, O. (2017): Zwanzig Jahre DeGEval – Historie, Entwicklungen, Herausforderungen. In: Zeitschrift für Evaluation, Themenheft: Zwanzig Jahre DeGEval, 16 (2) 13-33

Der Beitrag versucht die Tätigkeiten der DeGEval in den zwanzig Jahren ihres Bestehens zu bilanzieren. Dazu werden zunächst Schlaglichter auf ihre historische Entwicklung geworfen. Dann werden aufgrund einer inhaltsanalytischen Auswertung der Zeitschrift für Evaluation, zentrale Thematiken der Arbeit analysiert. Weiterhin werden die Handlungsfelder der DeGEval, hier in Form der Arbeitskreise, diskutiert. Dann werden die Produkte der Arbeit, hier vor allem die Standards für Evaluation, vorgestellt. Ein Überblick über die internationale Vernetzung der DeGEval wird gegeben. Schließlich wird die Mitgliederentwicklung nachgezeichnet, die ein sehr positives Bild zeigt. Eine Bilanz am Ende des Beitrags zeigt, dass die Ziele der DeGEval, wie sie bei der Gründung formuliert wurden, zum großen Teil als erfüllt gelten können. Ansatzpunkte für die weitere Arbeit werden aufgeführt.

Ziel der Evaluierung war es, auf Ebene der Antragsteller*innen Auswirkungen zu identifizieren, die dem Instrument der steuerlichen Forschungsförderung zugeordnet werden können. Der Fokus lag auf Auswirkungen in den Bereichen: Additionalität, Steuerungseffekte auf Projekt- und Standortentscheidungen und Wechselwirkungen mit der direkten Forschungsförderung. Darüber hinaus erfolgten ein internationaler Vergleich sowie die Entwicklung von Szenarien für die zukünftige Ausgestaltung einer indirekten Forschungsförderung in Österreich. Das Projekt wurde mit dem Kooperationspartnern WPZ Research und IHS durchgeführt.

Es besteht ein eindeutiger positiver Zusammenhang zwischen F&E-Aktivitäten und Unternehmensentwicklung. FFG Projekte spielen bei F&E-intensiven Unternehmen eine zentrale Rolle. Insbesondere sind FFG-Projekte von schnell wachsenden Unternehmen ein zentraler Bestandteil für den Forschungserfolg und Unternehmenswachstum. Dieser Bericht (KMU Forschung Austria in Kooperation mit dem WIFO) untersucht den Zusammenhang zwischen F&E-Aktivitäten, Beschäftigungswachstum und der Exportquote; Welche Gruppe von F&E-aktiven Unternehmen eine hohe Beschäftigungswirkungen aufweisen; Welche Unternehmenscharakteristika und Projektmerkmale schnell wachsende Unternehmen im Vergleich zu Unternehmen mit moderatem Wachstum aufweisen; Welche Kriterien zur Auswahl von Projekten geeignet sind, wenn ein möglichst hohes Arbeitsplatzpotential generiert werden soll.

Ziel der Studie war die Identifikation von validen Indikatoren zum Monitoring von Wirkungen des heterogenen FFG Förderportfolios. Hierzu wurde über die Entwicklung von Wirkungslogiken für die Förderungs- und Finanzierungsinstrumente der FFG hinaus ein partizipativer Prozess umgesetzt, um den Bedürfnissen der unterschiedlichen Stakeholder-Gruppen gerecht zu werden. Das Ergebnis ist ein am internationalen Best Practice orientiertes Indikatorenset für die Förderungen der FFG, das als Grundlage für ein wirkungsorientiertes Monitoring des Portfolios dient. Die Studie wurde in Kooperation mit dem AIT Austrian Institute of Technology GmbH durchgeführt.

Ziel der Evaluierung war es, Informationen über die Wirkungen, Prozesse und die Zugänglichkeit der aws-Garantieprogramme zu erheben und zu bewerten sowie darauf aufbauend Grundlagen für etwaige Verbesserungen bzw. eine Neuausrichtung zu schaffen. Neben Dokumenten- und Datenanalysen wurden zwei Online-Befragungen (bei Unternehmen und Bankenvertreterinnen und
-Vertretern) sowie ein Kontrollgruppenvergleich auf Basis der Bilanzdatenbank der KMU Forschung Austria durchgeführt.

Die Evaluierung beinhaltet eine Analyse des Designs, des Managements und der Wirkungen der Programme sowie deren Einbettung in die österreichische und europäische Förderlandschaft.

Als Ergebnis kann festgehalten werden, dass sowohl START als auch der Wittgenstein-Preis einzigartig in der österreichischen Förder- und Forschungslandschaft sind: Das START-Programm ist das einzige Programm in Österreich, das eine Art "Startpaket" für eine wissenschaftliche Karriere von vielversprechenden NachwuchsforscherInnen bereit hält. Der Wittgenstein-Preis ist die einzige Förderung, die dem Prinzip "Finanziere Menschen, nicht Projekte" folgt.

Ziel der Studie war die Entwicklung eines Modells und einer Methodik, mit Hilfe dessen sich soziale Wirkungen von Förderprogrammen in der Mobilitätsforschung abschätzen lassen. Da dies ein relativ neuer Bereich in der Abschätzung von Wirkungen von FTI Politik darstellt, waren davon auch Lerneffekte für andere FTI Programme abzuleiten. Das Projekt wurde in Kooperation mit netwiss OG durchgeführt.
 
  

Im Rahmen dieses Projektes wurde ein Gutachten als wissenschaftliche und administrative Grundlage für die Erarbeitung eines Evaluationsplans für eines der größten Innovationsprogramme Europas ausgearbeitet. In einem zweiten Schritt wurde in enger Abstimmung mit dem BMWi der Evaluationsplan für die Programmperiode 2015-2019 erarbeitet, der bei der Europäischen Kommission zur Notifizierung eingereicht wurde.

Die gemeinsame FTI-Strategie 2020 der Bundesregierung enthält u.a. die Ziele einer nachhaltigen Reform des österreichischen Bildungssystems und der Stärkung der Innovationskraft von Unternehmen. Das erste Ziel steht im Zusammenhang mit einer Optimierung der Rahmenbedingungen für FTI sowie einer Verbesserung des Bildungs- und Innovationssystems und der Steigerung von Qualität und Quantität des Humanpotenzials für FTI in Österreich. Das zweite Ziel geht einher mit einer Intensivierung der angewandten Forschung und des Technologietransfers mit Fokus auf KMU. Die Evaluierung analysierte die Zweckmäßigkeit der Instrumente (Qualifizierungsseminare, Qualifizierungsnetze und Innovationslehrveranstaltungen mit tertiärem Charakter) und die Einbettung des Programms ins Förderportfolio sowie die Umsetzung und Wirkungen des Programms.

Das Luftfahrtprogramm TAKE OFF wurde einer ex-post Programmevaluation unterzogen, die eine Designevaluierung und eine Wirkungsanalyse umfasst. Besondere Herausforderungen lagen neben der internationalen Einbettung des Luftfahrtsektors, mit den damit verbundenen parallellaufenden Prozessen, auch bei den langen Forschungs-, Innovations- und Entwicklungszyklen in der Luftfahrtindustrie. Zusätzlich zu gängigeren methodischen Zugängen in der Evaluation erfolgte in dieser Evaluierung eine konzeptionelle Überprüfung des Programmdesigns anhand eines Wirkungsmodells sowie dessen Einbettung in das FTI-Programmportfolio. Zur Berücksichtigung der langen Entwicklungszeiten wurde mit internationalen Definitionen von Technologiereifegraden gearbeitet; und es wurde eine Input-Output Analyse zur Schätzung von aggregierten Wirkungen im Vergleich mit den Ergebnissen in der Bundesrepublik Deutschland ausgearbeitet.

Die Studie wurde in Kooperation mit Economic Trends Research und Dr. Christiane Kerlen Evaluation und Beratung durchgeführt.

Mit den Innovationsschecks versucht die österreichische Bundesregierung die Grundgesamtheit der F&E-aktiven Unternehmen in Österreich zu erhöhen, indem neue Kooperationsbeziehungen zwischen KMU und Forschungseinheiten etabliert werden. Der Innovationsscheck Plus wurde 2011 mit dem Rational eingeführt, dass für eine Reihe von KMU eine vertiefende Analyse notwendig ist, um F&E-Aktivitäten tatsächlich aufzunehmen. Anhand dieser Zwischenevaluierung wurde überprüft, welche Effekte das Programm im Jahr 2014 bereits zeigte, und inwiefern die dem Programm zugrunde liegende Hypothese erhärtet werden konnte.

Die Evaluierung der Strategieprogramme „Intelligente Verkehrssysteme und Services“ (IV2S und IV2Splus) hat Informations- und Lenkungsfunktion. Sie umfasst Elemente der Konzept-, Prozess- und Wirkungsevaluierung. Eine Umfeldanalyse innerhalb des Projektes untersuchte auch die Forschungsförderung im Themenfeld Verkehr und Mobilität jenseits der beiden Strategieprogramme.

Ziel der Evaluierung war die Bewertung der Effekte der beiden Initiativen des 7. EU-Forschungsrahmenprogramms („Kooperation“ „Forschung zugunsten von KMU“) auf die teilnehmenden KMU, einschließlich der Auswirkungen auf die Wirtschaftsleistung, auf Verhaltensadditionalität und Innovation. Darüber hinaus wurde eine Bewertung der Relevanz, des europäischen Mehrwerts, der Effizienz und Effektivität der Initiativen vorgenommen. Methodisch wurde dabei u.a. auf eine Befragung von 400 geförderten KMU und 150 Fallstudien zu entsprechenden Forschungs- und Entwicklungsprojekten zurückgegriffen sowie mithilfe einer Kontrollgruppe die ökonomische Performanz der geförderten KMU verglichen.

Die Evaluierung begleitete das Impulsprogramm "Laura Bassi Centres of Expertise" bis Anfang 2014. Sie wurde als strategische Prozessbegleitung mit formativen Elementen verstanden, mit einem Fokus auf Lernmöglichkeiten und mit klaren Empfehlungen zur Programmsteuerung. Gegenstand der Evaluierung war auch die Frage, inwieweit hier neue und übertragbare Ansätze für FTI-Förderungen an der Schnittstelle von Wissenschaft und Wirtschaft unter besonderer Berücksichtigung von Gender-Aspekten entwickelt werden. Projektpartner der KMU Forschung Austria war das ISI Karlsruhe.