Wie häufig liefern kausalanalytische Verfahren belastbare Aussagen über die Wirkung der Forschungs-, Technologie- und Innovationspolitik (FTI) in Österreich? Dieser Frage ging die KMU Forschung Austria gemeinsam mit dem WPZ Research, Joanneum Research und der fteval zwischen Juli 2025 und Juli 2026 nach. Dabei wurden österreichische Evaluierungen, internationale Beispiele sowie die Perspektiven von Auftraggeber*innen, Evaluierenden und Umfeldakteur*innen analysiert.

Wichtigste Ergebnisse

Die Studie identifizierte 17 österreichische FTI-Evaluierungen, die kontrafaktische Wirkungsanalysen umfassten. 13 davon sind in den vergangenen zehn Jahren entstanden, was auf eine steigende Bedeutung dieser Methode hinweist. Gleichzeitig erreichen jedoch nur sechs Studien den Mindeststandard für belastbare kausale Evidenz. Als zentrale Ursachen nennt die Analyse kleine, sehr spezifische Förderprogramme mit wenigen Geförderten und kaum vergleichbaren Kontrollgruppen, die gleichzeitige Nutzung mehrerer Förderungen durch dieselben Organisationen, deren Wirkung sich mangels verfügbarer Daten kaum einem einzelnen Programm zuordnen lässt, sowie verzögert verfügbare Daten. Zwischen Förderbeginn und sichtbaren Wirkungen in Statistiken können rund 6,5 Jahre vergehen.

Bedeutung für Wirtschaft, Politik und Gesellschaft

Die Studie sieht großes Potenzial für einen breiteren Einsatz kontrafaktischer Wirkungsanalysen, wenn die Rahmenbedingungen verbessert werden. Dazu zählen ein früher Einbezug von Evaluationen in die Programmgestaltung, ausreichende Budgets, ein umfassender Zugang zu Förderdaten und ein einfacher Zugang zu Mikrodaten. Zudem empfehlen die Autor*innen einen gezielten Kompetenzaufbau bei Evaluierenden und Auftraggeber*innen. Die fteval unterstützt dies mit Trainingsangeboten. Im fteval-Podcast „REvaluation“ über die Zukunft der Forschungspolitik erläutert Jakob Kofler, der die Studie federführend mitverfasst hat, die Ergebnisse, Empfehlungen und Herausforderungen kontrafaktischer Wirkungsanalysen. Gleichzeitig betont die Studie, dass kontrafaktische Analysen qualitative und theoriebasierte Verfahren ergänzen, aber nicht ersetzen können.

zum Preprint Paper