Die deutsche Version des Textes finden Sie weiter unten.
Vor einiger Zeit haben sich Wirtschaftswissenschaftler eine Methode aus der medizinischen Forschung angeeignet, die randomisierte kontrollierte Studien genannt wird und zum "goldenen Standard" für den Nachweis kausaler Auswirkungen einer politischen Maßnahme geworden ist. Könnten sie auch dazu beitragen, die Energieeffizienzlücke zu schließen? In diesem Blogartikel argumentiere ich, warum sie das könnten, aber auch, warum sie kein Allheilmittel sind.
Nächsten Dienstag (10. Dezember) findet die 2019 Nobelpreis für Wirtschaftswissenschaften wird offiziell an drei empirische Forscher verliehen, die randomisierte kontrollierte Studien (RCT) als Methode zur Bewertung der Wirtschaftspolitik, insbesondere im Bereich der Entwicklungsökonomie, eingeführt haben. Eine der Preisträgerinnen, Esther Duflo, ist nach Elinor Ostrom erst die zweite Frau, die diesen Preis erhält. Die Arbeiten von Esther Duflo, Michael Kremer und Abhijit Banerjee haben "unsere Fähigkeit, die Armut in der Praxis zu bekämpfen, drastisch verbessert", so das Nobelkomitee. Weiter heißt es, dass "In nur zwei Jahrzehnten hat ihr neuer, experimenteller Ansatz die Entwicklungsökonomie verändert.". Evidenzbasierte Folgenabschätzungsforschung gibt es schon seit langem, um politischen Entscheidungsträgern bei der Gestaltung wirksamerer politischer Instrumente zu helfen. In den frühen 1990er Jahren übernahmen die so genannten "Randomistas" - Verfechter von RCTs, wie die drei Gewinner - die Idee der klinischen Studien in der Medizin und passten sie an reale wirtschaftliche Entscheidungssituationen an, die in den Wirtschaftswissenschaften untersucht wurden.
Aber wie funktioniert ein RCT eigentlich?
Das grundlegende Problem bei der Messung der kausalen Auswirkungen eines politischen Instruments besteht darin, dass wir irgendwie eine so genannte kontrafaktische Situation finden oder konstruieren müssen (siehe Abbildung 1). Die kontrafaktische Situation ist die Situation, die eingetreten wäre, wenn es die Maßnahme nicht gegeben hätte, also etwas, das in der realen Welt nicht existiert und daher nicht beobachtbar ist. Eine RCT kann dieses Problem lösen, indem die Studienteilnehmer einfach randomisiert werden: Die Randomisierung zielt darauf ab, eine Gruppe zu bilden, die stellvertretend für das Verhalten der behandelten Personen steht, wenn sie nicht behandelt worden wären.
Abbildung 1: Das Grundproblem der wirtschaftlichen Folgenabschätzung besteht darin, die Differenz zwischen dem tatsächlichen Ergebnis (blau dargestellt) und einer kontrafaktischen Situation zu messen, die nie beobachtet wird (rot dargestellt). Methoden der Wirkungsevaluierung müssen daher irgendwie immer die kontrafaktische Situation konstruieren, um die Wirkung der Intervention zu schätzen.
Wie das funktioniert, erklärt Dina Pomeranz in ihrem Artikel die sich an Nicht-Ökonomen richtet: "Das Ziel von RCTs ist es, von Beginn der Intervention an eine ideale Vergleichsgruppe zu schaffen. Die Studienteilnehmer werden nach dem Zufallsprinzip entweder für die Behandlung oder für die Vergleichsgruppe ausgewählt. Eine solche zufällige Zuweisung stellt sicher, dass die Personen in der Behandlungs- und der Kontrollgruppe im Durchschnitt gleich sind, z. B. in Bezug auf sozioökonomische Faktoren. Die Forscher können daher die Möglichkeit ausschließen, dass der gemessene Effekt auf einen systematischen Unterschied zwischen der Behandlungs- und der Kontrollgruppe zurückzuführen ist.
Esther Duflo und ihr Team entwickelten ein Pilotprogramm, bei dem kleine Geldtransfers an Eltern von Kindern im schulpflichtigen Alter in armen, ländlichen Gemeinden in Marokko. Die Ökonomen wählten 320 Schulzweige in den fünf ärmsten Regionen Marokkos aus, von denen 260 nach dem Zufallsprinzip für die Behandlungsgruppe und damit für die Teilnahme an einem zweijährigen Pilotprogramm zur Bildungsförderung ausgewählt wurden. Die anderen 60 Sektoren wurden der Kontrollgruppe zugewiesen, die nicht am Programm teilnahm. In allen Schulsektoren wurde die Schulbesuchsquote gemessen. Das Programm führte zu einem starken Anstieg des Schulbesuchs bei den Kindern, deren Eltern an dem Programm teilnehmen konnten. Das Pilotprogramm war also wirksam bei der Förderung der Bildung.
Untersuchung von Zufallseffekten in der Energieeffizienzforschung
In den letzten zehn Jahren sind RCTs auch in anderen Bereichen der Wirtschaftswissenschaften zu einer beliebten Methode geworden. In der Energiewirtschaft sind sie besonders nützlich, wenn untersucht werden soll, wie Individuen sich entscheiden, in energieverbrauchende Gebrauchsgüter zu investieren. In einem jüngsten Artikel, Hunt Allcott und Christopher Knittel untersuchten, ob Autokäufer schlecht über den Kraftstoffverbrauch informiert sind und diesem keine Beachtung schenken. Dazu wählten sie Autohändler einer bekannten Automarke in den USA aus und ließen rund 2.000 potenzielle Käufer von Forschungsassistenten fragen, ob sie an einer Umfrage teilnehmen wollten. Den Verbrauchern wurden einige sozioökonomische Fragen gestellt und dann nach dem Zufallsprinzip zugeteilt, ob sie über die Kraftstoffkosten der Autos, die sie am ehesten in Betracht zogen, informiert werden sollten (d. h. behandelte Gruppe) oder nicht (d. h. Kontrollgruppe).
In ähnlicher Weise, aber mit einem anderen Design, hat unsere Forschungsgruppe an der Zentrum für Energiepolitik und -wirtschaft (CEPE) auch ein randomisiertes Experiment im Rahmen des H2020-Projekts durchgeführt PENNY mit rund 600 Schweizer Teilnehmern (siehe Abbildung 2 für den Aufbau des Experiments). Im Gegensatz zur US-Studie besuchten wir die Teilnehmer der Behandlungsgruppe in ihren Wohnungen und versorgten sie anschließend mit maßgeschneiderten Informationen über das finanzielle Einsparpotenzial bei den Energiekosten, das sie durch den Einsatz neuer, energieeffizienter Geräte erzielen könnten.
Abbildung 2: Versuchsplan für das PENNY-Experiment.
Was nun? Beeinflusst die Bereitstellung von Informationen die Kaufentscheidung?
Nach einem Jahr besuchten wir die Haushalte erneut und fragten sie, ob und welche Geräte sie in den letzten 12 Monaten gekauft hatten. Und tatsächlich kauften die Personen, die die Informationen über die finanziellen Einsparungen erhalten hatten, mehr energieeffiziente Geräte. Unser Experiment zeigt also, dass einigen Schweizer Haushalten das Wissen über die Energiekosten bei der Nutzung von Geräten fehlte und dass die Bereitstellung von maßgeschneiderten Informationen darüber eine wirksame Strategie ist, um die Effizienz des Gerätebestands zu steigern.
Allcott und Knittel konnten jedoch keinen Effekt der Informationen feststellen, die sie den Teilnehmern der Behandlungsgruppe zur Verfügung stellten, da diese keine kraftstoffsparenderen Autos kauften. Für dieses Ergebnis liefern sie zwei Interpretationen: Erstens lenkten ihre Maßnahmen zwar für kurze Zeit die Aufmerksamkeit auf den Kraftstoffverbrauch, aber die vermittelten Informationen waren nicht nützlich oder wurden von den Verbrauchern bald vergessen. Und zweitens haben unvollkommene Informationen und Unaufmerksamkeit keine signifikanten systematischen Auswirkungen auf die Fahrzeugmärkte.
Sind das jetzt widersprüchliche Ergebnisse aus der Forschung? Nein, die beiden Studien wurden unter völlig unterschiedlichen Bedingungen und Umständen durchgeführt. In der Studie von Allcott und Knittel wurden die Informationen einmalig am Verkaufsort bereitgestellt, während in unserem Fall die Informationen in den Wohnungen der Menschen bereitgestellt wurden. Die fraglichen langlebigen Energieträger und ihr Markt unterscheiden sich ebenfalls deutlich: Die eine Gruppe traf eine Entscheidung über den Kauf eines neuen Autos, während die andere den Kauf eines neuen Haushaltsgeräts in Betracht zog. Schließlich sind die Teilnehmer der einen Studie aus den USA und die der anderen aus der Schweiz. Der Kontext einer Studie ist wichtig.
Kein Allheilmittel
Eine randomisierte kontrollierte Studie ist eine gute Sache: Sie hilft den politischen Entscheidungsträgern dabei, zu entscheiden, welches Programm eingeführt werden soll oder wie bestehende Programme verbessert werden können. Wenn sie ordnungsgemäß durchgeführt wird, schätzt sie den kausalen Effekt genau und unvoreingenommen. Einfach gesagt, sie misst das, was sie zu messen versucht, sehr gut. Die Forscher nennen dies interne Validität.
Aber in der realen Welt gibt es nichts ohne Mängel: Selbst die "Goldstandard"-Methode hat ihre Tücken EinschränkungenDas ist auch den drei Nobelpreisträgern bewusst. Wie bereits erwähnt, spielt der Kontext eine Rolle, und Studienergebnisse lassen sich möglicherweise nicht auf andere Güter in anderen Kontexten übertragen. Forscher nennen dies externe Validität, die bei RCTs nicht in allen Fällen gegeben ist. Ein weiterer Nobelpreisträger, Angus Deaton, sagt sogar in einem wissenschaftlicher Artikel aus dem Jahr 2018, dass "Forscher vertrauen zu sehr auf RCTs". Und schließlich kann eine RCT zwar viel darüber aussagen, wie man die Welt verbessern kann, aber die Durchführung dieser Forschung kann eine Menge Geld kosten. In einigen Fällen können randomisierte Experimente den politischen Entscheidungsträgern also gute Maßnahmen aufzeigen, um die Energieeffizienzlücke zu schließen, in anderen Fällen sind andere Methoden besser geeignet.
Titelfoto von Chrissie Kremer auf Unsplash.
Bleiben Sie auf dem Laufenden mit dem Energy Blog @ ETH Zürich auf Twitter @eth_energy_blog.
Vorgeschlagene Zitierung: Boogen, Nina. "Can randomized field experiments help close the energy efficiency gap?", Energy Blog @ ETH Zürich, ETH Zürich, December 5, 2019, https://blogs.ethz.ch/energy/randomized-field-experiments/
If you are part of ETH Zurich, we invite you to contribute with your findings and your opinions to make this space a dynamic and relevant outlet for energy insights and debates. Find out how you can contribute and contact the editorial team here to pitch an article idea!
Können randomisierte Feldstudien helfen, die Energieeffizienzlücke zu schließen?
Vor einiger Zeit haben sich Ökonomen eine Methode aus der medizinischen Forschung angeeignet, die randomisierte Feldstudien genannt wird und zum "goldenen Standard" geworden ist, um kausale Wirkungen eines Politikinstrumentes zu messen. Könnten sie auch dazu beitragen, die Energieeffizienzlücke zu schließen? In diesem Blogartikel argumentiere ich, inwiefern dieser Ansatz helfen könnte, aber auch, warum er kein Allheilmittel ist.
Am nächsten Dienstag (10. Dezember) wird der Wirtschaftsnobelpreis 2019 offiziell an drei empirisch Forschende verliehen, die randomisierte Feldstudien (englisch: Randomized Controlled Trials (RCT)) als Methode zur Wirkungsanalyse von Reformen und Interventionen eingeführt haben, insbesondere im Bereich der Entwicklungsökonomie. Eine von ihnen, Esther Duflo, ist erst die zweite Frau, die diesen Preis nach Elinor Ostrom gewinnt. Die Arbeit von Esther Duflo, Michael Kremer und Abhijit Banerjee habe "unsere Fähigkeit, Armut in der Praxis zu bekämpfen, drastisch verbessert", berichtete das Nobelkomitee. Weiter hiess es, dass "Ihr neuer experimenteller Ansatz hat in nur zwei Jahrzehnten die Entwicklungsökonomie verändert." Evidenzbasierte Wirkungsanalysen gibt es schon seit längerem, insbesondere um Entscheidungsträger*innen bei der Entwicklung von effektiveren politischen Instrumenten zu unterstützen. In den frühen 1990er Jahren nahmen die sogenannten "Randomistas" - Befürworter*innen von randomisierten Feldstudien wie die drei diesjährigen Nobelpreistragenden - die Idee von klinischen Studien in der Medizin auf und passten sie an reale wirtschaftliche Entscheidungssituationen an, die in der Entwicklungsökonomie untersucht werden.
Aber wie funktioniert ein RCT eigentlich?
Das Hauptproblem der Messung der tatsächlichen kausalen Wirkung eines Politikinstrumentes besteht darin, dass man eine sogenannte "kontrafaktische" Situation finden oder konstruieren muss (siehe Abbildung 1). Der Kontrafakt ist der hypothetische Zustand, der sich ergeben hätte, wenn keine Intervention stattgefunden hätte. Also eine Situation, die in der Realität gar nicht beobachtet werden kann. Ein RCT kann dieses Problem beheben, indem es die Teilnehmer der Studie randomisiert: Die Randomisierung zielt darauf ab, eine Gruppe zu bilden, die sich möglichst wie Behandelte verhält, wenn diese gar nie behandelt worden wären.
Abbildung 1: Das grundlegende Problem von ökonomischen Wirkungsanalysen besteht darin, die Differenz zwischen dem tatsächlichen Ergebnis (blau dargestellt) und einer nie beobachteten kontrafaktischen Situation (rot dargestellt) zu messen. Wirkungsanalysen müssen auch irgendwie immer einen Kontrafakt konstruieren, um die kausale Wirkung der Intervention abschätzen zu können.
Wie das funktioniert, erklärt Dina Pomeranz in ihrem Artikel für Nicht-Ökonom*innen: "Ziel von RCTs ist es, von Beginn der Intervention an eine ideale Vergleichsgruppe pro Design zu schaffen. Die Studienteilnehmer werden nach dem Zufallsprinzip entweder der Behandlungs- oder der Vergleichsgruppe zugeordnet." Eine auf Zufall basierende Zuordnung stellt sicher, dass die Personen in den beiden Gruppen im Durchschnitt gleich sind, z.B. in Bezug auf sozioökonomische Faktoren. Wenn dies zutrifft, kann ausgeschlossen werden, dass der gemessene Effekt auf einen systematischen Unterschied zwischen Behandlungs- und Kontrollgruppe zurückzuführen ist.
Esther Duflo und ihr Team entwickelten ein Pilotprojekt, bei dem Eltern von schulpflichtigen Kindern, die in armen ländlichen Gemeinden in Marokko lebten, einen einen kleinen finanziellen Betrag bezahlt bekommen. Die Ökonom*innen wählten rund 320 Schulsektoren in den fünf ärmsten Regionen Marokkos aus, wobei 260 von ihnen nach dem Zufallsprinzip in die Behandlungsgruppe zugeteilt wurden und so an diesem zweijährigen Pilotprogramm zur Bildungsförderung teilnahmen. Die anderen 60 Schulsektoren wurden folglich in die Kontrollgruppe eingeteilt, auch die Gruppe, die nicht am Programm teilnahm. Die Forschenden massen sich in allen Sektoren, wie häufig die Kinder in die Schule gingen. Das Programm führte zu einer starken Zunahme der Anwesenheit in der Schule der Kinder, deren Eltern an diesem Programm teilnehmen konnten. Somit trug die finanzielle Unterstützung zur Förderung der Bildung bei.
Untersuchung kausaler Effekte in der Energieforschung
Solche randomisierten Feldstudien wurden in letzter Zeit auch von anderen Bereichen der Wirtschaftsforschung übernommen. In der Energieökonomie sind sie insbesondere nützlich für Forschungsfragen, in denen man untersuchen möchte, wie Individuen entscheiden, in energieverbrauchende Güter zu investieren. In einem kürzlich publizierten Artikel untersuchen Hunt Allcott und Christopher Knittel, ob Autokäufer*innen schlecht informiert oder unachtsam bezüglich des Energieverbrauchs sind. Dazu wählten sie Händler einer bekannten Automobilmarke in den USA aus. Forschungsassistierende befragten rund 2'000 potenzielle Käufer an den Verkaufsstellen der Autohändler, ob sie an einer Umfrage teilnehmen wollten. Den interessierten Personen wurden einige sozioökonomische Fragen gestellt. Danach wurde nach dem Zufallsprinzip entschieden, ob sie über die Energiekosten der Fahrzeuge, an denen sie interessiert waren, informiert wurden (Behandlungsgruppe) oder nicht (Kontrollgruppe).
In ähnlicher Weise aber mit einem anderen Design haben wir in unserer Forschungsgruppe am Zentrum für Energiepolitik und -wirtschaft (CEPE) im Rahmen des H2020-Projekts PENNY mit rund 600 Schweizer Haushalten ein solches Experiment durchgeführt (siehe Abbildung 2 für das Design des Experiments).
Im Gegensatz zur US-Studie haben wir die teilnehmenden Haushalte in der Behandlungsgruppe besucht und ihnen anschliessend einen Bericht mit massgeschneiderten Informationen abgegeben. Dem Bericht können sie entnehmen, wie viel Geld sie bei den Energiekosten sparen könnten, wenn sie neue, energieeffizientere Geräte anschaffen würden.
Abbildung 2: Gestaltung des PENNY-Experiments.
Was nun: Beeinflusst die zusätzliche Information die Kaufentscheidung?
Nach einem Jahr fragten wir die Haushalte, ob und welche Haushaltsgeräte sie im letzten Jahr gekauft hatten. Tatsächlich kauften Teilnehmende, die unseren Bericht über das Einsparpotential erhalten hatten, energieeffizientere Haushaltsgeräte. So zeigt unser Experiment, dass in einigen Schweizer Haushalten wohl zu wenig Wissen über die Energiekosten bei der Nutzung von Haushaltsgeräten vorhanden ist und dass die Bereitstellung von solchen massgeschneiderten Informationen eine effektive Strategie ist, um eine Effizienzsteigerung des Gerätebestands zu erwirken.
Im Gegensatz dazu fanden Allcott und Knittel keine Wirkung ihrer zusätzlichen Informationsbereitstellung: Die Studienteilnehmer*innen kauften keine energiesparenden Autos. Die beiden Autoren liefern zwei mögliche Erklärungen dafür: Erstens, während ihre Intervention die Aufmerksamkeit für kurze Zeit auf den Energieverbrauch lenkte, waren die von ihnen bereitgestellten Informationen eventuell nicht nützlich, und/oder der Verbraucher vergaß sie schnell wieder. Eine zweite Erklärung wäre, dass unvollständige Informationen und Unaufmerksamkeit keine signifikanten systematischen Auswirkungen auf die Fahrzeugmärkte haben.
Sind das nun widersprüchliche Forschungsergebnisse? Nein! Die beiden Studien wurden unter unterschiedlichen Rahmenbedingungen und Umständen durchgeführt: In der Studie von Allcott und Knittel wurden die Informationen am Verkaufsort bereitgestellt, während in unserem Fall die Informationen zu Hause bereitgestellt wurden. Auch die zwei untersuchten energieverbrauchenden Haushaltsgüter und deren Märkte sind nicht vergleichbar: Die eine Gruppe traf eine Entscheidung über den Kauf eines neuen Autos während die andere Gruppe überlegte, ein neues Haushaltsgerät zu kaufen. Auch der kulturelle Hintergrund ist nicht zu vergessen: die eine Studie wurde in der Schweiz, die andere in den USA durchgeführt. Fazit ist demnach: Der Kontext einer randomisierten Feldstudie ist entscheidend.
Kein Allheilmittel
Eine randomisierte Feldstudie ist eine gute Sache: Sie hilft den Politiker*innen dabei, zu entscheiden, welche Programme sie umsetzen oder wie sie bestehende Programme verbessern können. Wenn sie richtig durchgeführt wird, misst sie den kausalen Effekt auf eine genaue und unvoreingenommene Weise. Einfacher ausgedrückt: Was sie zu messen versucht, misst sie sehr gut. Forschende nennen die interne Validität.
Aber in Wirklichkeit ist nichts perfekt: Auch die "Goldstandard"-Methode hat ihre Grenzen, denen sich auch die drei diesjährigen Nobelpreisträger durchaus bewusst sind. Wie bereits erwähnt, ist der Kontext einer Wirkungsanalyse massgebend, Studienergebnisse sind teilweise nicht auf verschiedene Güter in verschiedenen Kontexten übertragbar. Forschende nennen dies externe Validität, die für randomisierte Studien möglicherweise nicht in allen Fällen gegeben ist. Angus Deaton, ebenfalls Nobelpreisträger, sagt in einen wissenschaftlichen Artikel aus dem Jahr 2018: "Forscher setzen zu viel Vertrauen in RCTs". Und schlussendlich, obwohl solche Studien viel darüber erzählen können, wie die Welt zu einem besseren Ort gemacht werden könnte, benötigen sie auch ein grobes Forschungsbudget. Nichtdestotrotz können randomisierte Experimente in vielen Fällen helfen, die Energieeffizienzlücke zu schließen. In anderen Fällen sind wiederum andere Methoden besser geeignet.
Wenn Sie Teil der ETH Zürich sind, laden wir Sie dazu ein, mit Ihrem Wissen dazu beizutragen, diesen Blog zu einem gelichzeitig dynamischen und relevanten Ort für Einblicke und Diskurse in der Energieforschung zu machen. Erfahren Sie hier, wie Sie die Redaktion kontaktieren können, wenn Sie eine Idee für den nächsten Blogbeitrag haben!
