Syllabus del corso
Obiettivi formativi
Il secondo modulo 'Politiche Pubbliche: Valutazione' presenterà agli studenti, in modo accessibile, i principali metodi analitici utili a dare un giudizio, empiricamente fondato, sul successo di una politica pubblica volta ad affrontare uno specifico problema collettivo. Intuitivamente, il modulo aiuterà gli studenti a comprendere cosa significhi stabilire se una politica pubblica abbia "avuto successo", abbia prodotto i “risultati sperati” o meno, e quali strumenti/metodi possano essere utilizzati a questo scopo.
Alla fine del modulo, gli studenti saranno in grado di:
- Distinguere tra percezione ed evidenza dei risultati conseguiti da una politica pubblica;
- Valutare la robustezza delle evidenze empiriche prodotte da politici e policy makers nel dibattito pubblico a sostegno del successo di una politica pubblica;
- Comprendere il contenuto e discutere in modo critico esempi di valutazione pubblicati sulle principali riviste di settore nazionali e internazionali;
- Applicare i principali metodi di valutazione di impatto basati sulla logica controfattuale a casi di studio ispirati a politiche pubbliche reali, ma semplificati a livello di base-dati a scopo didattico.
Contenuti sintetici
Il secondo modulo 'Politiche Pubbliche: Valutazione' affronterà i seguenti argomenti:
- Valutare il successo di una politica pubblica: che cosa vuol dire e a cosa serve.
- La logica controfattuale e il modello di Rubin.
- Lo studio controllato randomizzato.
- La differenza nelle differenze.
- L'abbinamento statistico.
- La discontinuità intorno a una soglia.
- L'utilizzo delle variabili strumentali.
- L'analisi delle serie storiche interrotte.
Programma esteso
Il secondo modulo "Politiche Pubbliche: Valutazione" si articola in due parti.
La prima parte, introduttiva, è dedicata a presentare i concetti e i termini chiave della valutazione di impatto delle politiche pubbliche. Una volta acquisito il 'gergo' della valutazione di impatto, gli studenti sono introdotti alla logica controfattuale e sono guidati alla formalizzazione della medesima attraverso il Modello di Rubin.
La seconda parte, la più estesa, presenta metodi consolidati, sperimentali e non-sperimentali, di verifica del successo di uno strumento di policy, di volta in volta enfatizzandone condizioni di applicazione, potenzialità e limiti. In particolare, la seconda parte descrive e presenta applicazioni dei seguenti metodi: lo studio controllato randomizzato, la differenza nelle differenze, l'abbinamento statistico, la discontinuità intorno a una soglia, l'utilizzo delle variabili strumentali e l'analisi delle serie storiche interrotte.
Prerequisiti
Gli studenti possono partecipare alle lezioni, alle esercitazioni in classe, alla prova intermedia e finale e al lavoro di gruppo del secondo modulo "Politiche Pubbliche: Valutazione" anche se non hanno ancora sostenuto la prova scritta del primo modulo "Politiche Pubbliche: Decisione e Implementazione". Tuttavia, è importante che gli studenti conoscano i concetti chiave e gli argomenti trattati nel primo modulo "Politiche Pubbliche: Decisione e Implementazione".
Per il resto, i requisiti per il secondo modulo "Politiche Pubbliche: Valutazione" sono minimi. Il modulo presuppone solo una discreta conoscenza dell'algebra e una comprensione di base della statistica descrittiva e inferenziale.
Metodi didattici
Il secondo modulo "Politiche Pubbliche: Valutazione" alternerà lezioni frontali (ma partecipate), esercitazioni in classe e lavori di gruppo.
Modalità di verifica dell'apprendimento
Il programma d'esame è identico per gli studenti frequentanti e non-frequentanti. La frequenza alle lezioni non è obbligatoria, ma è fortemente consigliata.
A tutti gli studenti, frequentanti e non-frequentanti, sarà data la possibilità di partecipare ad un lavoro di gruppo. Gli studenti non-frequentanti desiderosi di partecipare al lavoro di gruppo dovranno contattare la docente via mail (fedra.negri@unimib.it) entro il 31 marzo 2023.
La modalità di verifica dell'apprendimento per gli studenti che partecipano al lavoro di gruppo prevede:
- Un lavoro di gruppo. In piccoli gruppi (max 6 persone), gli studenti devono leggere, comprendere, presentare e discutere in modo critico in inglese un paper scientifico pubblicato su una rivista internazionale. Valutazione: fino a +3 punti da sommare al voto della prova scritta.
- Prova scritta finale (10 domande in due ore). Nota bene: una domanda aperta da 4 punti riguarda il paper affrontato dallo studente in occasione del lavoro di gruppo. Valutazione 0-31.
La modalità di verifica dell'apprendimento per gli studenti che non partecipano al lavoro di gruppo prevede una prova scritta finale (10 domande in due ore). Valutazione 0-31. Nota bene: il programma d'esame e le domande 1-9 sono identiche a quelle degli studenti che hanno partecipato ai lavori di gruppo. La domanda 10, invece, sarà diversa.
Testi di riferimento
Il programma d'esame è identico per gli studenti frequentanti e non-frequentanti e prevede:
- Martini, Alberto, e Marco Sisti (2009), Valutare il successo delle politiche pubbliche, Bologna: il Mulino, capp. Introduzione, 1; 6, 7, 8, 9, (10), 11, 12, 13, 14, 16.
- Battistin, E., Bertoni, M. (2023). Counterfactuals with Experimental and Quasi-Experimental Variation. In: Damonte, A., Negri, F. (eds) Causality in Policy Studies. Texts in Quantitative Political Analysis. Springer, Cham. https://doi.org/10.1007/978-3-031-12982-7_3
- Negri, F. (2023). Correlation Is Not Causation, Yet… Matching and Weighting for Better Counterfactuals. In: Damonte, A., Negri, F. (eds) Causality in Policy Studies. Texts in Quantitative Political Analysis. Springer, Cham. https://doi.org/10.1007/978-3-031-12982-7_4
- Costalli, S., & Negri, F. (2021). Looking for twins: How to build better counterfactuals with matching. Italian Political Science Review/Rivista Italiana Di Scienza Politica, 51(2), 215-230. doi:10.1017/ipo.2021.1
Learning objectives
The second module 'Public Policies: Evaluation' provides a gentle introduction to the main analytical methods used to make an empirically based judgment on the success of a public policy. Intuitively, the module helps students understanding what does it means to establish whether a public policy has "succeeded", has produced the "desired results" or not, and which tools/methods can be used for this purpose.
By the end of the module, students will be able to:
- Distinguish between perception and evidence of the results achieved by a public policy;
- Evaluate the robustness of the empirical evidences put forward by politicians and policy makers in the public debate in support of the success of a public policy;
- Understand the content and critically discuss evaluation examples published in leading national and international journals in the field;
- Apply the main impact assessment methods based on the counterfactual logic to case studies inspired by real public policies, but simplified in terms of data for didactic purposes.
Contents
The second module 'Public Policies: Evaluation' will address the following topics:
- Evaluating the success of a public policy: what it means and what is it for.
- The counterfactual logic and Rubin's model.
- Randomized controlled trials.
- Difference in differences.
- Statistical matching.
- Regression discontinuity design.
- Instrumental variables approach.
- Interrupted time series.
Detailed program
The second module "Public Policies: Evaluation" is divided into two parts.
The first introductory part presents the key concepts and vocabulary of public policy impact evaluation. Once the 'jargon' of impact evaluation has been acquired, students are introduced to the counterfactual logic and are guided to formalize it through the Rubin's Model.
The second part, the most extensive, presents consolidated experimental and non-experimental methods to assess the success of a public policy, each time emphasizing their conditions of application, potential and limits. In particular, the second part describes and presents applications of the following methods: randomized controlled trials, difference in the differences, statistical matching, regression discontinuity design, instrumental variables approach, and interrupted time series.
Prerequisites
Students are allowed to attend classes, to join class exercises, to take the mid-term and final exams and to do the team work of the second module "Public Policies: Evaluation" even if they have not yet taken the written exam of the first module "Public Policies: Decision and Implementation". However, they have to be familiar with the topics covered by the first module "Public Policies: Decision and Implementation".
Besides, the requirements for the second module "Public Policies: Evaluation" are minimal. It assumes only a decent knowledge of algebra and a basic understanding of descriptive and inferential statistics.
Teaching methods
The second module "Public Policies: Evaluation" will make use of standard lectures (with Q&A), class exercises and team work.
Assessment methods
The program is the same for attending and non-attending students. Attendance is not compulsory, but it is warmly suggested.
All students, both attending and non-attending, will be given the opportunity to do a teamwork. Non-attending students wishing to join the teamwork have to contact the instructor by email (fedra.negri@unimib.it) by 31 March 2023.
The exam for students with teamwork includes:
- A team work. In small groups (max 6 people), students must read, understand, present and critically discuss in English a scientific paper published in an international journal. Evaluation: up to +3 points to be added to the final exam.
- Final written exam (10 questions in two hours). Note: an open question concerns the paper read by the student during the teamwork and grants up to 4 points. Scores: 0-31.
The exam for students without teamwork is a single final written test (10 questions in 2 hours). Scores: 0-31. Please note: the program and questions 1-9 are identical to that of students with teamwork. Question 10 will be different.
Textbooks and Reading Materials
The program is the same for attending and non-attending students and includes:
- Martini, Alberto, e Marco Sisti (2009), Valutare il successo delle politiche pubbliche, Bologna: il Mulino, capp. Introduzione, 1; 6, 7, 8, 9, (10), 11, 12, 13, 14, 16.
- Battistin, E., Bertoni, M. (2023). Counterfactuals with Experimental and Quasi-Experimental Variation. In: Damonte, A., Negri, F. (eds) Causality in Policy Studies. Texts in Quantitative Political Analysis. Springer, Cham. https://doi.org/10.1007/978-3-031-12982-7_3
- Negri, F. (2023). Correlation Is Not Causation, Yet… Matching and Weighting for Better Counterfactuals. In: Damonte, A., Negri, F. (eds) Causality in Policy Studies. Texts in Quantitative Political Analysis. Springer, Cham. https://doi.org/10.1007/978-3-031-12982-7_4
- Costalli, S., & Negri, F. (2021). Looking for twins: How to build better counterfactuals with matching. Italian Political Science Review/Rivista Italiana Di Scienza Politica, 51(2), 215-230. doi:10.1017/ipo.2021.1
Staff
-
Fedra Negri