Course Syllabus
Obiettivi formativi
Il secondo modulo 'Politiche Pubbliche: Valutazione' presenterà agli studenti, in modo accessibile, i principali metodi analitici utili a dare un giudizio, empiricamente fondato, sul successo di una politica pubblica volta ad affrontare uno specifico problema collettivo. Intuitivamente, il modulo aiuterà gli studenti a comprendere cosa significhi stabilire se una politica pubblica abbia "avuto successo", abbia prodotto i “risultati sperati” o meno, e quali strumenti/metodi possano essere utilizzati a questo scopo.
Alla fine del modulo, gli studenti saranno in grado di:
- Distinguere tra percezione ed evidenza dei risultati conseguiti da una politica pubblica;
- Valutare la robustezza delle evidenze empiriche prodotte da politici e policy makers nel dibattito pubblico a sostegno del successo di una politica pubblica;
- Comprendere il contenuto e discutere in modo critico esempi di valutazione pubblicati sulle principali riviste di settore nazionali e internazionali;
- Applicare i principali metodi di valutazione di impatto basati sulla logica controfattuale a casi di studio ispirati a politiche pubbliche reali, ma semplificati a livello di base-dati a scopo didattico.
Contenuti sintetici
Il secondo modulo 'Politiche Pubbliche: Valutazione' affronterà i seguenti argomenti:
- Valutare il successo di una politica pubblica: che cosa vuol dire e a cosa serve.
- La logica controfattuale e il modello di Rubin.
- Lo studio controllato randomizzato.
- La differenza nelle differenze.
- L'analisi di regressione.
- L'abbinamento statistico.
- La discontinuità intorno a una soglia.
- L'utilizzo delle variabili strumentali.
- L'analisi delle serie storiche interrotte.
- La policy analysis nell’era dei big data.
Programma esteso
Il secondo modulo "Politiche Pubbliche: Valutazione" si articola in tre parti.
La prima parte, introduttiva, è dedicata a presentare i concetti e i termini chiave della valutazione di impatto delle politiche pubbliche. Una volta acquisito il 'gergo' della valutazione di impatto, gli studenti sono introdotti alla logica controfattuale e sono guidati alla formalizzazione della medesima attraverso il Modello di Rubin.
La seconda parte, la più estesa, presenta metodi consolidati, sperimentali e non-sperimentali, di verifica del successo di uno strumento di policy, di volta in volta enfatizzandone condizioni di applicazione, potenzialità e limiti. In particolare, la seconda parte descrive e presenta applicazioni dei seguenti metodi: lo studio controllato randomizzato, la differenza nelle differenze, l'analisi di regressione, l'abbinamento statistico, la discontinuità intorno a una soglia, l'utilizzo delle variabili strumentali e l'analisi delle serie storiche interrotte.
Infine, la terza parte offre agli studenti un focus in forma seminariale sulle potenzialità e le sfide che l'era dei big data offre all'analisi (argomento affrontato nel Modulo I) e alla valutazione delle politiche pubbliche.
Prerequisiti
Gli studenti possono partecipare alle lezioni, alle esercitazioni in classe, alla prova intermedia e finale e al lavoro di gruppo del secondo modulo "Politiche Pubbliche: Valutazione" anche se non hanno ancora sostenuto la prova scritta del primo modulo "Politiche Pubbliche: Decisione e Implementazione" (Prof.ssa Erica Melloni). Tuttavia, è importante che gli studenti conoscano i concetti chiave e gli argomenti trattati nel primo modulo "Politiche Pubbliche: Decisione e Implementazione".
Per il resto, i requisiti per il secondo modulo "Politiche Pubbliche: Valutazione" sono minimi. Il modulo presuppone solo una discreta conoscenza dell'algebra e una comprensione di base della statistica descrittiva e inferenziale.
Metodi didattici
Il secondo modulo "Politiche Pubbliche: Valutazione" alternerà lezioni frontali (ma partecipate), esercitazioni in classe e lavori di gruppo.
Modalità di verifica dell'apprendimento
Il programma d'esame è identico per gli studenti frequentanti e non-frequentanti. Tuttavia, la modalità di verifica dell'apprendimento è diversa. La frequenza alle lezioni non è obbligatoria, ma è fortemente consigliata data la natura degli argomenti trattati in questo secondo modulo.
Data la possibilità di seguire il corso anche a distanza (online), la distinzione tra studenti frequentanti e non frequentanti si basa sulla "partecipazione attiva" dello studente, non importa se in presenza fisica o virtuale, alle esercitazioni e ai lavori di gruppo.
Gli studenti che parteciperanno alle esercitazioni e ai lavori di gruppo, in quanto "partecipanti attivi", potranno accedere alla modalità di verifica dell'apprendimento per gli studenti frequentanti.
La modalità di verifica dell'apprendimento per gli studenti frequentanti prevede:
- Prova intermedia scritta sulla prima parte del programma (10 domande in 2 ore di tempo). La prova prevede domande a risposta multipla, completamento di tabelle, semplici esercizi di calcolo e brevi domande a risposta aperta (max 6 righe). Valutazione 0-31. Nota bene: qualora lo studente ottenga un voto <18 o decida di rifiutare il voto della prima prova intermedia perché insoddisfacente, potrà sostenere una prova scritta per frequentanti sull'intero programma alla fine del corso (si legga di seguito).
- Un lavoro di gruppo. In piccoli gruppi (max 5 persone), gli studenti devono leggere, comprendere, presentare e discutere in classe in modo critico in inglese un paper scientifico pubblicato su una rivista internazionale in materia di valutazione di impatto delle politiche pubbliche. Valutazione: fino a +3 punti da sommare alla media tra la prova intermedia e la prova finale. Nota bene: qualora lo studente abbia ottenuto un voto <18 o abbia rifiutato il voto della prima prova intermedia, i potenziali +3 si sommeranno al voto della prova scritta per frequentanti sull'intero programma alla fine del corso.
- Prova finale scritta sulla seconda parte del programma (10 domande in due ore). In particolare, una domanda aperta da 4 punti riguarderà il paper affrontato dallo studente in occasione del lavoro di gruppo. Valutazione 0-31. Nota bene: qualora lo studente ottenuto un voto <18 o abbia rifiutato il voto della prima prova intermedia, la prova finale riguarderà l'intero programma. Anche in questo caso, una domanda aperta da 4 punti riguarderà il paper letto in occasione del lavoro di gruppo.
Il voto finale del secondo modulo "Politiche Pubbliche: Valutazione" è dato dalla media delle due prove scritte (intermedia e finale), alla quale si sommano fino a +3 punti derivanti dal lavoro di gruppo.
Per gli studenti che abbiano ottenuto un voto <18 o abbiano rifiutato il voto della prima prova intermedia perché per loro insoddisfacente, il voto finale del secondo modulo "Politiche Pubbliche: Valutazione" è dato dalla prova finale scritta, alla quale si sommano fino a +3 punti derivanti dal lavoro di gruppo.
Come riportato nel calendario, le prove per frequentanti si tengono solo nelle date 30 marzo (prima prova intermedia) e 15 giugno (prova finale sulla seconda parte del programma o prova finale sull'intero programma). Coloro che non sosterranno l'esame in queste date, che prenderanno una media finale <18 o che rifiuteranno la media finale perché insoddisfacente, saranno considerati automaticamente non frequentanti e quindi dovranno seguire le informazioni di seguito riportate.
La modalità di verifica dell'apprendimento per gli studenti non frequentanti, invece, prevede un'unica prova scritta finale sull'intero programma (10 domande in 2 ore di tempo). La prova prevede domande a risposta multipla, completamento di tabelle, esercizi di calcolo e brevi domande a risposta aperta (max 6 righe). Valutazione 0-31. Nota bene: il programma d'esame è identico a quello degli studenti frequenti. Tuttavia, gli studenti non frequentanti non beneficiano né della domanda aperta da 4 punti inerente il paper affrontato in occasione del lavoro di gruppo, né dei potenziali +3 punti per il lavoro di gruppo da sommare alla valutazione finale.
Il voto finale dell'insegnamento 'Politiche Pubbliche' è dato dalla media dei voti conseguiti nei moduli 1 e 2. Gli studenti la cui media finale sia <18 devono necessariamente ripetere una o entrambe le prove scritte. Gli studenti con media finale >18, ma insoddisfatti del voto, possono richiedere via mail alla docente di sostenere un ulteriore esame orale sul programma di entrambi i moduli. In base alla qualità delle loro risposte, la media finale delle due prove scritte potrà essere aumentata del 10% o abbassata.
Testi di riferimento
Il programma d'esame è identico per gli studenti frequentanti e non-frequentanti e prevede:
- Martini, Alberto, e Marco Sisti (2009), Valutare il successo delle politiche pubbliche, Bologna: il Mulino, capp. Introduzione, 1; 6, 7, 8, 9, 10, 11, 12, 13, 14, 16.
- Damonte A., Negri F. (eds, forthcoming in February 2022). Causality in Policy Studies - A Pluralist Toolbox, Springer Series “Texts in Quantitative Political Analysis”, Cham (Switzerland): Springer Nature, capp. 3, 4.
- Costalli, S., & Negri, F. (2021). Looking for twins: How to build better counterfactuals with matching. Italian Political Science Review/Rivista Italiana Di Scienza Politica, 51(2), 215-230. doi:10.1017/ipo.2021.1
- Ceron, Andrea, e Fedra Negri (2015). “Public policy and social media: How sentiment analysis can support policy-makers across the policy cycle”. Rivista Italiana di Politiche Pubbliche 10(3): 309-338.
Learning objectives
The second module 'Public Policies: Evaluation' provides a gentle introduction to the main analytical methods used to make an empirically based judgment on the success of a public policy. Intuitively, the module helps students understanding what does it means to establish whether a public policy has "succeeded", has produced the "desired results" or not, and which tools/methods can be used for this purpose.
By the end of the module, students will be able to:
- Distinguish between perception and evidence of the results achieved by a public policy;
- Evaluate the robustness of the empirical evidences put forward by politicians and policy makers in the public debate in support of the success of a public policy;
- Understand the content and critically discuss evaluation examples published in leading national and international journals in the field;
- Apply the main impact assessment methods based on the counterfactual logic to case studies inspired by real public policies, but simplified in terms of data for didactic purposes.
Contents
The second module 'Public Policies: Evaluation' will address the following topics:
- Evaluating the success of a public policy: what it means and what is it for.
- The counterfactual logic and Rubin's model.
- Randomized controlled trials.
- Difference in differences.
- Regression analysis.
- Statistical matching.
- Regression discontinuity design.
- Instrumental variables approach.
- Interrupted time series.
- Policy analysis in the era of big data.
Detailed program
The second module "Public Policies: Evaluation" is divided into three parts.
The first introductory part presents the key concepts and vocabulary of public policy impact evaluation. Once the 'jargon' of impact evaluation has been acquired, students are introduced to the counterfactual logic and are guided to formalize it through the Rubin's Model.
The second part, the most extensive, presents consolidated experimental and non-experimental methods to assess the success of a public policy, each time emphasizing their conditions of application, potential and limits. In particular, the second part describes and presents applications of the following methods: randomized controlled trials, difference in the differences, regression analysis, statistical matching, regression discontinuity design, instrumental variables approach, and interrupted time series.
Finally, the third part offers students a focus in a seminar format on the potential and challenges that the era of big data poses to policy analysis (topic addressed in Module I) and evaluation.
Prerequisites
Students are allowed to attend classes, to join class exercises, to take the mid-term and final exams and to do the team work of the second module "Public Policies: Evaluation" even if they have not yet taken the written exam of the first module "Public Policies: Decision and Implementation" ( Prof. Erica Melloni). However, they have to be familiar with the topics covered by the first module "Public Policies: Decision and Implementation". Besides, the requirements for the second module "Public Policies: Evaluation" are minimal. It assumes only a decent knowledge of algebra and a basic understanding of descriptive and inferential statistics.
Teaching methods
The second module "Public Policies: Evaluation" will make use of standard lectures (with Q&A), class exercises and team work.
Assessment methods
The program is the same for attending and non-attending students. However, the way in which learning is verified is different. Attendance is not compulsory, but it is warmly suggested given the nature of the topics covered in this second module.
Given the possibility of attending the module even remotely (online), the distinction between attending and non-attending students is based on the "active participation" of the student to exercises and team works.
Students who participate to the exercises and team works are "active participants" and thus will be able to access the exam for attending students.
The exam for attending students includes:
- An intermediate written exam on the first part of the program (10 questions in 2 hours). The test includes multiple choice questions, table completion, simple calculationsand short open-ended questions (max 6 lines). Scores 0-31. Students scoring <18 or willing to retake the exam will be allowed to take a final written exam for attending students at the end of the module.
- A team work. In small groups (max 5 people), students must read, understand, present and critically discuss in English a scientific paper published in an international journal on public policy impact evaluation. Evaluation: up to +3 points to be added to the average between the intermediate and the final exam (or to the score of the final exam for students scoring <18 or willing to retake the first intermediate exam).
- Final written exam on the second part of the program (10 questions in two hours). Note: an open question concerns the paper read by the student during the team work and grants up to 4 points. Scores: 0-31. Students scoring <18 or willing to retake the first intermediate exam, will have a final written test for attending students on the whole program (open 4 points question on the team work included).
The final mark of the second module "Public Policies: Evaluation" is given by the average of the two written exams (intermediate and final), to which are added up to +3 points deriving from team work. For students scoring <18 or unsatisfied by their first intermediate exam, the final mark of the second module "Public Policies: Evaluation" is given by the final written exam for attending students, to which are added up to +3 points deriving from team work.
The exam for non-attending students, instead, is a single final written test on the entire program (10 questions in 2 hours). The test includes multiple choice questions, table completion, calculations and short open-ended questions (max 6 lines). Rating 0-31. Please note: the program is identical to that of attending students. However, non-attending students do not benefit from either the 4-point open question regarding the paper read during the team work, or the potential 3 points for team work to be added to the final evaluation.
The final mark of the course 'Public Policies' is given by the average of the scores achieved in Module 1 and Module 2. Students whose final average is <18 must necessarily retake one or both of the written tests. Students with a final average >18, but dissatisfied with the grade, may ask the Professor via email to take a further oral exam on the program of both modules. Based on the quality of their answers, the final average of the two written tests can be increased by 10% or lowered.
Textbooks and Reading Materials
The program is the same for attending and non-attending students and includes:
- Martini, Alberto, e Marco Sisti (2009), Valutare il successo delle politiche pubbliche, Bologna: il Mulino, capp. Introduzione, 1; 6, 7, 8, 9, 10, 11, 12, 13, 14, 16.
- Damonte A., Negri F. (eds, forthcoming in February 2022). Causality in Policy Studies - A Pluralist Toolbox, Springer Series “Texts in Quantitative Political Analysis”, Cham (Switzerland): Springer Nature, capp. 3, 4.
- Costalli, S., & Negri, F. (2021). Looking for twins: How to build better counterfactuals with matching. Italian Political Science Review/Rivista Italiana Di Scienza Politica, 51(2), 215-230. doi:10.1017/ipo.2021.1
- Ceron, Andrea, e Fedra Negri (2015). “Public policy and social media: How sentiment analysis can support policy-makers across the policy cycle”. Rivista Italiana di Politiche Pubbliche 10(3): 309-338.