Syllabus del corso
Obiettivi formativi
Il secondo modulo 'Politiche Pubbliche: Valutazione' presenterà agli studenti, in modo accessibile, i principali metodi analitici utili a dare un giudizio, empiricamente fondato, sul successo di una politica pubblica volta ad affrontare uno specifico problema collettivo. Intuitivamente, il modulo aiuterà gli studenti a comprendere cosa significhi stabilire se una politica pubblica abbia "avuto successo", abbia prodotto i “risultati sperati” o meno, e quali strumenti/metodi possano essere utilizzati a questo scopo.
Alla fine del modulo, gli studenti saranno in grado di:
- Distinguere tra percezione ed evidenza dei risultati conseguiti da una politica pubblica;
- Valutare la robustezza delle evidenze empiriche prodotte da politici e policy makers nel dibattito pubblico a sostegno del successo di una politica pubblica;
- Comprendere il contenuto e discutere in modo critico esempi di valutazione pubblicati sulle principali riviste di settore nazionali e internazionali;
- Applicare i principali metodi di valutazione di impatto basati sulla logica controfattuale a casi di studio ispirati a politiche pubbliche reali, ma semplificati a livello di base-dati a scopo didattico.
Di conseguenza, il secondo modulo "Politiche Pubbliche: Valutazione" consentirà agli studenti di sviluppare tutti i Descrittori di Dublino (DdD). In particolare:
- DdD 1 – Conoscenze e capacità di comprensione di natura teorica relative alla logica controfattuale e alle principali tecniche di valutazione dell’impatto delle politiche pubbliche.
- DdD 2 – Conoscenze e capacità di comprensione applicate, sviluppate attraverso esercitazioni e analisi di casi studio inerenti alla valutazione dell’impatto delle politiche pubbliche.
- DdD 3 – Autonomia di giudizio e DdD 4 – Abilità comunicative, entrambe promosse tramite la realizzazione di un lavoro di gruppo.
- DdD 5 – Capacità di apprendimento, favorita dalla disponibilità di riferimenti bibliografici e materiali online, utili per approfondire in autonomia i temi e le tecniche affrontati nel corso.
Contenuti sintetici
Il secondo modulo 'Politiche Pubbliche: Valutazione' affronterà i seguenti argomenti:
- Valutare il successo di una politica pubblica: che cosa vuol dire e a cosa serve.
- La logica controfattuale e il modello di Rubin.
- Lo studio controllato randomizzato.
- La differenza nelle differenze.
- La regressione lineare.
- L'abbinamento statistico.
- La discontinuità intorno a una soglia.
- L'utilizzo delle variabili strumentali.
- L'analisi delle serie storiche interrotte.
Programma esteso
Il secondo modulo "Politiche Pubbliche: Valutazione" si articola in due parti.
La prima parte, introduttiva, è dedicata a presentare i concetti e i termini chiave della valutazione di impatto delle politiche pubbliche. Una volta acquisito il 'gergo' della valutazione di impatto, gli studenti sono introdotti alla logica controfattuale e sono guidati alla formalizzazione della medesima attraverso il Modello di Rubin.
La seconda parte, la più estesa, presenta metodi consolidati, sperimentali e non-sperimentali, di verifica del successo di uno strumento di policy, di volta in volta enfatizzandone condizioni di applicazione, potenzialità e limiti. In particolare, la seconda parte descrive e presenta applicazioni dei seguenti metodi: lo studio controllato randomizzato, la differenza nelle differenze, la regressione lineare, l'abbinamento statistico, la discontinuità intorno a una soglia, l'utilizzo delle variabili strumentali e l'analisi delle serie storiche interrotte.
Prerequisiti
Gli studenti possono partecipare alle lezioni, alle esercitazioni in classe, alla prova intermedia e finale e al lavoro di gruppo del secondo modulo "Politiche Pubbliche: Valutazione" anche se non hanno ancora sostenuto la prova scritta del primo modulo "Politiche Pubbliche: Decisione e Implementazione". Tuttavia, è importante che gli studenti conoscano i concetti chiave e gli argomenti trattati nel primo modulo "Politiche Pubbliche: Decisione e Implementazione".
Per il resto, i requisiti per il secondo modulo "Politiche Pubbliche: Valutazione" sono minimi. Il modulo presuppone solo una discreta conoscenza dell'algebra e una comprensione di base della statistica descrittiva e inferenziale.
Metodi didattici
Le lezioni faranno uso dei seguenti metodi didattici:
- Didattica in presenza in modalità erogativa, finalizzata all’esposizione di concetti teorici e contenuti;
- Didattica in presenza in modalità interattiva, caratterizzata da una partecipazione attiva degli studenti attraverso esercitazioni pratiche e discussioni guidate.
In particolare, la maggior parte delle lezioni in presenza sarà strutturata in due sessioni: una prima sessione in modalità erogativa, dedicata all’introduzione di nuovi concetti e contenuti, e una seconda sessione in modalità interattiva, volta a permettere agli studenti di verificare in tempo reale il proprio livello di comprensione.
- È inoltre prevista un'esercitazione in aula della durata di due ore, pensata per simulare la prova d’esame.
- Almeno tre lezioni (il numero potrà variare in base alla partecipazione degli studenti ai lavori di gruppo) saranno organizzate in modalità laboratoriale, per consentire agli studenti di lavorare collettivamente a un progetto e confrontarsi direttamente con la docente.
È possibile che fino a un massimo di tre lezioni (pari a 6 ore, corrispondenti al 14,2% del totale) si svolgano a distanza, in modalità online asincrona, tramite video messi a disposizione anticipatamente dalla docente sulla pagina e-learning del corso. Tali lezioni avranno un formato esclusivamente erogativo, senza interazione in tempo reale.
Il calendario dettagliato, con l’indicazione, per ciascuna lezione, di data, argomenti, modalità didattica e tipologia di svolgimento (in presenza o asincrona online), sarà reso disponibile dalla docente sulla pagina e-learning del corso prima dell’inizio delle lezioni.
Modalità di verifica dell'apprendimento
Il programma d'esame è identico per gli studenti frequentanti e non-frequentanti. La frequenza alle lezioni non è obbligatoria, ma è fortemente consigliata.
A tutti gli studenti, frequentanti e non-frequentanti, sarà data la possibilità di partecipare ad un lavoro di gruppo. Gli studenti non-frequentanti desiderosi di partecipare al lavoro di gruppo dovranno contattare la docente via mail (fedra.negri@unimib.it) entro un mese dalla data di inizio delle lezioni.
La modalità di verifica dell'apprendimento per gli studenti che partecipano al lavoro di gruppo prevede:
- Un lavoro di gruppo. In piccoli gruppi (max 6 persone), gli studenti devono leggere, comprendere, presentare e discutere in modo critico in inglese un paper scientifico pubblicato su una rivista internazionale. Valutazione: fino a +3 punti da sommare al voto della prova scritta. Il lavoro di gruppo consente alla docente di valutare le capacità di approfondimento e riflessione autonoma degli studenti sul programma, nonché le loro capacità di lavoro in team, di problem solving e di comunicazione.
- Prova scritta finale della durata di due ore. La prova sarà composta da 10 domande, tra le quali domande a risposta chiusa (vero/falso, corrispondenze, scelta multipla), esercizi numerici, domande a risposta aperta breve (massimo 5 righe) e una domanda a risposta aperta di media lunghezza (massimo 15 righe). Nota bene: la domanda a risposta aperta di media lunghezza varrà 4 punti e riguarderà il paper scientifico affrontato dallo studente in occasione del lavoro di gruppo. Questa prova scritta consente alla docente di valutare la preparazione dello studente sul programma d'esame. Valutazione 0-31.
La modalità di verifica dell'apprendimento per gli studenti che non partecipano al lavoro di gruppo prevede una prova scritta finale della durata di due ore. La prova sarà composta da 10 domande. Il programma d'esame e le domande 1-9 saranno identiche a quelle degli studenti che avranno partecipato ai lavori di gruppo. La domanda 10 (domanda aperta di media lunghezza), invece, sarà diversa: non avrà per oggetto il paper scientifico affrontato nel lavoro di gruppo, ma verterà sul programma d'esame come le domande 1-9. Questa prova scritta consente alla docente di valutare la preparazione dello studente sul programma d'esame. Valutazione 0-31.
Testi di riferimento
Il programma d'esame è identico per gli studenti frequentanti e non-frequentanti e prevede:
- Martini, A., Sisti, M. (2009), Valutare il successo delle politiche pubbliche, Bologna: il Mulino, capp. Introduzione, 1; 6, 7, 8, 9, (10), 11, 12, 13, 14, 16.
- Battistin, E., Bertoni, M. (2023). Counterfactuals with Experimental and Quasi-Experimental Variation. In: Damonte, A., Negri, F. (eds) Causality in Policy Studies. Texts in Quantitative Political Analysis. Springer, Cham. https://doi.org/10.1007/978-3-031-12982-7_3
- Negri, F. (2023). Correlation Is Not Causation, Yet… Matching and Weighting for Better Counterfactuals. In: Damonte, A., Negri, F. (eds) Causality in Policy Studies. Texts in Quantitative Political Analysis. Springer, Cham. https://doi.org/10.1007/978-3-031-12982-7_4
- Costalli, S., Negri, F. (2021). Looking for twins: How to build better counterfactuals with matching. Italian Political Science Review/Rivista Italiana Di Scienza Politica, 51(2), 215-230. doi:10.1017/ipo.2021.1
Sustainable Development Goals
Learning objectives
The second module 'Public Policies: Evaluation' provides a gentle introduction to the main analytical methods used to make an empirically based judgment on the success of a public policy. Intuitively, the module helps students understanding what does it means to establish whether a public policy has "succeeded", has produced the "desired results" or not, and which tools/methods can be used for this purpose.
By the end of the module, students will be able to:
- Distinguish between perception and evidence of the results achieved by a public policy;
- Evaluate the robustness of the empirical evidences put forward by politicians and policy makers in the public debate in support of the success of a public policy;
- Understand the content and critically discuss evaluation examples published in leading national and international journals in the field;
- Apply the main impact assessment methods based on the counterfactual logic to case studies inspired by real public policies, but simplified in terms of data for didactic purposes.
Consequently, the second module, "Public Policies: Evaluation", will address and enable students to develop all the Dublin Descriptors (DdD). In particular:
- DdD 1 – Theoretical knowledge and understanding of counterfactual logic and the main techniques for evaluating the impact of public policies.
- DdD 2 – Applied knowledge and understanding, developed through exercises and case studies on the evaluation of public policy impacts.
- DdD 3 – Independent judgment and DdD 4 – Communication skills, both fostered through the implementation of a group project.
- DdD 5 – Learning skills, supported by the availability of bibliographic references and online materials to allow students to independently deepen their understanding of the topics and techniques covered in the course.
Contents
The second module 'Public Policies: Evaluation' will address the following topics:
- Evaluating the success of a public policy: what it means and what is it for.
- The counterfactual logic and Rubin's model.
- Randomized controlled trials.
- Difference in differences.
- Linear regression.
- Statistical matching.
- Regression discontinuity design.
- Instrumental variables approach.
- Interrupted time series.
Detailed program
The second module "Public Policies: Evaluation" is divided into two parts.
The first introductory part presents the key concepts and vocabulary of public policy impact evaluation. Once the 'jargon' of impact evaluation has been acquired, students are introduced to the counterfactual logic and are guided to formalize it through the Rubin's Model.
The second part, the most extensive, presents consolidated experimental and non-experimental methods to assess the success of a public policy, each time emphasizing their conditions of application, potential and limits. In particular, the second part describes and presents applications of the following methods: randomized controlled trials, difference in the differences, linear regression, statistical matching, regression discontinuity design, instrumental variables approach, and interrupted time series.
Prerequisites
Students are allowed to attend classes, to join class exercises, to take the mid-term and final exams and to do the team work of the second module "Public Policies: Evaluation" even if they have not yet taken the written exam of the first module "Public Policies: Decision and Implementation". However, they have to be familiar with the topics covered by the first module "Public Policies: Decision and Implementation".
Besides, the requirements for the second module "Public Policies: Evaluation" are minimal. It assumes only a decent knowledge of algebra and a basic understanding of descriptive and inferential statistics.
Teaching methods
The course will employ the following teaching methods:
- In-person lectures in an expository mode, aimed at presenting theoretical concepts and content;
- In-person lectures in an interactive mode, characterized by active student participation through practical exercises and guided discussions.
Most in-person lessons will be structured in two parts: a first expository session introducing new concepts and content, followed by a second interactive session allowing students to test their understanding in real time.
- A two-hour in-class exercise will be held to simulate the final exam.
- At least three sessions (the exact number may vary depending on student participation in group work) will be organized in workshop mode, allowing students to work collaboratively on a project and engage directly with the instructor.
Up to a maximum of three lessons (equivalent to 6 hours, or 14.2% of the total course time) may be delivered remotely in asynchronous online mode, via pre-recorded videos made available by the instructor in advance on the course’s e-learning platform. These lessons will be expository only, with no real-time interaction.
A detailed course schedule, specifying for each session the date, topics covered, teaching method, and delivery mode (in-person or asynchronous online), will be made available by the instructor on the course’s e-learning platform before the start of classes.
Assessment methods
The exam syllabus is the same for both attending and non-attending students. Attendance is not mandatory but is highly recommended.
All students, whether attending or not, will have the opportunity to participate in a group project. Non-attending students who wish to take part in the group project must contact the instructor via email (fedra.negri@unimib.it) within one month from the start date of the course.
Assessment method for students participating in the group project:
- Group project: In small groups (max 6 people), students are required to read, understand, present, and critically discuss in English a scientific paper published in an international journal. Grading: Up to +3 points to be added to the final written exam score. The group project allows the instructor to assess the students’ ability to independently explore and reflect on the course content, as well as their teamwork, problem-solving, and communication skills.
- Final written exam (2 hours): The exam consists of 10 questions, including closed-ended questions (true/false, matching, multiple choice), numerical exercises, short open-ended questions (max 5 lines), and one medium-length open-ended question (max 15 lines).
Important: The medium-length question, worth 4 points, will focus on the scientific paper covered during the group project. This written exam allows the instructor to evaluate the student’s knowledge of the course content. Grading scale: 0–31.
Assessment method for students not participating in the group project:
- Final written exam (2 hours): The exam consists of 10 questions. The syllabus and questions 1–9 will be identical to those for students who completed the group project. However, question 10 (medium-length open-ended question) will be different: it will not concern a scientific paper, but rather address general course content, like the previous questions. This written exam allows the instructor to evaluate the student’s knowledge of the course content. Grading scale: 0–31.
Textbooks and Reading Materials
The program is the same for attending and non-attending students and includes:
- Martini, A., Sisti, M. (2009), Valutare il successo delle politiche pubbliche, Bologna: il Mulino, capp. Introduzione, 1; 6, 7, 8, 9, (10), 11, 12, 13, 14, 16.
- Battistin, E., Bertoni, M. (2023). Counterfactuals with Experimental and Quasi-Experimental Variation. In: Damonte, A., Negri, F. (eds) Causality in Policy Studies. Texts in Quantitative Political Analysis. Springer, Cham. https://doi.org/10.1007/978-3-031-12982-7_3
- Negri, F. (2023). Correlation Is Not Causation, Yet… Matching and Weighting for Better Counterfactuals. In: Damonte, A., Negri, F. (eds) Causality in Policy Studies. Texts in Quantitative Political Analysis. Springer, Cham. https://doi.org/10.1007/978-3-031-12982-7_4
- Costalli, S., Negri, F. (2021). Looking for twins: How to build better counterfactuals with matching. Italian Political Science Review/Rivista Italiana Di Scienza Politica, 51(2), 215-230. doi:10.1017/ipo.2021.1
Sustainable Development Goals
Staff
-
Fedra Negri
