Syllabus del corso
Obiettivi formativi
Il corso è articolato in due moduli:
- Probabilità applicata
- Statistica computazionale
Il primo modulo di Probabilità applicata intende fornire agli studenti gli strumenti della Probabilità necessari a comprendere la Statistica (teorica ed applicata) e l'Economia.
Il secondo modulo di Statistica computazionale si propone di fornire le conoscenze per lo sviluppo di tecniche computazionali per l'inferenza in modelli statistici. Verranno forniti quindi gli elementi essenziali della programmazione con R per l'implementazione di tali tecniche.
Contenuti sintetici
MODULO 1. Dopo un'introduzione alle diverse definizioni di probabilità, verranno presentate le basi della teoria assiomatica di Kolmogorov su cui si poggia la probabilità moderna. Verranno analizzate le proprietà elementari della probabilità, tra cui la continuità, sub-additività, monotonia, inoltre verranno presentati i Lemmi di Borel-Cantelli.
Ampio spazio verrà dato ai vettori aleatori negli spazi euclidei n-dimensionali ed alle trasformazioni di vettori aleatori. Il concetto di valore atteso condizionato sarà definito ed analizzato in dettaglio, con qualche cenno alla teoria della misura.
Nella seconda parte del corso, verranno studiati i quattro concetti di convergenza di variabili aleatorie: in distribuzione, in probabilità, quasi certa e in media r-esima. Saranno quindi presentati e dimostrati i teoremi limite del calcolo delle probabilità e le loro conseguenze.
Infine saranno definiti ed analizzati i vettori Gaussiani attraverso la funzione caratteristica.
Il corso sarà affiancato da molti esercizi pratici.
MODULO 2. Il secondo modulo affronterà diversi argomenti di statistica computazionale. Definizione di numeri casuali e pseudo-casuali. Algoritmi per la generazione di numeri pseudo casuali, test di casualità. Introduzione al metodo Monte Carlo e al principio plug-in. Introduzione ai metodi di ricampionamento jackknife e bootstrap. Aspetti numerici e grafici per l'analisi di verosimiglianza.
Programma esteso
MODULO 1.
- INTRODUZIONE. Cenni storici al calcolo delle probabilità: i problemi classici. Definizioni della probabilità: classica, soggettiva e frequentista. Il principio di coerenza di Bruno de Finetti e le sue conseguenze. L'assiomatizzazione della probabilità di Kolmogorov.
- ASSIMI DELLA PROBABILITA' E CONSEGUENZE. La definizione assiomatica di probabilità. Le implicazioni della definizione: additività, monotonia, disuguagliaza di Boole, continuità della probabilità. I lemmi di Borel-Cantelli. Le probabilità condizionate e l'indipendenza di eventi.
- VARIABILI ALEATORIE E VETTORI ALEATORI. Definizione di variabile aleatorie e vettore aleatorio (discreti e continui). Il concetto di distribuzione e la funzione di ripartizione. Relazioni tra variabili aleatorie: condizionamento ed indipendenza. Trasformazioni di vettori aleatori: il teorema del diffeomorfismo.
- VALORI ATTESI. Richiami su speranza matematica, varianza e covarianza. La disuguaglianza di Markov. Valore atteso condizionato e sue proprietà.
- CENNI DI TEORIA DELLA MISURA. La probabiltà come misura. Le variabili aleatorie nella teoria della misura. L'integrale alla Lebesgue ed il lavore atteso. Definizione generale di valore atteso condizionato data una sigma-algebra (cenni).
- CONVERGENZA DI VARIABILI ALETORIE. La convergenza delle variabili aleatorie: in distribuzione, in probabilità, in media r-esima e quasi certa. Le relazioni tra le diverse convergenze. Legge debole dei grandi numeri, cenni alla legge forte di Kolmogorov.
- FUNZIONI GENERATRICI. Funzione caratteristica e generatrice dei momenti. Il teorema di continuità di Lévy. Il teorema centrale di convergenza. Il metodo delta.
- VETTORI GAUSSIANI. Funzione caratteristica per vettori. I vettori Gaussiani.
MODULO 2.
- Algoritmi per la generazione di numeri pseudocasuali: tecniche di inversione della funzione di ripartizione, algoritmo accettazione-rifiuto, metodi basati su trasformazioni di variabili casuali, metodi composti, rapporto di uniformi.
- Test di casualità.
- Introduzione al metodo Monte Carlo.
- Metodi di riduzione della varianza dello stimatore Monte Carlo: il metodo delle variabili di controllo e il metodo delle variabili antitetiche.
- Metodi di ricampionamento: il bootstrap e il jackknife.
- Intervalli di confidenza bootstrap.
- Cenni alla verifica d'ipotesi in ambito bootstrap.
- Aspetti numerici e grafici per l'analisi di verosimiglianza.
Prerequisiti
Per il primo modulo è richiesta la conoscenza degli argomenti trattati nei corsi di Calcolo delle probabilità e Analisi matematica (I e II) a livello di Laurea triennale, mentre non sono previste delle propedeuticità formali per il secondo, pur essendo auspicabile una conoscenza di base dell'inferenza statistica, del calcolo delle probabilità e del linguaggio R.
Metodi didattici
La prima parte del corso prevede lezioni frontali e numerosi eserczi.
La seconda parte del corso si svolge in modo interattivo, attraverso lezioni frontali e in laboratorio in cui i concetti teorici verranno applicati e verificati attraverso esempi concreti di simulazione e utilizzo di algoritmi. Verranno offerti esercizi da risolvere a casa in preparazione alle domande dell'esame.
Modalità di verifica dell'apprendimento
MODULO 1. L’esame è costituito da una prova scritta, l'orale è facoltativo. La prova scritta è costituita da esercizi e da alcune domande di teoria. Gli esercizi mirano ad accertare la comprensione degli argomenti trattati e la capacità dello studente di applicare i concetti della probabilità. Le domande di teoria servono a verificare la conoscenza e la comprensione dei concetti della probabilità. Le domande di teoria possono riguardare anche dimostrazioni svolte durante il corso.
L'orale è facoltativo e può essere chiesto sia dallo studente che dal docente. L'esame orale verte su tutto il programma del corso e deve essere svolto pochi giorni dopo lo scritto, in base alle disponibilità del docente. In tal caso il voto finale è una media della prova scritta e della prova orale. Nel caso di scritto svolto a distanza, per ragioni legate al Covid, l'orale è obbligatorio.
Durante lo scritto è consentito l'uso della calcolatrice scientifica, ma non è ammesso l'uso di appunti, libri e strumenti tecnologici. In emergenza Covid le prove scritte e orali si terranno attraverso la piattaforma Webex ed esamionline
MODULO 2. Prova individuale sulla Piattaforma Esami Informatizzati, sarà richiesto di utilizzare R o RStudio e sarà prevista una integrazione scritta a mano su un foglio di carta.
Nella prova sono previste anche domande aperte, allo scopo di verificare la comprensione e rielaborazione dei contenuti del corso; la prova di laboratorio consta di esercizi computazionali volti alla verifica della padronanza computazionale delle tecniche apprese durante il corso.
Testi di riferimento
MODULO 1.
Testo consigliato (con esercizi):
- G. Dall'Aglio (2003). Calcolo delle Probabilità. Zanichelli, terza edizione.
Testi di consultazione: - Grimmett G. and Stirzaker D. (2001). Probability and random processes. Oxford University Press.
Eserciziari: - Epifali, I. e Ladelli, L. (2021). Esercizi di probabilità per l'ingegneria, le scienze e l'economia. Edizioni La Dotta.
- Grimmett G. and Stirzaker D. (2000). One Thousand Exercises in Probability: Third Edition. Oxford Univseristy Press.
MODULO 2.
- Appunti delle lezioni a cura del docente del corso.
- Letture consigliate per integrare le lezioni:
- Robert, C.P. e Casella, G. (2009), Introducing Monte Carlo Methods with R, New York: Springer-Verlag
- Davison and Hinkley (1997). Bootstrap Methods and their Applications, Chapman and Hall.
Periodo di erogazione dell'insegnamento
Il corso è erogato nel primo semestre.
Lingua di insegnamento
Italiano
Sustainable Development Goals
Learning objectives
The course consists of two parts:
- Applied probability
- Computational statistics
Part 1 has the goal to provide the students with all the necessary tools in order to face and understand Statistics (both applied and theorethical) and Economics.
Part 2 provides an introduction to the most important computational statistical methods. Students will be introduced to the use of R for the implementation of the computational methods shown during the course.
Contents
PART 1. We start with the different defintions of Probability, and then we move to introduce the axiomatic definition of Probability which is due to Kolmogorov. Then, we analyze the elementary properties of probability, namely Boole's inequality, continuity, monotonicity; the Borel-Cantelli lemmas will be stated and prooved.
A huge part of the class will be devoted to random vectors in a n-dimensional Euclidean space and their transformations, including some hints on measure theory. Moreover the conditional expectation will be introduced and analyzed in detail.
In the second part of the lectures, we focus on convergences of random variables: in distribution, in probability, almost surely and in mean. Besides, we will prove and state the limit theorems of probability and their consequences.
Finally, the general defintion of Gaussian random vectors will be provided, along with suitable applications.
Many exercises will be solved during the whole course.
PART 2. We will cover the basic principles of the Monte Carlo method, the theoretical basis of the random numbers generators as well as the fundamental concepts of resampling techniques as we discuss bootstrap and jackknife. Algorithms for iterative maximum likelihood estimation are introduced in certain examples.
Detailed program
PART 1. The first part of the course will cover the followin topics.
- INTRODUCTION. Some historical hints on probability. The definitions of probability: classical, frequentist and subjective. The principle of coherence by B. de Finetti and its consequences. The axiomatic definition by Kolmogorov.
- AXIOMS OF PROBABILITY. The axiomatic definition of probability and the consequences: monotonicity, continuity, Boole's inequality, etc.. The Borel-Cantelli lemmas. Conditioning and independence of events.
- RANDOM VECTORS AND RANDOM VARIABLES. Definitions: random vectors (discrete and continuous case). Distributions and cumulative distribution functions. Relations between random variables: conditioning and independence. Transformations of random vectors.
- EXPECTED VALUES. Expected values, variance and covariance. Markov inequality. The conditional expectation and its properties.
- MEASURE THEORY: HINTS. The probability is a measure. The Lebesgue integral and the expected value. General defintion of conditional expected value given a sigma-algebra.
- CONVERGENCES OF RANDOM VARIABLES. Convergences of random variables: in distribution, in probability, in mean and almost surely. Relations among convergences. The weak law of large numbers, the strong law by Kolmogorov (without proof).
- GENERATING FUNCTIONS. The characteristic function and the moment generating function. The Lévy continuity theorem. The central limit theorem and the delta method.
- GAUSSIAN RANDOM VECTORS. Gaussian random vectors: general defintion based on characteristic functions.
PART 2. The second part of the course will cover the following topics:
- Random numbers generation for uniform, non-uniform, discrete and continuous distributions
- Introduction to Monte Carlo simulation and Monte Carlo Integration
- Variance reduction techniques
- Resampling Techniques: bootstrap and jackknife
- Bootstrap confidence intervals
- Bootstrap Hypothesis Testing
- Numerical and graphical aspects for likelihood inference
Prerequisites
For the first part, the knowledge of the topics of Mathematical Anaysis (I and II) and Probability is required.
As for the second part, the student is required to have at least the knowledge of BSc courses on probability calculus, statistical inference, basic programming skills with R.
Teaching methods
The first part of the course is based on traditional lectures and sessions with exercises.
The second part of the course is based on lectures and tutorial sessions in computer laboratory.
Assessment methods
PART 1. The exam is written, the oral test is not mandatory. In the written test, the student is asked to solve exercises and to answer some questions concerning probability theory. The exercises aims to ensure the ability of the students to apply the concepts of probability, whereas the theoretical questions aim to verify the knowledge of the notions of Probability. The theoretical questions may also focus on proofs.
The oral test is optional, and it may be requested by the student or by the instructor some days after the written test. The oral exam will focus on questions of the theory developed during the course. If the written test has been held online (due to Covid reasons), then the oral test is mandatory.
In the period of Covid emergency, the written and oral examination will be held via Webex and Esamionline.
PART 2. Written and a computer-based exam using the Piattaforma Esami Informatizzat platform.
Textbooks and Reading Materials
PART 1.
Theory:
- G. Dall'Aglio (2003). Calcolo delle Probabilità. Zanichelli, terza edizione.
- Grimmett G. and Stirzaker D. (2001). Probability and random processes. Oxford University Press.
Exercises: - Epifali, I. e Ladelli, L. (2021). Esercizi di probabilità per l'ingegneria, le scienze e l'economia. Edizioni La Dotta.
- Grimmett G. and Stirzaker D. (2000). One Thousand Exercises in Probability: Third Edition. Oxford Univseristy Press.
PART 2.
- Lecture notes provided by the instructor
- Robert, C.P. e Casella, G. (2009), Introducing Monte Carlo Methods with R, New York: Springer-Verlag
- Davison and Hinkley (1997). Bootstrap Methods and their Applications, Chapman and Hall.
Semester
The course is delivered in the first semester.
Teaching language
Italian
