Course Syllabus
Obiettivi formativi
L'obiettivo del corso è quello di fornire gli strumenti statistici necessari per l’analisi congiunta di più variabili misurate sul medesimo insieme di unità statistiche. Le competenze acquisite nel corso mettono gli studenti in grado di:
- esplorare e sintetizzare i dati;
- modellizzare i dati tramite regressione;
- produrre ed interpretare l’output di analisi di dati reali effettuate tramite il linguaggio R.
Contenuti sintetici
L'insegnamento (15 CFU) è articolato nelle seguenti parti:
- Modelli Statistici e R (9 CFU) che fornisce un'introduzione al linguaggio R e tratta la specificazione, la stima e la verifica di modelli interpretativi dei dati.
- Analisi esplorativa (6 CFU) che presenta i metodi relativi all’esplorazione dei dati al fine di identificare strutture che consentano di ridurne la complessità preservando l’informazione originariamente presente nelle misurazioni.
Programma esteso
Prima parte: R per l'Analisi Statistica Multivariata (9 CFU)
-
Introduzione al linguaggio R: utilizzo di R come calcolatrice scientifica; introduzione agli oggetti e alle loro classi (vettori, booleani, matrici, data.frame, liste); strutture condizionali e cicli; funzioni.
-
Statistica descrittiva in R: rivisitazione dei principali argomenti di statistica descrittiva univariata e bivariata applicata a dataset, incluse rappresentazioni grafiche e loro personalizzazioni.
-
Calcolo delle probabilità in R: principali funzioni per lavorare con variabili casuali; metodi Monte Carlo per approssimare integrali e probabilità.
-
Inferenza statistica in R: studio delle proprietà degli stimatori mediante simulazioni; metodi numerici per l'analisi di verosimiglianza.
-
Variabili casuali multidimensionali: funzione di densità e di ripartizione congiunte; marginalizzazione; momenti; vettore delle medie e matrice di varianze e covarianze; v.c. Normale multivariata e sue proprietà.
-
Specificazione del modello: fasi per la specificazione di un modello statistico; classificazione dei modelli.
-
Modello di regressione lineare semplice: assunzioni; interpretazione dei parametri; stima dei parametri (minimi quadrati e massima verosimiglianza); proprietà degli stimatori; teorema di Gauss-Markov; indice di determinazione lineare $R^2$.
-
Verifica ed utilizzo del modello: verifiche di ipotesi sul valore di un singolo coefficiente; verifica di ipotesi sulla bontà del modello; utilizzo del modello per fare previsione puntuale ed intervallare.
-
Diagnostica del modello: metodi per valutare le assunzioni relative alla struttura del modello, agli errori e all'assenza di osservazioni inusuali.
-
Modello di regressione lineare multiplo: specificazione del modello in forma matriciale e sue assunzioni; interpretazione dei parametri; stima dei parametri (minimi quadrati e massima verosimiglianza); proprietà degli stimatori; teorema di Gauss-Markov; indice di determinazione multipla $R^2$.
-
Variabili qualitative: inserimento di variabili qualitative nel modello mediante l'inserimento di dummy; interazioni.
-
Verifica di un sistema di ipotesi lineare: teoria generale e casi particolari.
-
Selezione del modello: contributo assoluto e relativo di una variabile esplicativa; indice di determinazione parziale (IDP); selezione criterion-based delle variabili esplicative tramite approccio backward, forward e stepwise; AIC e BIC.
Seconda parte: Analisi Esplorativa (6 CFU)
- Rappresentazioni grafiche di due o più dimensioni
- Varianza totale e generalizzata
- Il teorema di decomposizione spettrale
- Analisi delle componenti principali
- Analisi dei gruppi: metodo delle K-medie e metodi gerarchici
- Analisi fattoriale
Prerequisiti
Questa attività formativa deve essere preceduta dal superamento degli esami di Algebra lineare, Analisi Matematica I, Calcolo delle Probabilità e Statistica I. Si consiglia inoltre la conoscenza degli argomenti trattati nel corso di Statistica II.
Metodi didattici
Il corso è erogato in italiano e prevede lezioni frontali sia in aula sia in laboratorio informatico.
Le lezioni in aula sono mirate all'approfondimento delle conoscenze teoriche dello studente sugli argomenti del Corso ed alla loro formalizzazione. Nelle lezioni svolte in laboratorio informatico si trattano gli aspetti di implementazione dei modelli su dati reali e simulati utilizzando il software R.
In particolare:
- la parte di Modelli Statistici e R (9 CFU) prevede un totale di 73 ore di lezioni frontali svolte in modalità erogativa in presenza, ciascuna formata da blocchi da 2 o 3 ore, molte delle quali saranno svolte in un’aula informatica. In aggiunta, saranno erogate delle attività di tutorato a supporto di studenti e studentesse.
- la parte di Analisi Esplorativa (6 CFU) prevede un totale di 42 ore di lezioni frontali svolte in modalità erogativa in presenza, di cui 7 svolte in laboratorio informatico. In aggiunta, saranno erogate delle attività di tutorato a supporto di studenti e studentesse in modalità erogativa da remoto sincrona.
Modalità di verifica dell'apprendimento
Per superare l’insegnamento di Analisi Statistica Multivariata è necessario ottenere una valutazione maggiore o uguale a 18 in entrambe le parti che compongono l’insegnamento (Modelli Statistici e R (9 CFU) ed Analisi Esplorativa (6 CFU)). Il voto finale è determinato dalla media (ponderata con i rispettivi CFU) dei voti riportati nelle prove parziali.
Per la parte di Modelli Statistici e R (9 CFU):
- la prova è scritta e articolata in 3 o 4 esercizi. Tali esercizi includono domande teoriche, esercizi di programmazione, classici esercizi scritti e/o analisi di dati reali e prevede anche l’uso di R.
- Sono previste due prove in itinere: la prima riguardante la programmazione in R e la seconda riguardante i modelli lineari.
- Durante la prova non è ammesso l'uso di testi o altro materiale con l'esclusione dei codici che verranno messi a disposizione dal docente all'inizio della prova.
- Studenti e studentesse, così come il docente, possono richiedere una prova orale facoltativa (riguardante l’intero programma da 9 CFU).
La prova d'esame di Analisi Esplotariva (6CFU)
- è suddivisa in due parti: una prima parte scritta è articolata in 3 quesiti a risposta aperta che includono domande teoriche ed esercizi numerici da risolvere senza l'uso del calcolatore, la seconda parte consta di 2 esercizi di analisi dei dati da svolgere con R/RStudio accedendo alla piattaforma degli esamionline.
- Studenti e studentesse, così come il docente, possono richiedere una prova orale facoltativa riguardante l’intero programma.
- Durante la prova non è ammesso l'uso di testi o altro materiale con l'esclusione dei codici che verranno messi a disposizione dal docente all'inizio della prova.
- Durante la prova non è ammesso l'uso del cellulare, né di alcun supporto digitale.
- La valutazione delle due parti che compongono la prova di Analisi Esplorativa è proporzionale ai crediti dedicati durante il corso alla parte teorica e alla parte computazionale.
Testi di riferimento
Prima parte: Modelli Statistici e R (9 CFU)
- Appunti delle lezioni forniti dal docente
- Albert, J. & M. Rizzo (2012). R by Example. Springer.
- Venables, W. N., Smith D. M. & the R Core Team (2021). An Introduction to R.
- M. Grigoletto, F. Pauli, L. Ventura, Modello lineare, teoria e applicazioni con R. Giappichelli, 2017
- J. Fox. Applied regression analysis and generalized linear models, third edition. Sage.
- Piccolo, D. (2010), Statistica, Terza edizione, Il Mulino.
Seconda parte: Analisi Esplorativa (6 CFU)
- Appunti delle lezioni forniti dal docente
- Johnson, Wichern (2014) Applied Multivariate Statistical Analysis (6th Edition), Pearson Prentice Hall
- Everitt, Hothorn (2011) An Introduction to Applied Multivariate Analysis with R, Springer
Periodo di erogazione dell'insegnamento
- Modelli Statistici e R (9 CFU) : II periodo del I semestre; I periodo del II semestre
- Analisi esplorativa (6 CFU) : I periodo del II semestre
Lingua di insegnamento
Italiano
Sustainable Development Goals
Learning objectives
The course aims at introducing multivariate statistical techniques both from the methodological and from the applicative point of view.
Contents
The course is composed of the parts: Statistical Models and R (first part, 9 CFU) and Exploratory data analysis (second part, 6 CFU).
- Statistical Models and R (9 CFU) provides “hands-on” training for learning how to analyse data in the R statistical software package and offers an introduction to linear regression models. It covers data input/output, data management and manipulation, and how to make useful and informative graphics, as well as how to handle a complete regression analysis.
- Exploratory Analysis (6 CFU) offers an introduction to the statistical analysis of multivariate observations with the goal of dimensionality reduction thereby facilitating the understanding of the data.
Detailed program
First part: Statistical Models and R (9 CFU)
-
Introduction to R language: using R as a scientific calculator; introduction to objects and their classes (vectors, booleans, matrices, data.frames, lists); conditional structures and loops; functions.
-
Descriptive statistics in R: review of the main topics in univariate and bivariate descriptive statistics applied to datasets, including graphical representations and their customization.
-
Probability calculations in R: key functions for working with random variables; Monte Carlo methods to approximate integrals and probabilities.
-
Statistical inference in R: study of the properties of estimators through simulations; numerical methods for likelihood analysis.
-
Multidimensional random variables: joint density and distribution functions; marginalization; moments; mean vector and variance-covariance matrix; multivariate normal random variables and their properties.
-
Model specification: steps for specifying a statistical model; model classification.
-
Simple linear regression model: assumptions; parameter interpretation; parameter estimation (least squares and maximum likelihood); properties of estimators; Gauss-Markov theorem; coefficient of determination.
-
Model validation and usage: hypothesis testing on the value of a single coefficient; hypothesis testing for model goodness-of-fit; using the model for point and interval predictions.
-
Model diagnostics: methods to evaluate assumptions related to model structure, errors, and absence of unusual observations.
-
Multiple linear regression model: model specification in matrix form and its assumptions; parameter interpretation; parameter estimation (least squares and maximum likelihood); properties of estimators; Gauss-Markov theorem; multiple coefficient of determination.
-
Qualitative variables: incorporating qualitative variables into the model using dummy variables; interactions.
-
Testing a system of linear hypotheses: general theory and specific cases.
-
Model selection: absolute and relative contribution of an explanatory variable; partial determination index (PDI); criterion-based selection of explanatory variables using backward, forward, and stepwise approaches; AIC and BIC.
Second part: Exploratory Analysis (6 CFU)
- Graphical representation of multivariate data
- Total and generalized variance
- Spectral decomposition theorem
- Principal components analysis
- Cluster analysis: K-means and hierarchical methods
- Factorial analysis
Prerequisites
Knowledge of the notions given in the courses "Statistics I", "Probability", "Matrix Algebra", and "Statistical inference (Statistics II)" is required.
Teaching methods
The course is delivered in Italian and includes both classroom lectures and computer lab sessions.
The classroom lectures aim to deepen the student's theoretical knowledge on the course topics and their formalization. The computer lab sessions focus on the implementation aspects of the models on real and simulated data using the R software.
In particular:
- the Statistical Models and R (9 CFU) section includes a total of 73 hours of lectures conducted in person, each consisting of 2 or 3-hour blocks, many of which will be held in a computer lab. Additionally, tutoring activities will be provided to support the students.
- The Exploratory Analysis (6 ECTS) part includes a total of 42 hours of lectures conducted in person, with 7 of these hours taking place in the computer lab. Additionally, tutoring activities will be provided to support students, conducted remotely in synchronous mode.
Assessment methods
To pass the Multivariate Statistical Analysis course, it is necessary to obtain a grade of 18 or higher in both parts that make up the course (Statistical Models and R (9 CFU) and Exploratory Analysis (6 CFU)). The final grade is determined by the weighted average (with the respective CFU) of the grades obtained in the partial exams.
For the Statistical Models and R (9 CFU) part:
- the exam is written and consists of 3-4 exercises. These exercises include theoretical questions, programming exercises, classic written exercises and/or real data analysis, and also involve the use of R.
- There are two in-term tests: the first concerning programming in R and the second concerning linear models.
- The use of texts or any other materials is not permitted during the exam, except for the codes provided by the instructor at the beginning of the exam.
- Students, as well as the instructor, can request an optional oral exam (covering the entire 9 CFU program).
The exam for Exploratory Analysis (6 CFU)
- is divided into two parts: the first written part consists of 3 open-ended questions, including theoretical questions and numerical exercises to be solved without the use of a computer, and the second part consists of 2 data analysis exercises to be completed using R/RStudio on the online exam platform.
- Students and the instructor may request an optional oral exam covering the entire program.
- The use of texts or any other materials is not permitted during the exam, except for the codes provided by the instructor at the beginning of the exam.
- The use of mobile phones or any digital support is not allowed during the exam.
- The evaluation of the two parts of the Exploratory Analysis exam is proportional to the credits allocated during the course to the theoretical and computational parts.
Textbooks and Reading Materials
First part: Statistical Models and R (9 CFU)
- Lecture notes from the instructor
- Albert, J. & M. Rizzo (2012). R by Example. Springer.
- Venables, W. N., Smith D. M. & the R Core Team (2021). An Introduction to R.
- M. Grigoletto, F. Pauli, L. Ventura, Modello lineare, teoria e applicazioni con R. Giappichelli, 2017
- J. Fox. Applied regression analysis and generalized linear models, third edition. Sage.
- Piccolo, D. (2010), Statistica, Terza edizione, Il Mulino.
Second part: Exploratory Analysis (6 CFU) - Lecture notes from the instructor
- Johnson, Wichern (2014) Applied Multivariate Statistical Analysis (6th Edition), Pearson Prentice Hall
- Everitt, Hothorn (2011) An Introduction to Applied Multivariate Analysis with R, Springer
Semester
The course is scheduled in the first semester and in the second part of the second semester.
Teaching language
Italian
