Course Syllabus
Obiettivi formativi
Il modulo di Analisi Esplorativa introduce i principali metodi statistici descrittivi per lo studio di due o più fenomeni osservabili congiuntamente su un insieme di unità statistiche. Si tratta di metodi finalizzati all’esplorazione dei dati multivariati per individuarne la struttura soggiacente e ridurne la dimensionalità in modo da preservare le caratteristiche principali osservate. Dal punto di vista applicativo l’analisi dei dati viene affrontata con il ricorso al software R in ambiente RStudio.
Conoscenza e comprensione. Questo insegnamento fornirà conoscenze e capacità di comprensione relativamente a:
- Principali metodologie esplorative di base dell'analisi statistica multivariata finalizzate al problema della classificazione delle unità statistiche e alla sintesi delle variabili osservate in un numero ridotto di indicatori
- Applicazione dei metodi nella pratica mediante esercizi numerici svolti con la calcolatrice (ossia, senza l'ausilio del software statistico)
- Logica e funzionamento alla base del linguaggio R e suo utilizzo nell'ambito dell'applicazione delle principali analisi statistiche per dati multidimensionali e delle relative rappresentazioni grafiche
- Lettura e interpretazione degli output delle analisi prodotte con R.
Capacità di applicare conoscenza e comprensione. Alla fine dell'insegnamento gli studenti saranno in grado di:
- Scegliere le metodologie esplorative di base dell'analisi statistica multivariata più adeguate in base agli scopi delle analisi e alla natura dei dati a disposizione
- Ridurre la dimensionalità di un dataset aggregando le unità statistiche in gruppi e/o costruendo indicatori di sintesi delle variabili osservate
- Interpretare e confrontare i risultati delle analisi ottenute con metodi diversi per stabilire quale approccio sia da ritenersi più opportuno in base a specifici criteri fissati a priori
- Importare in R file di dati esterni di varia provenienza e formato e utilizzare in modo autonomo la sintassi di base del linguaggio R.
L'insegnamento consente allo studente di acquisire solide basi teoriche e applicative relativamente ai principali metodi esplorativi dell'analisi di dati multidimensionali necessarie in qualsiasi contesto lavorativo in cui si utilizzino file di dati e che rappresentano una base imprescindibile per il proseguimento del percorso universitario.
Contenuti sintetici
Introduzione all'analisi statistica multivariata, matrici di dati quantitativi, qualitativi e misti, rappresentazioni grafiche per dati multidimensionali. Cluster Analysis: metodi di raggruppamento gerarchici e non gerarchici. Analisi delle componenti principali. Analisi discriminante lineare. Uso integrato dei metodi esplorativi di analisi multivariata. Applicazioni a dati reali con il software R in ambiente RStudio.
Programma esteso
- Introduzione all’analisi statistica multivariata: scuola francese e scuola anglosassone, classificazione delle metodologie di analisi multivariata
- Matrici di dati quantitativi, qualitativi e misti. Principali sintesi e trasformazioni. Rappresentazione dei dati, spazio degli individui e spazio delle variabili. Dissimilarità e distanze fra unità, distanze fra variabili
- Cluster Analysis: metodi di raggruppamento gerarchici e non gerarchici, bontà della classificazione, applicazione a variabili quantitative e qualitative
- Analisi delle componenti principali: estrazione delle componenti principali, criteri di arresto, valutazione della variabilità riprodotta, interpretazione delle componenti principali, applicazioni
- Analisi discriminante lineare: determinazione delle funzioni discriminanti lineari nel caso di due o più popolazioni, metodo alternativo per ricavare le funzioni discriminanti, regole decisionali e valutazione dei risultati, applicazioni
- Uso integrato delle tecniche esplorative di analisi multivariata
- Analisi di casi empirici con RStudio
Prerequisiti
Superamento degli esami degli insegnamenti propedeutici di I anno: Statistica I, Analisi Matematica I, Algebra Lineare, Calcolo delle Probabilità
Metodi didattici
Lezioni teoriche in aula ed esercitazioni pratiche in laboratorio statistico-informatico con il software R in ambiente RStudio.
Le lezioni saranno tutte erogate in presenza in modalità erogativa. Verranno comunque messe a disposizione le video-registrazioni in asincrono sia delle lezioni di teoria sia delle esercitazioni in laboratorio.
Modalità di verifica dell'apprendimento
L'esame consiste in una prova scritta (durata complessiva: 2 ore) con tre quesiti (articolati in più punti) che riguardano gli aspetti sia teorici sia applicativi delle metodologie trattate durante il corso. Un quarto quesito è facoltativo e riguarda la programmazione con il software R. Le domande a natura teorica riguardano gli aspetti metodologici degli argomenti trattati al corso e consentono di verificare le conoscenze teoriche acquisite in merito alle nozioni di base dell'analisi statistica multivariata (in particolare, principali matrici e loro proprietà, principali tipologie di dati) e alle metodologie di analisi dei gruppi, analisi delle componenti principali e analisi discriminante lineare. Le domande a natura applicativa riguardano sia esercizi numerici (da svolgere con la calcolatrice), sia la lettura e il commento di parti di output di R, e consentono di verificare le capacità di comprensione e di applicazione della teoria, di calcolo, di interpretazione e commento dei risultati e di scelta fra analisi ottenute con opzioni diverse dei metodi. Inoltre, l'esame in forma scritta permette complessivamente di verificare la capacità di espressione mediante utilizzo adeguato del linguaggio tecnico statistico.
La prova orale è facoltativa (su richiesta del docente o dello studente) e riguarda argomenti sia teorici sia pratici. L’accesso alla prova orale è subordinato al superamento della prova scritta con un esito di almeno 18/30 (sia complessivamente, sia nella parte di teoria). Si fa presente che la prova orale può comportare sia l'aumento, sia il mantenimento, che la diminuzione della valutazione conseguita alla prova scritta.
Considerata l'abbondanza di materiale didattico messo a disposizione dalla docente sulla piattaforma e-learning del corso, non si prevede alcuna distinzione fra esami per studenti frequentanti ed esami per studenti non frequentanti. Infine non si prevedono prove in itinere.
Gli studenti possono richiedere la traduzione in inglese del testo della prova scritta entro al massimo 5 giorni dalla data dell'esame scritto.
Testi di riferimento
- Materiale didattico della docente pubblicato sul sito e-learning del corso (ad accesso riservato)
- Frosini, B.V. (2014). Complementi di analisi statistica multivariata, EDUCatt, Milano
- Zani, S., Cerioli, A. (2007). Analisi dei dati e data mining per le decisioni aziendali, Giuffrè Editore, Milano
- Gherghi, M., Lauro, C. (2004). Appunti di analisi dei dati multidimensionali. Metodologia ed esempi, RCE Edizioni, Napoli
- Bolasco, S. (1999). Analisi multidimensionale dei dati: strategie e criteri di interpretazione, Carocci, Roma
- Dillon, W.R., Goldstein, M. (1984). Multivariate Analysis, J. Wiley, New York
- Everitt, B.S., Hothorn, T. (2011). An Introduction to Applied Multivariate Analysis with R, Springer, Berlin
Periodo di erogazione dell'insegnamento
I Semestre, II periodo
Lingua di insegnamento
Italiano
Sustainable Development Goals
Learning objectives
The Exploratory Analysis module introduces the main descriptive statistical methods for studying two or more phenomena jointly observed on a set of statistical units. These methods aim to explore multidimensional data to detect their underlying structures and reduce their dimensionality while preserving the main observed features. From an application perspective, data analysis is carried out using R software within the RStudio environment.
Knowledge and understanding. This course will provide expertise and understanding concerning:
- Main basic exploratory methodologies of multivariate statistical analysis aimed at the classification of statistical units and the synthesis of observed variables into a reduced number of indicators
- Practical application of the exploratory techniques through numerical exercises solved with a pocket calculator (i.e., without the aid of statistical software)
- The underlying logic and functioning of the R language and its use in applying the main statistical analyses for multidimensional data, along with the related graphical representations
- Reading and interpreting the outputs of analyses generated with R.
Ability to apply knowledge and understanding. By the end of the course, students will be able to:
- Choose the most appropriate basic multivariate exploratory analysis methods according to the purposes of the analysis and the nature of the available data
- Reduce the dimensionality of a dataset by aggregating statistical units into groups and/or setting up summary indicators of the observed variables
- Interpret and compare the results of analyses obtained through different methods to determine which approach is most appropriate based on specific a priori criteria
- Import external data files of different sources and formats into R and autonomously use the basic syntax of the R language.
The course allows students to acquire solid theoretical and practical foundations regarding the main exploratory methods of multidimensional data analysis. These skills are necessary in any professional context involving the use of data files and represent an essential foundation for the continuation of university studies.
Contents
Introduction to multivariate statistical analysis. Quantitative, qualitative, and mixed data matrices. Graphical representations of multidimensional data. Cluster Analysis: Hierarchical and non-hierarchical clustering methods. Principal component analysis. Linear discriminant analysis. Integrated use of exploratory multivariate methods. Applications to real data with software R (RStudio environment).
Detailed program
- Introduction to the multivariate statistical analysis: French and Anglo-Saxon schools, classification of multivariate analysis methods
- Quantitative, qualitative, and mixed-type data matrices. Main syntheses and transformations. Data representation, individual space, and variable space. Dissimilarities and distances between units, distances between variables
- Cluster analysis: Hierarchical and non-hierarchical clustering methods, goodness of classification, applications to quantitative and qualitative variables
- Principal component analysis: Extraction of the principal components, stopping criteria, evaluation of the reproduced variability, interpretation of the principal components, applications
- Linear discriminant analysis: set-up of linear discriminant functions in the presence of two or more populations, alternative method for constructing the discriminant functions, decision rules and evaluation of results, applications
- Integrated use of exploratory multivariate techniques
- Analyses of empirical cases with RStudio
Prerequisites
Successful completion of the following first-year prerequisite courses of Statistics I, Mathematical Analysis I, Linear Algebra, and Probability Theory
Teaching methods
Theoretical lectures in the classroom and practical exercises in the statistical-computing laboratory using R software within the RStudio environment.
All lectures will be delivered in person through traditional face-to-face instruction. However, asynchronous video recordings of both theoretical lectures and laboratory exercises will be made available.
Assessment methods
The exam consists of a written test (total duration: 2 hours) with three questions (divided into multiple points) regarding both theoretical and practical aspects of the methodologies covered during the course. A fourth question is optional and concerns programming with R software. The theoretical questions concern the methodological aspects of the topics covered in the course and allow for the verification of the theoretical knowledge acquired regarding the basics of multivariate statistical analysis (in particular, main matrices and their properties, main data types) and the methodologies of cluster analysis, principal component analysis, and linear discriminant analysis. The practical questions concern both numerical exercises (to be solved with a calculator) and the reading and commenting of parts of R output, and allow for the verification of the capacity for understanding and applying the theory, calculation, interpretation and commenting of results, and choosing among analyses obtained with different options of the methods. Furthermore, the written exam allows for the verification of the ability to express oneself through the appropriate use of technical statistical language.
The oral exam is optional (at the request of either the instructor or the student) and covers both theoretical and practical topics. Access to the oral exam is conditional upon passing the written test with a mark of at least 18/30 (both overall and in the theoretical part). Please note that the oral exam can result in an increase, maintenance, or decrease of the mark obtained in the written test.
Considering the abundance of teaching materials (in Italian) made available by the instructor on the course e-learning platform, no distinction is made between exams for attending students and exams for non-attending students. Finally, no mid-term exams are scheduled.
Students may request the English translation of the written exam text up to a maximum of 5 days before the date of the written exam.
Textbooks and Reading Materials
- Teaching material uploaded on the course e-learning website (restricted access)
- Frosini, B.V. (2014). Complementi di analisi statistica multivariata, EDUCatt, Milano
- Zani, S., Cerioli, A. (2007). Analisi dei dati e data mining per le decisioni aziendali, Giuffrè Editore, Milano
- Gherghi, M., Lauro, C. (2004). Appunti di analisi dei dati multidimensionali. Metodologia ed esempi, RCE Edizioni, Napoli
- Bolasco, S. (1999). Analisi multidimensionale dei dati: strategie e criteri di interpretazione, Carocci, Roma
- Dillon, W.R., Goldstein, M. (1984). Multivariate Analysis, J. Wiley, New York
- Everitt, B.S., Hothorn, T. (2011). An Introduction to Applied Multivariate Analysis with R, Springer, Berlin
Semester
First semester, second period
Teaching language
Italian
