1. INTRODUZIONE AL CONTROLLO OTTIMO

a. Alcuni problemi introduttivi In barca con Pontryagin, un modello di consumo ottimo, ”the lady in the lake”.
b. Formulazione di un problema di controllo ottimo Definizioni di controlli, dinamica, traiettorie, insieme di controllo, target set.
Funzioni assolutamente continue. Soluzione di una equazione differenziale ordinaria con funzioni misurabili: definizione e teorema di esistenza e unicità. Controlli ammissibili. Importanza del caso della dinamica lineare. Insieme dei punti raggiungibili.

2. Il CONTROLLO OTTIMO CON METODO VARIAZIONALE
a. Il problema più semplice di controllo ottimo Il teorema di Pontryagin (DIM nel caso di insieme di controllo U=R, DIM anche del lemma tecnico): definizione di Hamiltoniana e conseguenze del principio del Massimo. Controllo estremale, moltiplicatore associato. Controllo normale e abnormale: un esempio di controllo ottimo abnormale. Proprietà dell’Hamiltoniana lungo il cammino ottimo (DIM).
Problemi autonomi: proprietà dell’Hamiltoniana lungo il cammino ottimo.
Condizioni sufficienti di ottimalità: la condizione di Mangasarian (DIM). Funzioni concave, sopragradiente, sopragradiente di funzioni differenziabili, cenni al Teorema di Rockafellar: la condizione sufficiente di Arrow (DIM).
Condizioni di transversalità per i problemi con punti iniziali/finali fissati. Sui problemi di minimo.
A two sector model with investment and consumption goods.
b. Il problema più semplice di calcolo delle variazioni Il teorema di Eulero (DIM come caso particolare del teorema di Pontryagin). Condizioni di transversalità per i problemi con punti iniziali/finali fissati. Condizioni sufficienti per il problema più semplice usando concavità/convessità.
Curva di lunghezza minima.
c. Controlli singolari e bang-bang Definizioni di controlli bang-bang, istanti di commutazione e controlli singolari. La costruzione di una strada di montagna a costo minimo.
d. Problema più generali di controllo ottimo Problemi di Mayer, di Bolza e Lagrange: loro equivalenza (DIM).
Problemi a tempo finale fisso: condizione necessaria e condizione sufficiente per il problema di Bolza, problemi autonomi. Problemi a tempo finale libero: nozione di tempo di uscita, condizione necessaria per il problema di Bolza, problemi autonomi.
Problemi di time optimal: condizione necessaria. In barca con Pontryagin. Problemi di time optimal singolari: the Dubin car.
Problemi ad orizzonte infinito: controesempio di Halkin; condizione sufficiente (DIM). Hamiltoniana corrente e moltiplicatore corrente e loro condizioni necessarie (DIM) e sufficienti. Modelli di crescita economica: preferenze, funzioni di utilità: un modello di consumo ottimo con utilità logaritmica.
e. Problemi di esistenza e controllabilità Esempi di classe di controlli vuota o di classe di controlli non vuota e senza controllo ottimo (controesempio di Bolza). Disuguaglianza di Gronwall (DIM). Teorema di esistenza del controllo ottimo per i problemi di Bolza: il caso con insieme di controllo chiuso e il caso con insieme controllo compatto.

3. CONTROLLO OTTIMO CON IL METODO DELLA PROGRAMMAZIONE DINAMICA
a. La funzione valore e le sue proprietà per il problema più semplice di controllo ottimo. Definizione della funzione valore. Il principio di ottimalità di Bellman (DIM).
Le proprietà della funzione valore: la condizione (necessaria) finale sulla funzione valore (DIM), l’equazione di Bellmann-Hamilton-Jacobi (BHJ) per funzioni valori differenziabili (DIM). L’Hamiltoniana della Programmazione Dinamica. Condizioni sufficienti di ottimalità (DIM). L’equazione di BHJ lungo la traiettoria ottima. Sui problemi di minimo.
Soluzione del problema di strategia aziendale di produzione/vendita. Problemi Affini-Quadratici e Lineari-Quadratici-omogenei: loro funzione valore. Equazioni differenziali di Ricatti.
La funzione valore del problema a tempo finale fisso e valore finale libero (sotto opportune ipotesi), è Lipschitz (DIM per problemi autonomi). Cenni al teorema di Rademacher: la funzione valore ammette derivate q.o.
Definizione di soluzione viscosa per l’equazione di BHJ; la funzione valore come unica soluzione viscosa per l’equazione di BHJ; un esempio di problema di controllo ottimo la cui funzione valore è soluzione viscosa per l’equazione di BHJ.
b. Problemi più generali di controllo otttimo. Condizioni necessarie e sufficienti per problemi di controllo ottimo più generali.
Modello di produzione e gestione del magazzino. Problemi autonomi, ad orizzonte illimitato: la sua funzione valore corrente e la relativa equazione di BHJ (DIM). Un modello di consumo ottimo con utilità HARA. Cenni al modello stocastico di Merton.
c. Legami tra i metodi variazionali e la Programmazione Dinamica.
Interpretazione del moltiplicatore come prezzo ombra (DIM).

4. GIOCHI DIFFERENZIALI
a. Nozioni introduttive Formulazione di un gioco differenziale a 2 giocatori. Giochi simmetrici, giochi completamente cooperativi, giochi a somma zero. Concetti di soluzioni: equilibrio di Nash, equilibrio di Stackelberg. Tipi di strategie: a ciclo aperto e feedback.
b. Soluzioni di equilibrio di Nash *Strategie open loop. Uso dell’approccio variazionale: condizioni necessarie e sufficienti per avere un equilibrio di Nash open-loop. Il modello lavoratori-capitalisti di Lancaster. **Strategie feedback. Perché la tecnica variazione non è particolarmente utile (DIM). Definizione di funzione valore su un equilibrio di Nash feedback. Condizioni necessarie e sufficienti con l’uso della programmazione dinamica per un equilibrio di Nash feedback. Le funzioni valore per problemi giochi differenziali Affini-Quadratici a due giocatori. La funzioni valore corrente per giochi a orizzonte infinito e scontati. Un problema di produzione per due aziende in competizione.
c. Soluzioni di equilibrio di Stackelberg Giocatore leader e giocatore gregario, insieme di miglior risposta. Ricerca di soluzioni open-loop con l’approccio variazionale. Padre e figlio al lago.
d. Giochi a somma zero Equilibrio di Nash come punto di sella. Insieme dei controlli e insieme delle strategia non anticipative: esempio della strategia non anticipativa costante.
Definizione di funzione valore inferiore V⁻ , funzione valore superiore V+ e loro relazione; un esempio di gioco con V⁺ > V⁻*.* Definizione di funzione valore V.
Hamiltoniana inferiore della Programmazione Dinamica H⁻PD (superiore H⁺PD): H⁻PD≤H+PD (DIM); un esempio di gioco con H⁻PD*<H⁺PD. Condizione di Isaacs (o di minimax) e definizione di Hamiltoniana della Programmazione Dinamica HPD.
Risultati con funzioni valore regolari. Equazione di Isaacs inferiore e superiore: V⁺ (V⁻) è soluzione dell’equazione di Isaacs superiore (inferiore). Una dimostrazione geometrica che V soddisfa l’equazione di Isaacs (DIM).
Equazioni di Isaacs per V e condizioni sufficienti con la PD per un equilibrio di Nash con strategia feedback. Condizioni necessarie e sufficienti con approccio variazionale con strategia open-loop
Risultati per funzioni valore in generale. V⁻ (V⁺) è Lipschitz (sotto opportune ipotesi). V⁻ (V⁺) è l’unica soluzione viscosa dell’equazione di Isaacs inferiore (superiore). La condizione di Issacs implica V⁺=V⁻=V. War of attrition and attack*
e. Giochi di cattura ed evasione Formulazione di un gioco di cattura-evasione, target set, exit time. La funzione valore e l’equazione di Isaacs per problemi autonomi (DIM). Lady in the lake.