www.optionclub.it

15/02/2012, 23:39

Il metodo dei minimi quadrati

Vi sono diversi metodi per ricavare, da un diagaramma a dispersione, la miglior curva interpolatrice. Tra questi, tuttavia, quello più diffuso tra i ricercatori che operano nelle scienze sperimentali è il metodo dei minimi quadrati. Cerchiamo di comprendere di cosa si tratta.

Supponiamo che i punti-osservazione siano quelli indicati nel diagramma a dispersione illustrato in figura. E supponiamo, inoltre, che la curva C - di equazione $y=f(x)$ - sia quella destinata ad interpolare tali punti.

MinimiQuadrati2.png

Prendiamo, per fissare le idee, il punto $(x_1,y_1)$ : esso rappresenta, ad esempio, la coppia "peso del figlio 1" - "peso del padre 1".

Nel momento in cui noi accettiamo che la curva C sia la rappresentante analitica di tali punti dobbiamo ammettere, evidentemente, che in tal modo noi accettiamo che vi sia un errore (una distanza) tra il valore $y_1$ (osservazione reale) ed il valore: $y=f(x_1)$ (ordinata di $x_1$ , che giace sulla curva C e che è l'approssimazione matematica di $y_1$ ).

Avremo, quindi, per ogni coppia di punti-osservazione $(x_i, y_i)$ , un errore $d_i$ :

$d_i=f(x_i)-y_i$

che potrà essere positivo (se in quel punto la curva è sopra il punto-osservazione), negativo (se in quel punto la curva è sotto il punto-osservazione) o nullo (se in quel punto la curva passa proprio per il punto-osservazione).

L'idea che sottende il metodo dei minimi quadrati è la seguente: la curva interpolante è tanto migliore quanto più piccoli sono gli errori. Quindi, la miglior curva interpolatrice è quella che rende minima la quantità:

$d_1^2+d_2^2+...+d_i^2+...d_n^2$

La curva che soddisfa tale proprietà matematica è detta curva di regressione dei minimi quadrati.

16/02/2012, 18:19

La retta dei minimi quadrati

Nel caso in cui si decida che la miglior curva che interpola i nostri dati sperimentali sia una retta allora il problema che abbiamo di fronte è quello della regressione lineare.

Il metodo dei minimi quadrati, come abbiamo visto, ha lo scopo di determinare i parametri della curva (nel nostro caso il coefficiente angolare e l'intercetta della retta interpolante) imponendo che la somma dei quadrati degli scarti - tra le osservazioni ed i punti della retta - sia minima. E' bene precisare che in tale metodo (che molti fanno risalire a Gauss e Legendre) gli scarti sono intesi come distanze lungo la direzione dell'asse delle ordinate, così come illustrato in figura.

MinimiQuadrati3.png

E' possibile definire un'altra retta dei minimi quadrati considerando le distanze perpendicolari condotte da ciascuno dei punti dati alla curva, invece delle distanze verticali.
E' però un altro metodo che non ha trovato gran seguito. Un metodo, pertanto, che qui non svilupperemo (sempre disponibile, comunque, ad affrontarne lo sviluppo se se ne manifestasse l'interesse).

16/02/2012, 18:43

La retta dei minimi quadrati

Cerchiamo ora di dimostrare le formule che ci consentono di determinare i parametri della retta interpolante. Vorrei prima fare due premesse, una di carattere generale ed un'altra in merito al metodo che ho deciso di esporre.

In generale, vorrei dire, che coloro che desiderano non "perdere tempo" sulla comprensione dei passaggi matematici che costituiscono l'architettura della dimostrazione possono tranquillamente farlo: sarà sufficiente che comprendano le formule finali e come usarle (magari lo vedremo anche con un esempio che fa uso di un foglio excel).

In merito al metodo, invece, vorrei dire che la dimostrazione che qui propongo, e che si avvale degli strumenti dell'analisi matematica, non è la sola: ve ne è anche un'altra (almeno per quel conosco io) che fa uso esclusivamente di strumenti algebrici. Ho scelto questa, però, in quanto molto più breve dell'altra.

16/02/2012, 19:25

Calcolo dei parametri della retta dei m.q. (dimostrazione)

Facciamo riferimento al grafico illustrato in figura. Indichiamo con b ed a, rispettivamente, il coefficiente angolare e l'intercetta cercati. La retta, quindi, avrà espressione:

$y=a+bx$

MinimiQuadrati4.png

Definiamo il generico scarto come differenza tra il punto giacente sulla retta, ed il punto osservato. Il valore del primo scarto, pertanto, sarà:

$d_1=a+bx_1-y_1$

Prima di procedere vorrei accertarmi che, quanto appena affermato, sia chiaro. Supponiamo di aver (già) determinato i parametri della nostra retta e che essi valgano:

$a=2$
$b=3$

supponiamo, inoltre, che il nostro i-esimo punto osservazione sia:

$(x_i,y_i) = (1, 6)$

avremo, allora, che il corrispondente i-esimo scarto sarà:

$d_i=a+bx_i-y_i=2+3(1)-6=-1$

Riprendiamo. Quindi, i valori sulla retta dei minimi quadrati, corrispondenti alle osservazioni:

$x_1, x_2, ..., x_i, ..., x_n$

saranno:

$a+bx_1, a+bx_2, ...a+bx_i, ..., a+bx_n$

La somma dei quadrati degli scarti, in definitiva, sarà:

$d_1^2+d_2^2+...+d_n^2$ $=(a+bx_1-y_1)^2+(a+bx_2-y_2)^2+...+(a+bx_n-y_n)^2$

che possiamo, in modo più compatto, scrivere con il simbolo di sommatoria:

$\sum_{i=1}^{n} d_i^2$ $=\[ \sum_{i=1}^{n} (a+bx_i-y_i)^2 \]$

16/02/2012, 19:54

Calcolo dei parametri della retta dei m.q. (dimostrazione)

Si tratta di una funzione delle due variabili a e b:

$F(a,b)=\[ \sum_{i=1}^{n} (a+bx_i-y_i)^2 \]$

per la quale stiamo cercando un minimo. Una condizione necessaria (ancorchè non sufficiente) affinchè questa somma sia minima è che le derivate parziali di F, rispetto ad a e b, siano entrambe nulle. Ovvero:

${\frac{\partial F(a,b)}{\partial a}}=0$

${\frac{\partial F(a,b)}{\partial b}}=0$

Calcoliamo allora tali derivate:

${\frac{\partial F(a,b)}{\partial a}}={\frac{\partial }{\partial a}}\[\sum_{i=1}^{n} (a+bx_i-y_i)^2\]$

$=\[ \sum_{i=1}^{n} 2(a+bx_i-y_i)=0$

${\frac{\partial F(a,b)}{\partial b}}={\frac{\partial }{\partial b}}\[\sum_{i=1}^{n} (a+bx_i-y_i)^2\]$

$=\[ \sum_{i=1}^{n} 2x_i(a+bx_i-y_i)=0$

dividendo per 2 il primo ed il secondo membro:

$\[ \sum_{i=1}^{n} (a+bx_i-y_i)=0$

$\[ \sum_{i=1}^{n} x_i(a+bx_i-y_i)=0$

Sviluppiamole separatamente.

16/02/2012, 20:14

Calcolo dei parametri della retta dei m.q. (dimostrazione)

Sviluppiamo la derivata parziale di F rispetto ad a:

$\[\sum_{i=1}^{n} (a+bx_i-y_i)=\[\sum_{i=1}^{n} a+\[\sum_{i=1}^{n}bx_i-\[\sum_{i=1}^{n}y_i=0$
$\[\sum_{i=1}^{n} a+\[\sum_{i=1}^{n}bx_i-\[\sum_{i=1}^{n}y_i=na+b\[\sum_{i=1}^{n}x_i-\[\sum_{i=1}^{n}y_i=0$

portando a secondo membro la sommatoria rispetto ad y (ed invertendo i membri), si ottiene:

$\[\sum_{i=1}^{n}y_i=na+b\[\sum_{i=1}^{n}x_i$

E' questa una delle due equazioni che poi dovremo mettere a sistema.

Sviluppiamo, ora, la derivata parziale di F rispetto a b:

$\[\sum_{i=1}^{n} x_i(a+bx_i-y_i)=0$

$\[\sum_{i=1}^{n} x_i(a+bx_i-y_i)=\[\sum_{i=1}^{n}ax_i+\[\sum_{i=1}^{n}bx_i^2-\[\sum_{i=1}^{n}x_iy_i=0$

ed ora portiamo a secondo membro la sommatoria rispetto al prodotto xiyi (ed invertiamo i membri):

$\[\sum_{i=1}^{n}x_iy_i=\[\sum_{i=1}^{n}ax_i+\[\sum_{i=1}^{n}bx_i^2$

E questa è la seconda delle due equazioni che metteremo a sistema.

16/02/2012, 20:59

Calcolo dei parametri della retta dei m.q. (dimostrazione)

Ora, per determinare i parametri a e b, dobbiamo mettere a sistema le equazioni:

$\left\{ \begin{array}{l l} \[\sum_{i=1}^{n}y_i=na+b\[\sum_{i=1}^{n}x_i \\ \\ \[\sum_{i=1}^{n}x_iy_i=\[\sum_{i=1}^{n}ax_i+\[\sum_{i=1}^{n}bx_i^2 \\ \end{array} \right.$

anche dette equazioni normali della retta dei minimi quadrati.

16/02/2012, 22:23

Calcolo dei parametri della retta dei m.q. (dimostrazione)

La risoluzione del suddetto sistema conduce ai seguenti valori di a e b:

$a={\frac{\sum_{i=1}^{n}y_i\sum_{i=1}^{n}x_i^2-\sum_{i=1}^{n}x_i\sum_{i=1}^{n}x_iy_i}\[n\sum_{i=1}^{n}x_i^2-(\sum_{i=1}^{n}x_i)^2}}$

$b={\frac{n\sum_{i=1}^{n}x_iy_i-(\sum_{i=1}^{n}x_i)(\sum_{i=1}^{n}y_i)}\[n\sum_{i=1}^{n}x_i^2-(\sum_{i=1}^{n}x_i)^2}}$

17/02/2012, 13:39

La retta dei minimi quadrati: un esempio

Ed ora è opportuno procedere con un esempio numerico, per dissipare gli eventuali dubbi - che, lecitamente, potrebbe avere a questo punto più di un lettore - e per confermare (spero nei più!) quanto si è ritenuto di aver appreso.

Supponiamo di voler mettere in relazione il peso dei figli (y) con quello dei rispettivi padri (x). Immaginiamo di aver individuato un campione di 12 padri e 12 corrispondenti figli i cui pesi, sono riportati nel foglio excel qui mostrato. Quei numeri, evidentemente, rappresentano il peso in kg di ciascun individuo.

PadriFigli1.png

17/02/2012, 13:42

La retta dei minimi quadrati: un esempio

Se facciamo riferimento al post conclusivo della dimostrazione, quello in cui vengono esplicitati i valori dei parametri a e b, possiamo osservare che per il calcolo di questi ci occorrono i seguenti dati:

la somma di tutti gli x, ovvero di tutti i pesi dei padri che, nel nostro esempio, sono 12 valori numerici:

$\sum_{i=1}^{n}x_i$

la somma di tutti gli y, ovvero di tutti i pesi dei figli: anche qui, si tratta di 12 valori numerici:

$\sum_{i=1}^{n}y_i$

la somma dei quadrati di tutti gli x, (si tratta, ancora una volta, di 12 valori numerici):

$\sum_{i=1}^{n}x_i^2$

la somma dei prodotti xy (per ogni i):

$\sum_{i=1}^{n}x_iy_i$

la somma di tutti gli x, elevata poi al quadrato:

$(\sum_{i=1}^{n}x_i)^2$

e, naturalmente, la numerosità del campione:

n=12

E allora non ci resta che organizzare il foglio di lavoro in modo da rendere disponibili tali informazioni.

www.optionclub.it

Interpolazione, regressione e correlazione

Re: Interpolazione, regressione e correlazione

Re: Interpolazione, regressione e correlazione

Re: Interpolazione, regressione e correlazione

Re: Interpolazione, regressione e correlazione

Re: Interpolazione, regressione e correlazione

Re: Interpolazione, regressione e correlazione

Re: Interpolazione, regressione e correlazione

Re: Interpolazione, regressione e correlazione

Re: Interpolazione, regressione e correlazione

Re: Interpolazione, regressione e correlazione

Chi c’è in linea