Mnimos cuadradosSaltar a: navegacin, bsqueda

El resultado del ajuste de un conjunto de datos a una funcin cuadrtica.Mnimos cuadrados es una tcnica de anlisis numrico enmarcada dentro de la optimizacin matemtica, en la que, dados un conjunto de pares ordenados: variable independiente, variable dependiente, y una familia de funciones, se intenta encontrar la funcin continua, dentro de dicha familia, que mejor se aproxime a los datos (un "mejor ajuste"), de acuerdo con el criterio de mnimo error cuadrtico.En su forma ms simple, intenta minimizar la suma de cuadrados de las diferencias en las ordenadas (llamadas residuos) entre los puntos generados por la funcin elegida y los correspondientes valores en los datos. Especficamente, se llama mnimos cuadrados promedio (LMS) cuando el nmero de datos medidos es 1 y se usa el mtodo de descenso por gradiente para minimizar el residuo cuadrado. Se puede demostrar que LMS minimiza el residuo cuadrado esperado, con el mnimo de operaciones (por iteracin), pero requiere un gran nmero de iteraciones para converger.Desde un punto de vista estadstico, un requisito implcito para que funcione el mtodo de mnimos cuadrados es que los errores de cada medida estn distribuidos de forma aleatoria. El teorema de Gauss-Mrkov prueba que los estimadores mnimos cuadrticos carecen de sesgo y que el muestreo de datos no tiene que ajustarse, por ejemplo, a una distribucin normal. Tambin es importante que los datos a procesar estn bien escogidos, para que permitan visibilidad en las variables que han de ser resueltas (para dar ms peso a un dato en particular, vase mnimos cuadrados ponderados).La tcnica de mnimos cuadrados se usa comnmente en el ajuste de curvas. Muchos otros problemas de optimizacin pueden expresarse tambin en forma de mnimos cuadrados, minimizando la energa o maximizando la entropa.ndice 1 Historia 2 Formulacin formal del problema bidimensional 3 Solucin del problema de los mnimos cuadrados 3.1 Deduccin analtica de la aproximacin discreta mnimo cuadrtica lineal 3.1.1 Corolario 3.2 Deduccin geomtrica de la aproximacin discreta mnimo cuadrtica lineal 4 Mnimos cuadrados y anlisis de regresin 5 Referencias 6 Vase tambin 7 Enlaces externos

Historia

Karl Friedrich GaussEl da de Ao Nuevo de 1801, el astrnomo italiano Giuseppe Piazzi descubri el planeta enano Ceres. Fue capaz de seguir su rbita durante 40 das. Durante el curso de ese ao, muchos cientficos intentaron estimar su trayectoria con base en las observaciones de Piazzi (resolver las ecuaciones no lineales de Kepler de movimiento es muy difcil). La mayora de las evaluaciones fueron intiles; el nico clculo suficientemente preciso para permitir a Franz Xaver von Zach, astrnomo alemn, reencontrar a Ceres al final del ao fue el de Carl Friedrich Gauss, por entonces un joven de 24 aos (los fundamentos de su enfoque ya los haba planteado en 1795, cuando an tena 18 aos). Sin embargo, su mtodo de mnimos cuadrados no se public sino hasta 1809, y apareci en el segundo volumen de su trabajo sobre mecnica celeste, Theoria Motus Corporum Coelestium in sectionibus conicis solem ambientium. El francs Adrien-Marie Legendre desarroll el mismo mtodo de forma independiente en 1805.En 1829, Gauss fue capaz de establecer la razn del xito maravilloso de este procedimiento: simplemente, el mtodo de mnimos cuadrados es ptimo en muchos aspectos. El argumento concreto se conoce como teorema de Gauss-Mrkov.Formulacin formal del problema bidimensionalSea un conjunto de n puntos en el plano real, y sea una base de m funciones linealmente independiente en un espacio de funciones. Queremos encontrar una funcin que sea combinacin lineal de las funciones base, de modo que , esto es:

Por tanto, se trata de hallar los m coeficientes que hagan que la funcin aproximante d la mejor aproximacin para los puntos dados . El criterio de "mejor aproximacin" puede variar, pero en general se basa en aqul que minimice una "acumulacin" del error individual (en cada punto) sobre el conjunto total. En primer lugar, el error (con signo positivo o negativo) de la funcin en un solo punto, , se define como:

pero se intenta medir y minimizar el error en todo el conjunto de la aproximacin, . En matemticas, existen diversas formas de definir el error, sobre todo cuando ste se refiere a un conjunto de puntos (y no slo a uno), a una funcin, etc. Dicho error (el error "total" sobre el conjunto de puntos considerado) suele definirse con alguna de las siguientes frmulas:Error Mximo: Error Medio: Error Cuadrtico Medio: La aproximacin por mnimos cuadrados se basa en la minimizacin del error cuadrtico medio o, equivalentemente, en la minimizacin del radicando de dicho error, el llamado error cuadrtico, definido como:

Para alcanzar este objetivo, se utiliza el hecho que la funcin f debe poder describirse como una combinacin lineal de una base de funciones. Los coeficientes de la combinacin lineal sern los parmetros que queremos determinar. Por ejemplo, supongamos que f es una funcin cuadrtica, lo que quiere decir que es una combinacin lineal, , de las funciones , y (m=3 en este caso), y que se pretende determinar los valores de los coeficientes: , de modo que minimicen la suma (S) de los cuadrados de los residuos:

Esto explica el nombre de mnimos cuadrados. A las funciones que multiplican a los coeficientes buscados, que en este caso son: , y , se les conoce con el nombre de funciones base de la aproximacin, y pueden ser funciones cualesquiera. Para ese caso general se deduce a continuacin la frmula de la mejor aproximacin discreta (i.e. para un conjunto finito de puntos), lineal y segn el criterio del error cuadrtico medio, que es la llamada aproximacin lineal por mnimos cuadrados. Es posible generar otro tipo de aproximaciones, si se toman los errores mximo o medio, por ejemplo, pero la dificultad que entraa operar con ellos, debido al valor absoluto de su expresin, hace que sean difciles de tratar y casi no se usen.Solucin del problema de los mnimos cuadradosLa aproximacin mnimo cuadrtica consiste en minimizar el error cuadrtico mencionado ms arriba, y tiene solucin general cuando se trata de un problema de aproximacin lineal (lineal en sus coeficientes ) cualesquiera que sean las funciones base: antes mencionadas. Por lineal se entiende que la aproximacin buscada se expresa como una combinacin lineal de dichas funciones base. Para hallar esta expresin se puede seguir un camino analtico, expuesto abajo, mediante el clculo multivariable, consistente en optimizar los coeficientes ; o bien, alternativamente, seguir un camino geomtrico con el uso de el lgebra lineal, como se explica ms abajo, en la llamada deduccin geomtrica. Para los Modelos estticos uniecuacionales, el mtodo de mnimos cuadrados no ha sido superado, a pesar de diversos intentos para ello, desde principios del Siglo XIX. Se puede demostrar que, en su gnero, es el que proporciona la mejor aproximacin.Deduccin analtica de la aproximacin discreta mnimo cuadrtica linealSea un conjunto de n pares con abscisas distintas, y sea un conjunto de m funciones linealmente independientes (en un espacio vectorial de funciones), que se llamarn funciones base. Se desea encontrar una funcin de dicho espacio, o sea, combinacin lineal de las funciones base, tomando por ello la forma:.Ello equivale por tanto a hallar los m coeficientes: . En concreto, se desea que tal funcin sea la mejor aproximacin a los n pares empleando, como criterio de "mejor", el criterio del mnimo error cuadrtico medio de la funcin con respecto a los puntos .El error cuadrtico medio ser para tal caso:

Minimizar el error cuadrtico medio es equivalente a minimizar el error cuadrtico, definido como el radicando del error cuadrtico medio, esto es:

As, los que minimizan tambin minimizan , y podrn ser calculados derivando e igualando a cero este ltimo:Siendo i=1,2, . . .,mSe obtiene un sistema de m ecuaciones con m incgnitas, que recibe el nombre de "Ecuaciones Normales de Gauss". Operando con ellas:, para i=1,2, . . .,m, para i=1,2, . . .,m

Si se desarrolla la suma, se visualiza la ecuacin "i-sima" del sistema de m ecuaciones normales: , para cada i=1,2, . . .,m

Lo cual, en forma matricial, se expresa como:

Siendo el producto escalar discreto, definido para dos funciones dadas h(x) y g(x) como:,y para una funcin h(x) y vector cualquiera u, como:

La resolucin de dicho sistema permite obtener, para cualquier base de funciones derivables localmente, la funcin f(x) que sea mejor aproximacin mnimo cuadrtica al conjunto de puntos antes mencionado. La solucin es ptima esto es, proporciona la mejor aproximacin siguiendo el criterio de mnimo error cuadrtico, puesto que se obtiene al optimizar el problema.CorolarioSi se tratara de hallar el conjunto de coeficientes tal que pase exactamente por todos los pares , esto es, tales que interpole a , entonces tendra que cumplirse que:

Que en forma matricial se expresa como:

Esto establece un sistema de n ecuaciones y m incgnitas, y como en general n>m, quedara sobredeterminado: no tendra siempre una solucin general. Por tanto, la aproximacin tratar en realidad de hallar el vector c que mejor aproxime .Se puede demostrar que la matriz de coeficientes de las ecuaciones normales de Gauss coincide con , siendo A la matriz de coeficientes exactas, y como el trmino independiente de las ecuaciones normales de Gauss coincide con el vector , se tiene que los valores que mejor aproximan f(x) pueden calcularse como la solucin al sistema:

que es, precisamente, el sistema de las ecuaciones normales de Gauss.Deduccin geomtrica de la aproximacin discreta mnimo cuadrtica linealLa mejor aproximacin deber tender a interpolar la funcin de la que proviene el conjunto de pares , esto es, deber tender a pasar exactamente por todos los puntos. Eso supone que se debera cumplir que:

Sustituyendo f(x) por su expresin como combinacin lineal de una base de m funciones:

Esto es, se tendra que verificar exactamente un sistema de n ecuaciones y m incgnitas, pero como en general n>m, dicho sistema estara sobredeterminado y, por tanto, sin solucin general. De ah surge la necesidad de aproximarlo.Dicho sistema podra expresarse en forma matricial como:

Esto es:

La aproximacin trata de hallar el vector c aproximante que mejor aproxime el sistema .Con dicho vector c aproximante, es posible definir el vector residuo como:

De manera que el mnimo error cuadrtico supone minimizar el residuo, definiendo su tamao segn la norma eucldea o usual del residuo, que equivale al error cuadrtico:

siendo el producto interior o escalar del vector residuo sobre s mismo.Si atendemos al sistema , entonces se ve claramente que al multiplicar A y c, lo que se realiza es una combinacin lineal de las columnas de A:

El problema de aproximacin ser hallar aquella combinacin lineal de columnas de la matriz A lo ms cercana posible al vector b. Se comprueba que el conjunto de las columnas de A generan un espacio vectorial o Span lineal: , al que el vector b no tiene porqu pertenecer (si lo hiciera, el sistema A.c=b tendra solucin).Entonces, de los infinitos vectores del que son combinacin lineal de los vectores de la base, se tratar de hallar el ms cercano al vector b.De entre todos ellos, el que cumple esto con respecto a la norma eucldea es la proyeccin ortogonal de b sobre , y que por tanto hace que el tamao del vector r, que ser el vector que une los extremos de los vectores b y proyeccin ortogonal de b sobre el span, sea mnimo, esto es, que minimiza su norma eucldea.Es inmediato ver que si el residuo une b con su proyeccin ortogonal, entonces es a su vez ortogonal al , y a cada uno de los vectores de la base, esto es, ortogonal a cada columna de A.La condicin de minimizacin del residuo ser:

Que es cierto si y slo si:

A su vez, cada una de las m condiciones de perpendicularidad se pueden agrupar en una sola:

Sustituyendo el residuo por su expresin:

Por tanto, la mejor aproximacin mnimo cuadrada lineal para un conjunto de puntos discretos, sean cuales sean las funciones base, se obtiene al resolver el sistema cuadrado:.A esta ecuacin se le llama ecuacin normal de Gauss, y es vlida para cualquier conjunto de funciones base. Si estas son la unidad y la funcin x, entonces la aproximacin se llama regresin lineal.Mnimos cuadrados y anlisis de regresinEn el anlisis de regresin, se sustituye la relacin

por

siendo el trmino de perturbacin una variable aleatoria con media cero. Obervese que estamos asumiendo que los valores x son exactos, y que todos los errores estn en los valores y. De nuevo, distinguimos entre regresin lineal, en cuyo caso la funcin f es lineal para los parmetros a ser determinados (ej., f(x) = ax2 + bx + c), y regresin no lineal. Como antes, la regresin lineal es mucho ms sencilla que la no lineal. (Es tentador pensar que la razn del nombre regresin lineal es que la grfica de la funcin f(x) = ax + b es una lnea. Ajustar una curva f(x) = ax2 + bx + c, estimando a, b y c por mnimos cuadrados es un ejemplo de regresin lineal porque el vector de estimadores mnimos cuadrticos de a, b y c es una transformacin lineal del vector cuyos componentes son f(xi)+i).Los parmetros (a, b y c en el ejemplo anterior) se estiman con frecuencia mediante mnimos cuadrados: se toman aquellos valores que minimicen la suma S. El teorema de Gauss-Mrkov establece que los estimadores mnimos cuadrticos son ptimos en el sentido de que son los estimadores lineales insesgados de menor varianza, y por tanto de menor error cuadrtico medio, si tomamos f(x) = ax + b estando a y b por determinar y con los trminos de perturbacin independientes y distribuidos idnticamente (vase el artculo si desea una explicacin ms detallada y con condiciones menos restrictivas sobre los trminos de perturbacin).La estimacin de mnimos cuadrados para modelos lineales es notoria por su falta de robustez frente a valores atpicos (outliers). Si la distribucin de los atpicos es asimtrica, los estimadores pueden estar sesgados. En presencia de cualquier valor atpico, los estimadores mnimos cuadrticos son ineficientes y pueden serlo en extremo. Si aparecen valores atpicos en los datos, son ms apropiados los mtodos de regresin robusta.Referencias