En estadística, los mínimos cuadrados ordinarios (MCO) o mínimos cuadrados lineales es el nombre de un método para encontrar los parámetros poblacionales en un modelo de regresión lineal. Este método minimiza la suma del cuadrado de las distancias verticales entre las respuestas observadas en la muestra y las respuestas del modelo. El parámetro resultante puede expresarse a través de una fórmula sencilla, especialmente en el caso de un único regresor.

El método MCO, siempre y cuando se cumplan los supuestos clave, será consistente cuando los regresores sean exógenos y no haya perfecta multicolinealidad, este será óptimo en la clase de parámetros lineales cuando los errores sean homocedásticos y además no haya autocorrelación. En estas condiciones, el método de MCO proporciona un estimador insesgado de varianza mínima siempre que los errores tengan varianzas finitas. Bajo la suposición adicional de que los errores se distribuyen normalmente, el estimador MCO es el de máxima verosimilitud. Los MCO se utilizan en economía (econometría) y en la ingeniería eléctrica (teoría de control y procesamiento de señales), entre muchas áreas de aplicación.

Modelo lineal

Supongamos que los datos se componen de n observaciones { y, x }. Cada observación incluye una respuesta yi escalar y un vector de regresores o predictores xi. En un modelo de regresión lineal la variable de respuesta es una función lineal de p variables explicativas:

donde β es un vector de parámetros desconocidos p×1 ; εi es un escalar de variables no observadas aleatorias (errores) que dan cuenta de la discrepancia entre la realidad observada yi y los "resultados previstos" x′iβ, y denota la matriz traspuesta, de modo que es el producto escalar entre los vectores x y el β. Este modelo también se puede escribir en notación matricial como

en donde y y ε son vectores n×, y X es una matriz de regresores n×p , a lo que también se le llama la matriz de diseño. Como regla general, el término constante se incluye siempre en el conjunto de regresores X, por ejemplo, mediante la adopción dexi1 = 1 para todo . El coeficiente β1 correspondiente a este regresor se le llama el intercepto. Puede haber alguna relación entre los regresores. Por ejemplo, el regresor tercero puede ser el cuadrado del segundo regresor. En este caso (suponiendo que el primer regresor es constante) tenemos un modelo de segundo grado en el regresor segundo. Pero esto todavía se considera un modelo lineal, ya que es lineal en las βs.

Supuestos clave

Existen tres supuestos que deben cumplirse para llevar a cabo una regresión lineal, estos son: La varianza de los errores debe ser homocedastica. Las variables explicativas deben ser ortogonales a los residuos, es decir, no comparten información. Los errores no deben estar correlacionados entre sí. Hay varios diferentes marcos en los que el modelo de regresión lineal pueden ser tratado con el fin de hacer que la técnica de MCO sea aplicable. Cada una de estas configuraciones produce las mismas fórmulas y los mismos resultados, la única diferencia es la interpretación y los supuestos que han de imponerse a fin de que el método pueda dar resultados significativos. La elección de la estructura aplicable depende principalmente de la naturaleza de los datos a la mano, y en la tarea de inferencia que se tiene que realizar.

Una de las líneas de diferencia en la interpretación es si tratar los regresores como variables aleatorias, o como constantes predefinidas. En el primer caso ("diseño aleatorio) los regresores de xi son aleatorios y se toman muestras del conjunto con los yi de alguna población, como en un estudio observacional. Este enfoque permite un estudio más natural de las propiedades asintóticas de los estimadores. En la otra interpretación (diseño fijo), los regresores de X se tratan como constantes conocidas establecidas por un diseño, e y se muestrea condicionalmente en los valores de X como en un experimento. A efectos prácticos, esta distinción a menudo carece de importancia, ya que la estimación y la inferencia se lleva a cabo mientras se condiciona en X. Todos los resultados consignados en este artículo se encuentran dentro del marco de diseño aleatorio.

Modelo clásico de regresión lineal El modelo clásico se centra en la estimación e inferencia de "muestras finitas", lo que significa que el número de observaciones es fijo. Esto contrasta con otros enfoques, que estudian el comportamiento asintótico de MCO, y en el que el número de observaciones se hace tender hasta el infinito.

Especificación correcta. La forma funcional lineal se ha especificado correctamente. Exogeneidad estricta. Los errores en la regresión deben tener media condicionada cero: . La consecuencia inmediata de la hipótesis de exogeneidad es que los errores tienen media cero: , y que los regresores no están correlacionados con los errores: .El supuesto de exogeneidad es fundamental para la teoría de MCO. Si se mantiene entonces las variables regresoras se llaman exógenas. Si no es así, entonces los regresores que están correlacionados con el término de error se llaman endógenos, y luego las estimaciones MCO dejan de ser válidas. En tal caso, el método de variables instrumentales se puede utilizar para llevar a cabo la inferencia. No hay dependencia lineal.. Los regresores en deben ser todos linealmente independientes. Matemáticamente esto significa que la matriz deberá tener rango de columna máximo casi seguro: . Por lo general, se supone también que los regresores tienen momentos finitos de hasta al menos segundo. En tal caso, la matriz será finita y semi-definida positiva. Cuando esta suposición se viola los regresores se llaman linealmente dependiente o perfectamente multicolineales. En tal caso, el valor del coeficiente de regresión no puede aprenderse, aunque sigue siendo posible la predicción de los valores de para nuevos valores de los regresores que se encuentren en el mismo subespacio linealmente dependiente. Errores esféricos: , donde es la matriz identidad , y es un parámetro que determina la varianza de cada observación. Esta se considera un parámetro molesto en el modelo, aunque por lo general también se estima. Si esta suposición se viola entonces los estimadores MCO siguen siendo válidos, pero ya no son eficientes. Es costumbre dividir esta suposición en dos partes: Homocedasticidad: , lo que significa que el término de error tiene la misma varianza en cada observación. Cuando este requisito se viola esto se llama heterocedasticidad, en tal caso, un estimador más eficiente sería el de mínimos cuadrados ponderados. Si los errores tienen varianza infinita entonces las estimaciones por MCO también tendrán varianza infinita (aunque por la ley de los grandes números tenderán hacia los valores verdaderos de todas formas, siempre que los errores tengan media cero). En este caso, se recomienda el uso de técnicas de estimación robusta. No autocorrelación:los errores no están correlacionados entre observaciones: para . Este supuesto puede ser violado en el contexto de los datos de series temporales, datos de panel, muestras de racimo, datos jerárquicos, datos de medidas repetidas, datos longitudinales, y otros datos con dependencias. En tales casos, los mínimos cuadrados generalizados ofrecen una mejor alternativa que el MCO. Normalidad: A veces se supone, además, que los errores tienen distribución normal condicional en los regresores: . Este supuesto no es necesario para la validez del método MCO, aunque ciertos propiedades adicionales de muestra finita se pueden establecer en caso de que se cumpla (especialmente en el área de los contrastes de hipótesis). Además, cuando los errores son normales, el estimador MCO es equivalente al de máxima verosimilitud, y por lo tanto es asintóticamente eficiente en la clase de todos los estimadores regulares.

Datos independientes e idénticamente distribuidos En algunas aplicaciones, especialmente con datos de corte transversal, se impone una suposición adicional: que todas las observaciones son independientes e idénticamente distribuidas (iid). Esto significa que todas las observaciones se toman de una muestra aleatoria que hace que todos los supuestos mencionados anteriormente sean más simples y más fáciles de interpretar. Además, este marco permite establecer resultados asintóticos (a medida que el tamaño de la muestra ), que se entienden como una posibilidad teórica de obtener nuevas observaciones independientes a partir del proceso de generación de datos. La lista de las hipótesis en este caso es:

Observaciones iid: es independiente de, y tiene la misma distribución que, para todo . No hay multicolinealidad perfecta: es una matriz definida positiva. Exogeneidad: . Homocedasticidad: .

Modelo de series temporales

El proceso estocástico es estacionario y ergódico. Los regresores están predeterminados: para todo . La matriz de tamaño es de rango completo, y por lo tanto definida positiva. es una sucesión de diferencias de martingalas, con una matriz finita de segundos momentos .

Estimación

Supongamos que b es un valor de "candidato" para el parámetro β. La cantidad se denomina residual para la i-ésima observación, mide la distancia vertical entre el punto de datos y el hiperplano , y por lo tanto se determina el grado de ajuste entre los datos reales y el modelo. La suma de cuadrados de los residuos (SSR) (también llamada la suma de cuadrados del error (ESS) o suma residual de cuadrados (RSS)) es una medida del ajuste del modelo general:

donde T denota la matriz de transposición . El valor de b que minimiza esta suma se llama el estimador MCO de β. La función S (b) es cuadrática en b con definida positiva de Hesse , y por lo tanto esta función posee un mínimo global único en , Que puede ser dada por la fórmula explícita:

o de manera equivalente en forma de matriz,

Después hemos estimado β, los valores ajustados (o valores previstos) de la regresión se

donde P = es la matriz de proyección en el espacio generado por las columnas de X. Esta matriz P también a veces se llama la matriz sombrero porque "pone un sombrero" a la variable y. Otra matriz, estrechamente relacionado con P es el aniquilador matriz M = I n - P, se trata de una matriz de proyección sobre el espacio ortogonal a X. Tanto las matrices P y M son simétricas e idempotente (lo que significa que P 2 = P), y se refieren a la matriz de datos X a través de identidades PX y MX = X = 0. Matriz M crea los residuos de la regresión:

El uso de estos residuos se puede estimar el valor de σ2:

El numerador, np, son los grados de libertad estadísticos . La primera cantidad, s 2, es la estimación OLS para σ 2, mientras que el segundo, \ Scriptstyle \ hat \ sigma ^ 2 , Es la estimación MLE para σ 2. Los dos estimadores son bastante similares en muestras grandes, el primero es siempre imparcial , mientras que el segundo está sesgado, pero reduce al mínimo el error cuadrático medio del estimador. En la práctica s 2 se utiliza con más frecuencia, ya que es más conveniente para la prueba de hipótesis. La raíz cuadrada de 2 s se denomina el error estándar de la regresión (SER), o el error estándar de la ecuación (VER).

Es común para evaluar la bondad del ajuste de la regresión por mínimos cuadrados mediante la comparación de la cantidad de la variación inicial en la muestra se puede reducir mediante la regresión en X. El coeficiente de determinación R 2 se define como una proporción de "explicado" varianza de la varianza "total" de la variable dependiente y: