miniatura|Axuste estatístico elaborado mediante o software R. Nel, trátase de predicir a variable "tempo mínimo entre erupcións" (eixo Y) a partir dos datos da variable explicativa "duración da erupción" (eixo X).|335x335px O campo da aprendizaxe estatística refírese ás ferramentas matemáticas empregadas para predicir ou estimar un resultado baseándose nunha serie de entradas; é dicir, obter output a partir de datos considerados input. Estas ferramentas considéranse supervisadas ou non-supervisadas segundo a disposición do output (nunha aprendizaxe estatística non-supervisada trátase de obter relacións e estruturar os datos, pois non se dispón de output para clasificalos).

Cando os datos sometidos a análise involucran variables continuas ou cuantitativas, é común referirse ás técnicas de aprendizaxe estatística como ferramentas de regresión. Non obstante, tamén hai casos nos que o resultado a predicir non posúe un valor numérico (variables categóricas ou cualitativas). Este tipo de problemas considéranse de clasificación supervisada.

Respecto ás situacións nas que só temos datos de input sen relación aparente, é común agrupar aos individuos de estudo en grupos de acordo ás diferentes características observadas nas variables das que se dispón. O problema de agrupar individuos denomínase clustering e, a diferenza da clasificación supervisada, non trata de predicir o valor dunha variable, senón "xerar" o propio output nunha nova clasificación de individuos. Os grupos finais serán considerados clústers. Entre os diferentes métodos de agrupamento encóntranse os métodos de partición (algoritmo K-medias), os métodos xerárquicos e os caza-grupos (Mean-Shift, DBSCAN).

Para levar a cabo este tipo de análise, a estatística estuda miles de variables que esconden as verdadeiras relacións entre os datos ou individuos. Na aprendizaxe estatística é común facer uso de técnicas como compoñentes principais, que reducen significativamente a dimensión dos datos e melloran a visualización dos mesmos permitindo gráficos en dúas dimensións. Esta técnica supón a perda de certa variabilidade dos datos ao tratar de condensar múltiples variables nunhas poucas (na maioría dos casos dous).

Historia O termo aprendizaxe estatística adoita asociarse ao auxe de sistemas complexos como redes neuronais e sistemas de intelixencia artificial que dispoñen de múltiples datos a través de Internet. Con todo, os seus sustentos teóricos orixináronse no século XIX de mans de diversos matemáticos e informáticos que, sen sabelo, abriron as posibilidades desta área de coñecemento.

A comezos do século XIX, Legendre e Gauss publicaron papers relacionados co célebre método de mínimos cadrados, que á súa vez abriu as portas do que se coñece como regresión linear. As primeiras aplicacións centráronse en problemas de astronomía, pero pronto empezaron a considerarse outras aproximacións. Entre elas, destaca a predición de valores cuantitativos, como o salario dun individuo dependendo da súa idade, sexo, localidade e estudos.

En canto á clasificación supervisada, Fisher propuxo o método de análise lineal discriminante en 1936. O obxectivo era predicir valores cualitativos, como a supervivencia dun paciente que padece unha enfermidade ou as subidas e baixadas do mercado. Nos anos 40 emerxeu unha formulación alternativa chamada regresión loxística. Nos 70's, Nelder e Wedderburn acuñaron o termo modelos lineais xeneralizados para referirse a unha familia enteira de métodos estatísticos.

Os escenarios non-lineais foron considerados como "problemáticos" para os científicos dos anos 70. Daquela, o axuste de métodos non-lineais non era factible computacionalmente. Afortunadamente, a tecnoloxía de computación dos anos 80 permitiu que Breiman, J. Friedman, Olshen e Stone introduciran ferramentas de clasificación e árbores de regresión. Entre as súas contribucións destacadas atópase a implementación práctica dos modelos así como a validación cruzada para seleccionar a mostra de adestramento e distinguila da de validación. No 1986, T. Hastie e R. Tibshirani acuñaron o termo modelos aditivos xeneralizados, que consisten en extensións non-lineais do modelo de regresión clásico.

A aprendizaxe automática aproveita a maoría de técnicas da estatística para mellorar o adestramento de modelos de regresión, clasificación e predición. Ademais, as técnicas estatísticas de análise da variabilidade dos datos permiten incrementar a eficiencia dos axustes e confeccionar mellores modelos.

Introdución Os métodos de aprendizaxe estatística establecen as bases para:

Aprendizaxe supervisada. Aprendizaxe non supervisada. Aprendizaxe online. Aprendizaxe por reforzo.

A aprendizaxe ten dous obxectivos primordiais: inferencia e predición. Os problemas de aprendizaxe supervisada considéranse os máis sinxelos de entender e poñer en práctica.Tomaso Poggio, Lorenzo Rosasco, et al. (2012). Statisical Learning Theory and Applications. Class 1. Neles, cada punto do conxunto de adestramento é un par (entrada-saída) ou (x,y) no que a entrada ten asignada unha saída específica. Chámase "aprendizaxe" ao procedemento mediante o cal se infire a función que relaciona entrada e saída, de forma que dita función poida empregarse para predicir a saída de entradas futuras (sen saída previamente asignada).

Os problemas de aprendizaxe supervisada son problemas de regresión ou de clasificación estatística. A diferenza reside na saída.

Problema de regresión: saída cun rango continuo de valores. Problema de clasificación: saída cun rango discreto de valores.

Por exemplo, unha regresión podería ter o obxectivo de encontrar a relación funcional entre a voltaxe de entrada e a intensidade de corrente da lei de Ohm.

Por outra banda, nunha clasificación a saída toma a forma dun conxunto discreto de etiquetas. Este tipo de problemas é máis común na aprendizaxe automática. O recoñecemento facial é un problema de clasificación onde a imaxe da cara dunha persoa funcionaría como entrada, e a etiqueta de saída sería o nome de identificación. Neste caso a imaxe de entrada tería que codificarse mediante un vector multidimensional onde cada elemento representa un píxel da devandita imaxe.

É recomendable que tanto regresión como clasificación aprendan sobre un conxunto de datos de adestramento e empreguen outro conxunto de datos (datos de proba ou validación) para predicir ou clasificar, coa intención de evitar fenómenos de sobreaxuste.

Notación e álxebra esencial Sexan as observacións dunha mostra xenérica, e o número de variables dispoñibles.

Dise que representa o valor da variable j-ésima para a observación i-ésima, con e .

Sexa

Para cada observación cóntase cun vector de lonxitude que contén os valores asociados ás variables para o individuo i-ésimo, é dicir

Por outra banda, defínese como a observación i-ésima da variable resposta (a que se pretende predicir). As observacións da variable escríbense nun vector como

miniatura|261x261px|Descrición matricial dun modelo multivariante . Desta forma, as observacións completas consisten en sendo cada un vector de lonxitude .

Considérase, pois, cada columna da matriz como unha variable de input. A nomenclatura pode variar, pero o consenso é optar por un dos seguintes termos:

Predictor Variable independente Variable explicativa

Para , o común é empregar:

Resposta Variable dependente Variable explicada

Modelos de estimación De observarse unha relación cuantitativa entre a variable resposta e os diferentes predictores, é común establecer unha relación entre e da forma

Sexa un termo de erro aleatorio, e a expresión dunha función descoñecida que actúa sobre . miniatura|212x212px|Exemplo de axuste dos datos por regresión lineal. A aprendizaxe estatística propón diferentes aproximacións á estimación de , algunhas delas amplamente coñecidas como a regresión linear. Non obstante, o por qué estimar presenta dúas situacións claramente diferenciadas: predición e inferencia.

Predición En situacións nas que se conta coa matriz de datos , é común requirir do output no que se coñece como "predición da variable resposta". Pola hipótese de normalidade do erro , a predición de resulta

,

onde representa a estimación de e a predición para . A forma de é tipicamente descoñecida, e cada modelo en particular ocuparase de establecela. Así, en xeral enténdese como unha caixa negra.

Ao predicir, é importante distinguir entre dous tipos de erro: o reducible e o irreducible.

O erro reducible é potencialmente mellorable, xa que pode non ser un estimador perfecto de causando inexactitudes. Unha selección apropiada de técnicas de aprendizaxe estatística é capaz de mellorar a estimación e reducir este erro. O erro irreducible é, como o seu nome indica, implícito ao propio modelo. Unha perfecta estimación da forma non podería reemplazar o papel de , pois é calculada en función do propio erro por definición.

O erro irreducible pode estar influenciado por variables que non se encontran entre as de , xa que a cantidade contén unha variación que non é posible medir.

Dada a predición , é demostrable que

sendo o valor esperado da diferenza cuadrática entre a resposta predita e o valor real de .

A varianza estatística de considerase a parte "irreducible" da expresión.

Inferencia Cando o obxectivo da análise non é predicir a partir de senón achar a forma en que a variable resposta é afectada polas variables, fálase de inferencia. toma o papel de caixa negra e a meta é obter a súa forma exacta. O método co que proceder depende dunha serie de cuestións.

Preditores asociados á resposta (identificar os máis importantes). Relación entre a resposta e cada preditor. Linealidade ou non-linealidade da relación entre e cada preditor (repercute directamente na complexidade do modelo).

Clasificación de métodos Os métodos de aprendizaxe estatística buscan aprender do conxunto de datos de adestramento para estimar a función descoñecida , é dicir, atopar tal que para calquera observación .

Métodos paramétricos

Asunción de forma para . O máis sinxelo é asumir que é lineal en . Exemplo:. Adestramento ou axuste do modelo. No caso lineal, será suficiente con estimar os coeficientes , é dicir, . Para tal caso, adóitanse empregar métodos como mínimos cadrados.

O concepto de modelo paramétrico simplifica estimar a estimar un conxunto de parámetros. Con todo, córrese o risco de sobresimplificar o problema ao tentar encaixar a estimación nunha forma de non verdadeira.

Os modelos flexibles son máis complexos ao tratar diferentes formas funcionais para . En xeral, incurren en overfitting (sobreaxuste) e adáptanse demasiado ao ruído dos datos.

Métodos non-paramétricos

Non asunción de forma explícita para . Procura de estimacións sen restriccións de forma.

A principal desvantaxe é que se requiren de moitas observacións para poder atopar unha estimación precisa. Unha posible aproximación son as TPS (Thin Plate Splines) baseándose en interpolación e smoothing, mais o risco de sobreaxuste aumenta considerablemente.

Explicabilidade Por que empregar métodos restritivos fronte aos que permiten maior flexibilidade?A estimación de expón dúbidas en canto á aproximación a tomar, que pode ser flexible ou restritiva. Un caso disto último sería a regresión linear, onde só podemos xerar rectas de regresión. Outros modelos como as TPS permiten un axuste a un rango amplo de formas. Con todo, os modelos restritivos adóitanse interpretar moito máis facilmente. Se a inferencia é o obxecto do estudo estatístico, restrinxir a forma simplifica a comprensión da relación entre e as variables .