En la teoria de l'aprenentatge estadístic, el principi de minimització del risc empíric defineix una família d'algoritmes d'aprenentatge basats en l'avaluació del rendiment sobre un conjunt de dades conegut i fix. La idea central es basa en una aplicació de la llei dels grans nombres; més concretament, no podem saber exactament com de bé funcionarà un algoritme predictiu a la pràctica (és a dir, el "risc real") perquè no coneixem la distribució real de les dades, però sí que podem estimar i optimitzar el rendiment de l'algoritme en un conjunt conegut de dades d'entrenament. El rendiment sobre el conjunt conegut de dades d'entrenament es coneix com a "risc empíric".
Rerefons La situació següent és un escenari general de molts problemes d'aprenentatge supervisat. Hi ha dos espais d'objectes i i volem aprendre una funció (sovint anomenada hipòtesi) que dona com a resultat un objecte , donat . Per fer-ho, hi ha un conjunt d'entrenament de exemples on és una entrada i és la resposta corresponent que es desitja de .
Dit de manera més formal, assumint que hi ha una distribució de probabilitat conjunta més de i , i que el conjunt d'entrenament consisteix en instàncies iid extret de . La suposició d'una distribució de probabilitat conjunta permet la modelització de la incertesa en les prediccions (per exemple, a partir del soroll a les dades) perquè no és una funció determinista de sinó més aviat una variable aleatòria amb distribució condicional per a un fix .
També se suposa que hi ha una funció de pèrdua amb valor real no negativa que mesura com de diferent és la predicció d'una hipòtesi prové del resultat real . Per a tasques de classificació, aquestes funcions de pèrdua poden ser regles de puntuació. El risc associat a la hipòtesi es defineix com l'esperança de la funció de pèrdues:
Una funció de pèrdua que s'utilitza habitualment en teoria és la funció de pèrdua 0-1: .
L'objectiu final d'un algorisme d'aprenentatge és trobar una hipòtesi entre una classe fixa de funcions per al qual el risc és mínim:
Per a problemes de classificació, el classificador bayesià es defineix com el classificador que minimitza el risc definit amb la funció de pèrdua 0-1.
Definició formal En general, el risc no es pot calcular perquè la distribució és desconegut per a l'algoritme d'aprenentatge. Tanmateix, donada una mostra de punts de dades d'entrenament iid, podem calcular una estimació, anomenada risc empíric, calculant la mitjana de la funció de pèrdua sobre el conjunt d'entrenament; més formalment, calculant l'expectativa respecte a la mesura empírica:
El principi de minimització del risc empíric estableix que l'algoritme d'aprenentatge ha de triar una hipòtesi que minimitza el risc empíric sobre la classe d'hipòtesi :
Així doncs, l'algoritme d'aprenentatge definit pel principi de minimització del risc empíric consisteix a resoldre el problema d'optimització anterior.
Propietats Les garanties per al rendiment de la minimització empírica del risc depenen en gran manera de la classe de funcions seleccionada, així com de les suposicions distribucionals fetes. En general, els mètodes sense distribució són massa grollers i no condueixen a límits pràctics. No obstant això, encara són útils per derivar propietats asimptòtiques dels algoritmes d'aprenentatge, com ara la consistència. En particular, es poden derivar límits sense distribució sobre el rendiment de la minimització del risc empíric donada una classe de funcions fixa utilitzant límits sobre la complexitat VC de la classe de funcions.
Per simplicitat, considerant el cas de tasques de classificació binària, és possible delimitar la probabilitat del classificador seleccionat, sent molt pitjor que el millor classificador possible . Considera el risc definit sobre la classe d'hipòtesi amb funció de creixement donat un conjunt de dades de mida . Aleshores, per a cada :
Resultats similars s'apliquen a les tasques de regressió. Aquests resultats sovint es basen en lleis uniformes de nombres grans, que controlen la desviació del risc empíric respecte al risc real, uniformement sobre la classe d'hipòtesi.
Minimització empírica inclinada del risc La minimització empírica inclinada del risc és una tècnica d'aprenentatge automàtic que s'utilitza per modificar funcions de pèrdua estàndard com l'error quadràtic, introduint un paràmetre d'inclinació. Aquest paràmetre ajusta dinàmicament el pes dels punts de dades durant l'entrenament, permetent que l'algoritme se centri en regions o característiques específiques de la distribució de dades. La minimització del risc empíric inclinada és particularment útil en escenaris amb dades desequilibrades o quan cal emfatitzar els errors en certes parts de l'espai de predicció.
Referències
Categoria:Aprenentatge automàtic