En l'aprenentatge automàtic, l'aprenentatge de reforç a partir de la retroalimentació humana (amb acrònim anglès RLHF) o l'aprenentatge de reforç a partir de les preferències humanes és una tècnica que entrena un "model de recompensa" directament a partir de la retroalimentació humana i l'utilitza com a funció de recompensa per optimitzar la política d'un agent mitjançant l'aprenentatge de reforç (RL). RLHF pot millorar la robustesa i l'exploració dels agents RL, especialment quan la funció de recompensa és escassa o sorollosa.
El feedback humà es recull demanant als humans que classifiquen les instàncies del comportament de l'agent. Aquests rànquings es poden utilitzar per puntuar resultats, per exemple, mitjançant el sistema de classificació Elo.
RLHF s'ha aplicat a diversos dominis del processament del llenguatge natural, com ara agents conversacionals, resum de textos i comprensió del llenguatge natural. L'aprenentatge de reforç regular, on els agents aprenen de les seves pròpies accions basant-se en una "funció de recompensa", és difícil d'aplicar a les tasques de processament del llenguatge natural perquè sovint les recompenses no són fàcils de definir o mesurar, especialment quan s'enfronten a tasques complexes que impliquen valors humans. o preferències. RLHF pot permetre que els models de llenguatge proporcionin respostes que s'alinein amb aquests valors complexos, generin respostes més detallades i rebutgin preguntes que siguin inadequades o fora de l'espai de coneixement del model. Alguns exemples de models de llenguatge entrenats amb RLHF són ChatGPT d'OpenAI i el seu predecessor InstructGPT, així com Sparrow de DeepMind.
RLHF també s'ha aplicat a altres àrees com el desenvolupament de robots de videojocs. Per exemple, OpenAI i DeepMind van formar agents per jugar a jocs Atari basats en les preferències humanes. Els agents van aconseguir un fort rendiment en molts dels entorns provats, sovint superant el rendiment humà.
Referències
Categoria:Aprenentatge automàtic