O recoñecemento de actividades, tamén chamado recoñecemento de accións, ten como meta recoñecer as accións e os obxectivos dun ou máis axentes a partir dunha serie de observacións sobre as actuacións dos axentes e as condicións ambientais. Dende a década de 1980, este campo de investigación captou a atención de varias comunidades da ciencia da computación debido á súa forza á hora de proporcionar soporte personalizado para moitas aplicacións diferentes e á súa conexión con moitos campos de estudo diferentes, como a medicina, a interacción persoa-computadora ou a socioloxía.
Debido á súa natureza multifacética, hai moitas denominacións para o recoñecemento de actividades, e en diferentes campos poden referirse a el como recoñecemento de plans, recoñecemento de obxectivos, recoñecemento de intencións ou recoñecemento de comportamentos, entre outras.
Tipos Recoñecemento de actividades dun só usuario baseado en sensores O recoñecemento de actividades baseado en sensores integra a área emerxente das redes de sensores con novas técnicas de minería de datos e aprendizaxe automática para modelar unha ampla gama de actividades humanas. Os dispositivos móbiles (por exemplo, os teléfonos intelixentes) proporcionan datos de sensores e potencia de cálculo suficientes para permitir o recoñecemento da actividade física e proporcionar unha estimación do consumo de enerxía durante a vida cotiá. Os investigadores do recoñecemento de actividades baseado en sensores cren que ao capacitar ordenadores e sensores ubicuos para monitorizar o comportamento dos axentes (baixo o consentimento), estes ordenadores estarán máis axeitados para actuar no noso nome. Os sensores visuais que incorporan información sobre cor e profundidade, como o Kinect, permiten un recoñecemento automático de accións máis preciso e fusionan moitas aplicacións emerxentes como a educación interactiva e as contornas intelixentes. As múltiples vistas do sensor visual permiten o desenvolvemento da aprendizaxe automática para o recoñecemento automático de accións invariables á vista. Os sensores máis avanzados empregados nos sistemas de captura de movemento en 3D permiten un recoñecemento automático moi preciso, a custo dunha configuración de sistemas hardware máis complicada.
Niveis de recoñecemento de actividades baseado en sensores O recoñecemento de actividades baseado en sensores é unha tarefa complexa debido á natureza ruidosa inherente da entrada. Polo tanto, a modelización estatística foi o principal impulso nesta dirección por capas, onde se realiza e conecta o recoñecemento en varios niveis intermedios. No nivel máis baixo onde se recollen os datos dos sensores, a aprendizaxe estatística céntrase en como atopar as localizacións detalladas dos axentes a partir dos datos do sinal recibidos. A un nivel intermedio, a inferencia estatística preocúpase por como recoñecer as actividades dos individuos a partir das secuencias de localización inferidas e as condicións ambientais nos niveis inferiores. Ademais, no nivel máis alto, unha preocupación principal é descubrir o obxectivo ou subobxectivos xerais dun axente a partir das secuencias de actividades mediante unha mestura de razoamento lóxico e estatístico.
Recoñecemento de actividades multiusuario baseado en sensores O recoñecemento de actividades para varios usuarios mediante sensores corporais apareceu por primeira vez no traballo de ORL a principios da década dos 90. Empregáronse outras tecnoloxías de sensores, como os sensores de aceleración, para identificar patróns de actividade grupal durante escenarios de oficina. As actividades de varios usuarios en contornas intelixentes son abordadas en Gu et al. Neste traballo investigan o problema fundamental de recoñecer as actividades de varios usuarios a partir das lecturas dos sensores nunha contorna doméstica e propoñen unha nova estratexia de minería de patróns para recoñecer tanto as actividades dun só usuario como as de varios usuarios nunha solución unificada.
Recoñecemento de actividades en grupo baseado en sensores O recoñecemento de actividades en grupo é fundamentalmente diferente do recoñecemento de actividades dun ou varios usuarios, xa que o obxectivo é recoñecer o comportamento do grupo como entidade, en lugar das actividades dos membros individuais que o forman. O comportamento grupal é de natureza emerxente, o que significa que as propiedades do comportamento do grupo son fundamentalmente diferentes das propiedades do comportamento dos individuos que o forman ou de calquera suma dese comportamento. Os principais desafíos residen en modelar o comportamento dos membros individuais do grupo, así como os roles do individuo dentro da dinámica do grupo e a súa relación co comportamento emerxente do grupo en paralelo. Entre os desafíos que aínda deben abordarse inclúense a cuantificación do comportamento e os roles dos individuos que se unen ao grupo, a integración de modelos explícitos para a descrición de roles en algoritmos de inferencia e as avaliacións de escalabilidade para grupos e multitudes moi grandes. O recoñecemento de actividades grupais ten aplicacións para a xestión de multitudes e a resposta en situacións de emerxencia, así como para redes sociais e aplicacións de autocuantificación.
Enfoques Recoñecemento de actividades mediante a lóxica e o razoamento As aproximacións baseadas na lóxica rexistran tódalas explicacións loxicamente coherentes das accións observadas. Polo tanto, débense considerar todos os plans ou obxectivos posibles e coherentes. Kautz proporcionou unha teoría formal do recoñecemento de plans. Describiu o recoñecemento de plans como un proceso de inferencia lóxica de circunscrición. Todas as accións e plans denomínanse uniformemente obxectivos, e o coñecemento dun recoñecedor represéntase mediante un conxunto de declaracións de primeira orde, chamado xerarquía de eventos. A xerarquía de eventos está codificada na lóxica de primeira orde, que define a abstracción, a descomposición e as relacións funcionais entre os tipos de eventos.
O marco xeral de Kautz para o recoñecemento de plans ten unha complexidade temporal exponencial no peor dos casos, medida no tamaño da xerarquía de entrada. Lesh e Etzioni foron un paso máis alá e presentaron métodos para ampliar o recoñecemento de obxectivos para ampliar computacionalmente o seu traballo. En contraste coa abordaxe de Kautz, onde a biblioteca de plans se representa explicitamente, a abordaxe de Lesh e Etzioni permite a construción automática de bibliotecas de plans a partir de primitivas de dominio. Ademais, introduciron representacións compactas e algoritmos eficientes para o recoñecemento de obxectivos en grandes bibliotecas de plans.
Os plans e obxectivos inconsistentes son podados repetidamente cando chegan novas accións. Ademais, tamén presentaron métodos para adaptar un recoñecedor de obxectivos para xestionar o comportamento idiosincrásico individual dada unha mostra do comportamento recente dun individuo. Pollack et al. describiron un modelo de argumentación directa que pode coñecer a forza relativa de varios tipos de argumentos a favor da descrición da crenza e da intención.
Un problema grave das aproximacións baseadas na lóxica é a súa incapacidade ou inviabilidade inherente para representar a incerteza. Non ofrecen ningún mecanismo para preferir unha estratexia consistente a outra e son incapaces de decidir se un plan en particular é máis probable que outro, sempre que ambos poidan ser o suficientemente consistentes como para explicar as accións observadas. Tamén hai unha falta de capacidade de aprendizaxe asociada cos métodos baseados na lóxica.
Outra aproximación para o recoñecemento de actividades baseado na lóxica é usar o razoamento de fluxo baseado na programación de conxuntos de respostas, que usa restricións débiles para modelar un grao de ambigüidade/incerteza. Aplicouse ao recoñecemento de actividades para aplicacións relacionadas coa saúde.
Recoñecemento de actividades mediante razoamento probabilístico A teoría da probabilidade e os modelos de aprendizaxe estatística fóronse aplicando cada vez máis no recoñecemento de actividades para razoar sobre accións, plans e obxectivos baixo incerteza. Na literatura houbo varias aproximacións que representan explicitamente incerteza en razoar sobre os plans e os obxectivos dun axente.
Usando datos de sensores como entrada, Hodges e Pollack deseñaron sistemas baseados na aprendizaxe automática para identificar individuos mentres realizan actividades cotiás, como facer café. O Intel Research Lab (Seattle) e a Universidade de Washington en Seattle realizaron algúns traballos importantes sobre o uso de sensores para detectar plans humanos. Algúns destes traballos deducen os modos de transporte de usuarios a partir de lecturas de identificadores de radiofrecuencia (RFID) e sistemas de posicionamento global (GPS).
Demostrouse que o uso de modelos probabilísticos temporais ten un bo rendemento no recoñecemento de actividades e, en xeral, supera os modelos non temporais. Os modelos xerativos como o Modelo Oculto de Markov (HMM) e as Redes Bayesianas Dinámicas (DBN), formuladas de forma máis xeral, son opcións populares para modelar actividades a partir de datos de sensores. Os modelos discriminativos como os campos aleatorios condicionais (CRF) tamén se aplican habitualmente e ofrecen un bo rendemento no recoñecemento de actividades.
Tanto os modelos xerativos como os discriminativos teñen as súas vantaxes e os seus inconvenientes, e a elección ideal depende da súa área de aplicación. Aquí pódese atopar un conxunto de datos xunto con implementacións de varios modelos populares (HMM, CRF) para o recoñecemento de actividades.
Os modelos probabilísticos temporais convencionais, como o modelo oculto de Markov (HMM) e o modelo de campos aleatorios condicionais (CRF), modelan directamente as correlacións entre as actividades e os datos observados dos sensores. Na segunda e terceira década dos anos 2000, as evidencias crecentes apoiaban o uso de modelos xerárquicos que teñen en conta a rica estrutura xerárquica que existe nos datos de comportamento humano. A idea central aquí é que o modelo non correlaciona directamente as actividades cos datos dos sensores, senón que divide a actividade en subactividades (ás veces denominadas accións) e modela as correlacións subxacentes en consecuencia. Un exemplo podería ser a actividade de preparar un salteado, que se pode dividir nas subactividades ou accións de cortar verduras, fritilas nunha tixola e servilas nun prato. Exemplos dun modelo xerárquico deste tipo son os modelos ocultos de Markov en capas (LHMM) e o modelo oculto de Markov xerárquico (HHMM), que demostraron superar significativamente a súa contraparte non xerárquica no recoñecemento de actividades.
Enfoque baseado na minería de datos para o recoñecemento de actividades A diferenza das abordaxes tradicionais da aprendizaxe automática, propúxose unha aproximación baseada na minería de datos. No traballo de Gu et al., o problema do recoñecemento de actividades formúlase como un problema de clasificación baseado en patróns. Propuxeron unha abordaxe de minería de datos baseada en patróns discriminativos que describen cambios significativos entre dúas clases de actividade de datos para recoñecer actividades secuenciais, entrelazadas e simultáneas nunha solución unificada. Gilbert et al. usan ángulos 2D tanto no espazo como no tempo. Estes agrúpanse espacial e temporalmente mediante un proceso xerárquico, cunha área de busca crecente. En cada etapa da xerarquía, as características máis distintivas e descritivas apréndense de forma eficiente mediante a minería de datos (regra de Apriori).
Recoñecemento de actividades baseado na visión O recoñecemento de actividades baseado na localización tamén pode usar datos obtidos de GPS para cumprir co seu propósito.
Uso de sensores Recoñecemento de actividades baseado na visión