Em redes neurais artificiais, a unidade recorrente controlada (do inglês gated recurrent unit ou GRU) é um mecanismo de controle (gating mechanism) usado em redes neurais recorrentes, introduzido em 2014 por Kyunghyun Cho et al. A GRU é semelhante a uma memória de curto-prazo longa (LSTM) com um mecanismo de controle para inserir ou esquecer certas características, mas não possui um vetor de contexto ou porta de saída (output gate), resultando em menos parâmetros do que a LSTM. O desempenho da GRU em certas tarefas de modelagem de música polifônica, modelagem de sinal de fala e processamento de linguagem natural foi considerado semelhante ao da LSTM. As GRUs mostraram que o mecanismo de controle é de fato útil em geral, e a equipe de Bengio não chegou a nenhuma conclusão concreta sobre qual das duas unidades de controle era melhor.

Arquitetura

Existem diversas variações na unidade controlada completa, com o controle sendo feito utilizando o estado oculto anterior e o viés (bias) em várias combinações, bem como uma forma simplificada chamada de unidade controlada mínima.

No que se segue, o operador denota o produto de Hadamard.

Unidade controlada completa thumb|Unidade Recorrente Controlada, versão com controle completo Inicialmente, para , o vetor de saída é .

Variáveis ( denota o número de características de entrada e o número de características de saída): : vetor de entrada : vetor de saída : vetor de ativação candidato : vetor da porta de atualização (update gate) : vetor da porta de redefinição (reset gate) , e : matrizes de parâmetros e vetor que precisam ser aprendidos durante o treinamento

Funções de ativação : A original é uma função logística. : A original é uma tangente hiperbólica. Funções de ativação alternativas são possíveis, desde que .

thumb|Tipo 1 thumb|Tipo 2 thumb|Tipo 3 Formas alternativas podem ser criadas alterando e Tipo 1: cada porta depende apenas do estado oculto anterior e do viés.

Tipo 2: cada porta depende apenas do estado oculto anterior.

Tipo 3: cada porta é calculada usando apenas o viés.

Unidade controlada mínima A unidade controlada mínima (MGU) é semelhante à unidade controlada completa, exceto que o vetor da porta de atualização e de redefinição é mesclado em uma porta de esquecimento (forget gate). Isto também implica que a equação para o vetor de saída deve ser alterada:

Variáveis : vetor de entrada : vetor de saída : vetor de ativação candidato : vetor de esquecimento , e : matrizes de parâmetros e vetor

Unidade recorrente controlada leve

A unidade recorrente controlada leve (LiGRU) remove completamente a porta de redefinição, substitui a tanh pela ativação ReLU e aplica a normalização em lote (BN):

A LiGRU foi estudada sob uma perspectiva Bayesiana. Esta análise rendeu uma variante chamada de unidade recorrente Bayesiana leve (LiBRU), que apresentou ligeiras melhorias em relação à LiGRU em tarefas de reconhecimento de fala.

Categoria:Arquiteturas de redes neurais Categoria:Redes neurais artificiais Categoria:Softwares de 2014 Categoria:2014 na inteligência artificial