Interpretabilidade mecanística (frequentemente abreviada como mec interp, mecinterp ou MI) é um subcampo de pesquisa dentro da inteligência artificial explicável que visa compreender o funcionamento interno de redes neurais analisando os mecanismos presentes em seus cálculos. A abordagem busca analisar redes neurais de maneira semelhante a como programas de computador binários podem ser submetidos a engenharia reversa para entender suas funções.
História
O termo interpretabilidade mecanística foi cunhado por Chris Olah como uma descrição de seu trabalho em análise de circuitos, em oposição aos métodos usuais em IA interpretável. A análise de circuitos tentava caracterizar completamente características e circuitos individuais dentro de modelos, enquanto o campo mais amplo tendia a abordagens baseadas em gradiente, como mapas de saliência.
Antes da análise de circuitos, o trabalho no subcampo combinava várias técnicas, como visualização de características, redução de dimensionalidade e atribuição com métodos de interação humano-computador para analisar modelos como o modelo de visão Inception v1.
Conceitos-chave
A interpretabilidade mecanística visa identificar estruturas, circuitos ou algoritmos codificados nos pesos de modelos de aprendizado de máquina. Isso contrasta com métodos de interpretabilidade anteriores que se concentravam principalmente em explicações de entrada-saída.
Hipótese da representação linear
thumb|Inserções de palavras simples exibem uma representação linear da semântica. A relação entre um país e sua capital é codificada em uma direção linear no exemplo acima.Esta hipótese sugere que conceitos de alto nível são representados como direções lineares no espaço de ativação de redes neurais. Evidências empíricas de inserções de palavras e modelos de linguagem grandes apoiam essa visão, embora ela não se sustente universalmente.
Métodos
A interpretabilidade mecanística emprega métodos causais para entender como os componentes internos do modelo influenciam as saídas, frequentemente usando ferramentas formais da teoria da causalidade.
A interpretabilidade mecanística, no campo da segurança de IA, é usada para entender e verificar o comportamento de sistemas de IA complexos e para tentar identificar riscos potenciais como o desalinhamento de IA.
Autoencoders esparsos
Um autoencoder esparso (SAE) é um modelo treinado para desembaraçar as ativações de redes neurais em representações esparsas. As dimensões aprendidas frequentemente representam conceitos simples e compreensíveis por humanos. A técnica foi aplicada à interpretabilidade de modelos de linguagem grandes pela Anthropic.
Características e circuitos
Um circuito em uma rede neural é composto por cadeias causais de ativações de características. Ao mapear quais circuitos levam a quais consequências posteriores, bem como ao ativar e inibir circuitos, pode-se analisar como uma rede neural (como um LLM) chega a um determinado resultado a partir de uma determinada entrada.
Referências
Leitura adicional
Categoria:Inteligência artificial Categoria:Aprendizagem de máquina