thumb|upright=3|Redes neurais informadas pela física para resolver equações de Navier–Stokes|307x307px

Em aprendizado de máquina, redes neurais informadas pela física (PINNs, do inglês physics-informed neural networks), também referidas como redes neurais treinadas por teoria (TTNs, do inglês theory-trained neural networks), são um tipo de aproximador universal de funções que pode incorporar o conhecimento de quaisquer leis físicas que regem um determinado conjunto de dados no processo de aprendizado, e podem ser descritas por equações diferenciais parciais (EDPs). A baixa disponibilidade de dados para alguns problemas biológicos e de engenharia limita a robustez dos modelos convencionais de aprendizado de máquina usados para essas aplicações. O conhecimento prévio das leis físicas gerais atua no treinamento de redes neurais (RNs) como um agente de regularização que limita o espaço de soluções admissíveis, aumentando a generalizabilidade da aproximação de funções. Dessa forma, incorporar essa informação prévia em uma rede neural resulta no aumento do conteúdo informacional dos dados disponíveis, facilitando que o algoritmo de aprendizado capture a solução correta e generalize bem mesmo com uma pequena quantidade de exemplos de treinamento. Como processam coordenadas espaciais e temporais contínuas e geram soluções contínuas das EDPs, podem ser categorizadas como campos neurais.

Aproximação de funções

A maioria das leis físicas que governam a dinâmica de um sistema pode ser descrita por equações diferenciais parciais. Por exemplo, as equações de Navier–Stokes são um conjunto de equações diferenciais parciais derivadas das leis de conservação (i.e., conservação de massa, momento e energia) que regem a mecânica dos fluidos. A solução das equações de Navier–Stokes com condições iniciais e de contorno apropriadas permite a quantificação da dinâmica do escoamento em uma geometria precisamente definida. No entanto, essas equações não podem ser resolvidas exatamente e, portanto, métodos numéricos devem ser usados (tais como diferenças finitas, elementos finitos e volumes finitos). Neste cenário, essas equações governantes devem ser resolvidas considerando suposições prévias, linearização e discretização adequada no tempo e no espaço.

Recentemente, resolver as equações diferenciais parciais governantes de fenômenos físicos usando aprendizado profundo emergiu como um novo campo do aprendizado de máquina científico (SciML), aproveitando o teorema da aproximação universal e a alta expressividade das redes neurais. Em geral, redes neurais profundas podem aproximar qualquer função de alta dimensão, desde que dados de treinamento suficientes sejam fornecidos. No entanto, tais redes não consideram as características físicas subjacentes ao problema, e o nível de precisão da aproximação fornecido por elas ainda depende fortemente de especificações cuidadosas da geometria do problema, bem como das condições iniciais e de contorno. Sem essas informações preliminares, a solução não é única e pode perder a correção física.

Para remediar isso, as Redes Neurais Informadas pela Física (PINNs) aproveitam as equações físicas governantes no treinamento da rede neural. Ou seja, as PINNs são projetadas para serem treinadas de modo a satisfazer tanto os dados de treinamento fornecidos quanto as equações governantes impostas. Dessa forma, uma rede neural pode ser guiada com conjuntos de dados de treinamento que não precisam necessariamente ser grandes ou completos. Uma solução precisa de equações diferenciais parciais pode potencialmente ser encontrada sem conhecer as condições de contorno. Portanto, com algum conhecimento sobre as características físicas do problema e alguma forma de dados de treinamento (mesmo esparsos e incompletos), as PINNs podem ser usadas para encontrar uma solução ótima com alta fidelidade.

As PINNs podem ser aplicadas a uma ampla gama de problemas em ciência computacional e são uma tecnologia pioneira que leva ao desenvolvimento de novas classes de solucionadores numéricos para EDPs. As PINNs podem ser pensadas como uma alternativa livre de malha às abordagens tradicionais (por exemplo, CFD para dinâmica dos fluidos) e novas abordagens orientadas por dados para inversão de modelos e identificação de sistemas. Notavelmente, uma rede PINN treinada pode ser usada para prever valores em grades de simulação de diferentes resoluções sem necessidade de retreinamento. Além disso, as derivadas usadas nas equações diferenciais parciais podem ser computadas usando diferenciação automática (AD), que é considerada superior à numérica ou simbólica.

Modelagem e computação

Uma equação diferencial parcial não linear geral pode ser escrita como:

onde denota a solução, é um operador não linear parametrizado por , e é um subconjunto de . Esta forma geral das equações governantes resume uma ampla gama de problemas em física matemática, tais como leis conservativas, processos de difusão, sistemas de advecção-difusão e equações cinéticas. Dadas medições ruidosas de um sistema dinâmico genérico descrito pela equação acima, as PINNs podem ser projetadas para resolver duas classes de problemas:

soluções orientadas por dados de equações diferenciais parciais descoberta orientada por dados de equações diferenciais parciais

Solução orientada por dados de equações diferenciais parciais

A solução orientada por dados de EDP computa o estado oculto do sistema dados dados de contorno e/ou medições , e parâmetros do modelo fixos . Resolvemos:

definindo o resíduo como:

,

e aproximando por uma rede neural profunda. Esta rede pode ser diferenciada usando diferenciação automática. Os parâmetros de e podem então ser aprendidos minimizando a seguinte função de perda :

onde:

é o erro entre a PINN e o conjunto de condições de contorno e dados medidos no conjunto de pontos onde as condições de contorno e dados estão definidos. é o erro quadrático médio da função resíduo. Este segundo termo incentiva a PINN a aprender a informação estrutural expressa pela EDP durante o processo de treinamento.

Esta abordagem tem sido usada para produzir modelos substitutos informados pela física computacionalmente eficientes, com aplicações na previsão de processos físicos, controle preditivo de modelos, modelagem multifísica e multi-escala, e simulação. Foi demonstrado que converge para a solução da EDP.

Descoberta orientada por dados de equações diferenciais parciais

Dadas medições ruidosas e incompletas do estado do sistema, a descoberta orientada por dados de EDPs resulta no cálculo do estado desconhecido e no aprendizado dos parâmetros do modelo que melhor descrevem os dados observados:

Definindo como:

,

e aproximando por uma rede neural profunda, resulta em uma PINN. Esta rede pode ser derivada usando diferenciação automática. Os parâmetros de e , juntamente com o parâmetro do operador diferencial, podem então ser aprendidos minimizando a seguinte função de perda :

onde:

, com e sendo as soluções de estado e as medições em locais esparsos , respectivamente. é a função resíduo. Este segundo termo exige que a informação estruturada representada pelas equações diferenciais parciais seja satisfeita no processo de treinamento.

Esta estratégia permite descobrir modelos dinâmicos descritos por EDPs não lineares, montando modelos substitutos totalmente diferenciáveis e computacionalmente eficientes que podem encontrar aplicação em previsão preditiva, controle e assimilação de dados.

Extensões e aplicações

Para aproximação de funções por partes As PINNs são incapazes de aproximar EDPs que têm forte não linearidade ou gradientes acentuados (como aqueles que ocorrem comumente em problemas práticos de escoamento de fluidos). A aproximação por partes tem sido uma prática antiga no campo da aproximação numérica. Com a capacidade de aproximar forte não linearidade, PINNs extremamente leves são usadas para resolver EDPs em subdomínios discretos muito maiores, o que aumenta substancialmente a precisão e diminui a carga computacional. PINNs Distribuídas (DPINNs) e Máquinas de Aprendizado Extremo Informadas pela Física Distribuídas (DPIELMs) usam discretização generalizável do domínio espaço-tempo para melhor aproximação. DPIELM é um aproximador extremamente rápido e leve com precisão competitiva. O escalonamento de domínio no topo tem um efeito especial. Outra linha de pensamento é a discretização para computação paralela para aproveitar o uso dos recursos computacionais disponíveis.

As XPINNs são uma abordagem generalizada de decomposição de domínio espaço-tempo para as redes neurais informadas pela física (PINNs) para resolver equações diferenciais parciais não lineares em domínios de geometria complexa arbitrária. As XPINNs ampliam ainda mais os limites tanto das PINNs quanto das PINNs conservativas (cPINNs), que são uma abordagem de decomposição de domínio espacial no arcabouço PINN adaptada para leis de conservação. Comparadas às PINNs, as XPINNs têm grande capacidade de representação e paralelização devido à propriedade inerente de implantação de múltiplas redes neurais nos subdomínios menores. Ao contrário das cPINNs, as XPINNs podem ser estendidas a qualquer tipo de EDP. Além disso, o domínio pode ser decomposto de qualquer maneira arbitrária (no espaço e no tempo), o que não é possível com as cPINNs. Assim, as XPINNs oferecem paralelização tanto no espaço quanto no tempo, reduzindo o custo de treinamento de forma mais eficaz. A XPINN é particularmente eficaz para problemas de grande escala (envolvendo grandes conjuntos de dados), bem como para problemas de alta dimensão onde PINNs baseadas em rede única não são adequadas. Cotas rigorosas sobre os erros resultantes da aproximação das EDPs não lineares (equações de Navier–Stokes incompressíveis) com PINNs e XPINNs foram provadas. No entanto, a DPINN refuta o uso de correspondência de resíduo (fluxo) nas interfaces de domínio, pois dificilmente parecem melhorar a otimização.

Teoria das conexões funcionais thumb|upright=1.6|Esquema do arcabouço X-TFC para aprendizado da solução de EDP

No arcabouço PINN, as condições iniciais e de contorno não são satisfeitas analiticamente, portanto precisam ser incluídas na função de perda da rede para serem aprendidas simultaneamente com as funções desconhecidas da equação diferencial (ED). Ter objetivos concorrentes durante o treinamento da rede pode levar a gradientes desbalanceados ao usar técnicas baseadas em gradiente, o que faz com que as PINNs frequentemente tenham dificuldade em aprender com precisão a solução da ED subjacente. Esta desvantagem é superada usando técnicas de interpolação funcional, como a expressão restrita da teoria das conexões funcionais (TFC), no arcabouço Deep-TFC, que reduz o espaço de busca da solução de problemas com restrições ao subespaço da rede neural que satisfaz analiticamente as restrições. Um aprimoramento adicional da abordagem de interpolação funcional e PINN é dado pelo arcabouço da teoria extrema das conexões funcionais (X-TFC), onde uma rede neural de camada única e o algoritmo de treinamento de máquina de aprendizado extremo são empregados. O X-TFC permite melhorar a precisão e o desempenho das PINNs regulares, e sua robustez e confiabilidade são provadas para problemas rígidos, controle ótimo, aeroespacial e aplicações de dinâmica de gases rarefeitos.

Physics-informed PointNet (PIPN) para múltiplos conjuntos de geometrias irregulares