miniatura|Visualização da pontuação esperada sob várias previsões a partir de algumas funções de pontuação comuns. Linha preta tracejada: crença real do previsor; vermelho: linear; laranja: esférico; roxo: quadrático; verde: logarítmico. Na teoria da decisão, tanto uma regra de pontuação (scoring rule) quanto uma função de pontuação (scoring function) fornecem uma medida-resumo ex post para a avaliação da qualidade de uma predição ou previsão. Elas atribuem uma pontuação numérica a uma previsão individual diante do resultado real observado. Dependendo da convenção de sinais adotada, essa pontuação pode ser interpretada como uma perda (penalidade) ou como uma recompensa para o previsor. As regras de pontuação avaliam previsões probabilísticas, isto é, previsões de toda a distribuição de probabilidade do desfecho. Por outro lado, as funções de pontuação avaliam previsões pontuais, isto é, previsões de uma propriedade ou funcional da distribuição de probabilidade do desfecho. Exemplos de tais propriedades são a esperança matemática e a mediana.
miniatura|A pontuação logarítmica média de 10 pontos i.i.d. amostrados de uma distribuição normal padrão (histograma azul), avaliada sobre uma variedade de distribuições (linha vermelha). Embora não seja necessariamente verdadeiro para amostras individuais, em média, uma regra de pontuação própria atribuirá a menor pontuação se a distribuição prevista coincidir com a distribuição dos dados. miniatura|Uma curva de calibração permite avaliar quão bem as previsões de um modelo estão calibradas, comparando os quantis previstos com os quantis observados. A linha azul representa o modelo mais bem calibrado; ver calibração (estatística). As regras de pontuação respondem à pergunta: "quão boa é uma distribuição de probabilidade prevista diante da observação do resultado real?". As regras de pontuação que são (estritamente) próprias têm demonstradamente a menor pontuação esperada se a distribuição prevista for igual à distribuição subjacente da variável-alvo. Embora isso possa diferir para observações individuais, tal propriedade deve resultar na minimização da pontuação esperada caso as distribuições "corretas" sejam previstas.
Da mesma forma, as funções de pontuação respondem à pergunta: "quão boa é uma previsão pontual diante da observação do resultado real?". As funções de pontuação que são (estritamente) consistentes (para o funcional ) têm demonstradamente a menor pontuação esperada se a previsão pontual for igual (ou pertencer) ao verdadeiro funcional da distribuição subjacente da variável-alvo.
Regras de pontuação e funções de pontuação são frequentemente utilizadas como "funções de custo" ou "funções de perda" em modelos de previsão. Caso seja coletada uma amostra de previsões e observações do desfecho, elas podem ser avaliadas como a média empírica da referida amostra, frequentemente chamada também de "pontuação" (score). As pontuações das previsões de diferentes modelos ou previsores podem então ser comparadas para concluir qual modelo ou previsor é o melhor.
Por exemplo, considere um modelo probabilístico que prevê (com base em uma entrada ) uma distribuição gaussiana com média e desvio-padrão . Uma interpretação comum dos modelos probabilísticos é a de que eles visam quantificar sua própria incerteza preditiva. Neste exemplo, uma variável-alvo observada é então confrontada com a distribuição prevista e recebe uma pontuação . Quando um modelo probabilístico é treinado com base em uma regra de pontuação, esta deve "ensinar" o modelo a prever quando sua incerteza é baixa e quando sua incerteza é alta, devendo resultar em previsões calibradas, ao mesmo tempo em que minimiza a incerteza preditiva.
Embora o exemplo fornecido diga respeito à previsão probabilística de uma variável-alvo de valores reais, uma ampla variedade de regras de pontuação foi concebida com diferentes variáveis-alvo em mente. Existem regras de pontuação para a classificação probabilística binária e categórica, bem como para a regressão probabilística univariada e multivariada.
Definições Considere um espaço amostral ou domínio de observação, , que compreende os resultados potenciais de uma observação futura; uma \sigma-álgebra de subconjuntos de e uma classe convexa de medidas de probabilidade em . Uma função definida em e assumindo valores na reta real estendida, , é dita -quase-integrável se for mensurável em relação a e for quase-integrável em relação a todas as medidas .
Um funcional (estatístico) é uma aplicação, com valores potencialmente em conjuntos, da classe de distribuições de probabilidade para um espaço euclidiano, isto é, com .
Previsão probabilística Uma previsão probabilística é qualquer medida de probabilidade , ou seja, uma distribuição de potenciais observações futuras.
Previsão pontual Uma previsão pontual para o funcional é qualquer valor .
Regra de pontuação Uma regra de pontuação é qualquer função de valores reais estendidos tal que seja -quase-integrável para todo . O valor representa a perda ou penalidade quando a previsão é emitida e a observação se concretiza.
Função de pontuação Uma função de pontuação é qualquer função de valores reais , onde representa a perda ou penalidade quando a previsão pontual é emitida e a observação se concretiza.
Orientação / Convenção de sinais As regras de pontuação e as funções de pontuação são negativamente (positivamente) orientadas se valores menores (maiores) indicarem melhor desempenho. A alteração dessa convenção pode ser realizada multiplicando-se a pontuação por . Adota-se aqui a orientação negativa, justificando-se a associação direta com o conceito de "perda".
Pontuação esperada Escreve-se para a pontuação esperada de uma previsão probabilística em relação à distribuição subjacente :
De modo análogo, a pontuação esperada de uma previsão pontual em relação à distribuição subjacente é expressa por:
Pontuação média amostral Uma forma de estimar a pontuação esperada é por meio da pontuação média amostral. Dada uma amostra de pares previsão-observação, por exemplo, para previsões probabilísticas e observações , com , ou para previsões pontuais , a pontuação média é calculada como:
para regras de pontuação:
para funções de pontuação:
Invocando-se argumentos fundamentados na lei dos grandes números, as pontuações médias amostrais constituem estimadores consistentes da esperança matemática.
Propriedades
Própria e consistente Regras de pontuação estritamente próprias e funções de pontuação estritamente consistentes incentivam previsões sinceras por meio da maximização da recompensa esperada: se um previsor receber uma recompensa igual a caso ocorra (por exemplo, ), então a maior recompensa esperada (menor perda) é obtida reportando-se a verdadeira distribuição de probabilidade.
Regras de pontuação próprias Uma regra de pontuação é dita própria em relação a se (assumindo orientação negativa) sua pontuação esperada for minimizada quando a distribuição prevista coincidir com a distribuição da observação:
para todo .
Ela é dita estritamente própria se a desigualdade acima for satisfeita como igualdade se, e somente se, .
Funções de pontuação consistentes Uma função de pontuação é dita consistente para o funcional em relação à classe se:
para todo , todo e todo .
Ela é dita estritamente consistente se for consistente e se a igualdade na equação acima implicar que .
Transformação afim Após uma transformação afim, uma regra de pontuação estritamente própria permanece estritamente própria, e uma função de pontuação estritamente consistente (para determinado funcional ) permanece estritamente consistente. Isto é, se for uma regra de pontuação estritamente própria, então com também será uma regra de pontuação estritamente própria; no entanto, se , o sentido de otimização da regra comuta entre maximização e minimização. Para funções de pontuação, aplica-se a mesma propriedade com as adaptações diretas pertinentes.
Localidade Diz-se que uma regra de pontuação própria é local se sua estimativa para a probabilidade de um evento específico depender unicamente da probabilidade atribuída a esse evento. Essa formulação é apresentada de forma ampla na literatura, mas pode ser entendida, na maioria dos contextos, como a invariância da solução ótima do problema de pontuação "em um evento específico" sob quaisquer alterações na distribuição da observação que mantenham a probabilidade desse evento inalterada. Todas as pontuações binárias são locais, visto que a probabilidade atribuída ao evento não ocorrido fica univocamente determinada, não havendo grau de flexibilidade restante.
Funções afins da regra de pontuação logarítmica são as únicas regras de pontuação locais estritamente próprias sobre um conjunto finito que não seja binário.
Decomposição O valor esperado de uma regra de pontuação própria pode ser decomposto na soma de três componentes, denominados incerteza, confiabilidade e resolução, os quais caracterizam diferentes atributos das previsões probabilísticas:
Se a pontuação for própria e negativamente orientada (como a pontuação de Brier), todos os três termos serão positivos definidos. O componente de incerteza () equivale à pontuação esperada da previsão que prevê constantemente a frequência média do evento. O componente de confiabilidade () penaliza previsões mal calibradas, nas quais as probabilidades previstas não coincidem com as frequências observadas do evento.
As equações para os componentes individuais dependem da regra de pontuação em questão. Para a pontuação de Brier, elas são expressas por:
onde é a probabilidade média de ocorrência do evento binário , e é a probabilidade condicional do evento dado , ou seja, .
Exemplos de regras de pontuação próprias Existe um número infinito de regras de pontuação, incluindo famílias inteiras parametrizadas de regras estritamente próprias. Os modelos apresentados a seguir constituem os exemplos mais difundidos.
Variáveis categóricas Para uma variável de resposta categórica com eventos mutuamente exclusivos, , um previsor probabilístico ou algoritmo produzirá um vetor de probabilidade contendo as probabilidades para cada um dos resultados.
Caso se concretize o desfecho , costuma-se abreviar a pontuação como .
Pontuação logarítmica
miniatura|upright=1.25|Valor esperado da regra logarítmica. Quando se espera que o Evento 1 ocorra com probabilidade de 0,8, a curva azul é descrita pela função . A regra de pontuação logarítmica é estritamente própria e local. Ela coincide com o valor negativo da entropia de Shannon, sendo habitualmente empregada como critério de avaliação na inferência bayesiana. Essa regra possui fundamentação rigorosa na teoria da informação.
Aqui, a pontuação é calculada como o logaritmo da probabilidade estimada para o desfecho real. Ou seja, uma previsão de 80% que se confirme verdadeira receberá uma pontuação de . Essa mesma previsão também atribui 20% de probabilidade ao cenário oposto; assim, caso se revele falsa, receberá uma pontuação calculada sobre os 20%: . O objetivo do previsor é maximizar a pontuação de modo a torná-la o maior possível, e é estritamente maior que .
Tratando-se a veracidade ou falsidade da previsão como uma variável com valor 1 ou 0, respectivamente, e a probabilidade expressa como , pode-se formular a regra logarítmica como . Qualquer base logarítmica pode ser empregada, uma vez que regras de pontuação estritamente próprias permanecem estritamente próprias sob transformações lineares. Isto é:
é estritamente própria para qualquer base .
Pontuação quadrática / Brier A regra de pontuação quadrática é estritamente própria:
onde é a probabilidade atribuída ao resultado correto .
A pontuação de Brier, originalmente proposta por Glenn W. Brier em 1950, pode ser obtida por uma transformação afim da regra quadrática: