thumb|350px|alt=Diagrama que ilustra os conjuntos usados no cálculo da precisão e da revocação|Precisão e revocação Na análise estatística de sistemas de classificação binária e recuperação de informação, a medida F (do inglês F-score ou F-measure) é uma medida de desempenho preditivo. Ela é calculada a partir da precisão e da revocação do teste: a precisão é o número de resultados verdadeiros positivos dividido pelo número de todas as amostras preditas como positivas, inclusive as classificadas incorretamente como positivas; a revocação é o número de resultados verdadeiros positivos dividido pelo número de todas as amostras que deveriam ter sido identificadas como positivas. A precisão também é conhecida como valor preditivo positivo, e a revocação também é conhecida como sensibilidade na classificação binária diagnóstica.

A medida F1 é a média harmônica da precisão e da revocação. Assim, representa simetricamente a precisão e a revocação em uma única métrica. A medida mais geral aplica pesos adicionais, atribuindo maior importância à precisão ou à revocação.

O maior valor possível de uma medida F é 1,0, o que indica precisão e revocação perfeitas; o menor valor possível é 0, se a precisão ou a revocação for zero.

Etimologia Acredita-se que o nome medida F tenha sido inspirado por uma função F diferente apresentada no livro de Van Rijsbergen, quando a medida foi introduzida na quarta Message Understanding Conference (MUC-4, 1992).

Definição A medida F tradicional, ou medida F balanceada (medida F1), é a média harmônica da precisão e da revocação:

Como e , segue-se que o numerador de é a soma dos numeradores dessas duas razões e que o denominador de é a soma de seus denominadores.

Se ,

ou

Portanto, F1 = precisão = revocação.

Se ,

ou

Para interpretá-la como uma média harmônica, observe-se que .

Medida Fβ

Uma medida F mais geral, , emprega um fator real positivo , escolhido de modo que a importância atribuída à revocação seja vezes a atribuída à precisão:

Para interpretá-la como uma média harmônica ponderada, observe-se que .

Em termos de erros do tipo I e do tipo II, a expressão torna-se:

Dois valores de usados com frequência são 2, que atribui maior peso à revocação do que à precisão, e 1/2, que atribui menor peso à revocação do que à precisão.

A medida F foi derivada de modo que “mede a eficácia da recuperação em relação a um usuário que atribui à revocação vezes a importância atribuída à precisão”. Ela se baseia na medida de eficácia de C. J. van Rijsbergen:

A relação entre as duas é , em que .

Testes diagnósticos

Essa formulação está relacionada ao campo da classificação binária, no qual a revocação é frequentemente denominada “sensibilidade”.

Condição predita Fontes: População total Positivo predito Negativo predito Informatividade, informatividade do apostador (BM) Limiar de prevalência (PT) Condição real Positivo real (P)Número de casos realmente positivos nos dados. Verdadeiro positivo (TP)acertoResultado de teste que indica corretamente a presença de uma condição ou característica. Falso negativo (FN)omissão, subestimação Taxa de verdadeiros positivos (TPR), revocação, sensibilidade (SEN), probabilidade de detecção, taxa de acertos, poder Taxa de falsos negativos (FNR),taxa de omissõeserro do tipo IIErro do tipo II: resultado de teste que indica incorretamente que determinada condição ou atributo está ausente. Negativo real (N)Número de casos realmente negativos nos dados. Falso positivo (FP)alarme falso, superestimação Verdadeiro negativo (TN)rejeição corretaResultado de teste que indica corretamente a ausência de uma condição ou característica. Taxa de falsos positivos (FPR),probabilidade de alarme falso, taxa de resultados não pertinenteserro do tipo IErro do tipo I: resultado de teste que indica incorretamente que determinada condição ou atributo está presente. Taxa de verdadeiros negativos (TNR),especificidade (SPC), seletividade Prevalência Valor preditivo positivo (PPV), precisão Taxa de falsas omissões (FOR) Razão de verossimilhança positiva (LR+) Razão de verossimilhança negativa (LR−) Acurácia (ACC) Taxa de falsas descobertas (FDR) Valor preditivo negativo (NPV) Marcação (MK), deltaP (Δp) Razão de chances diagnóstica (DOR) Acurácia balanceada (BA) Medida F1 Índice de Fowlkes–Mallows (FM) Coeficiente phi ou coeficiente de correlação de Matthews (MCC) Pontuação de ameaça (TS), índice crítico de sucesso (CSI), índice de Jaccard

thumb|300px|alt=Gráfico tridimensional da média harmônica normalizada em função da precisão e da revocação|Gráfico da média harmônica normalizada, em que x é a precisão, y é a revocação e o eixo vertical é a medida F1, em pontos percentuais

thumb|alt=Curva de precisão e revocação com pontos coloridos por limiar e o ponto de medida F ótima destacado em vermelho|Curva de precisão–revocação: os pontos de diferentes limiares são codificados por cores, e o ponto com a medida F ótima está destacado em vermelho

Dependência da medida F em relação ao desequilíbrio de classes

A curva de precisão–revocação e, portanto, a medida dependem explicitamente da razão entre o número de casos de teste positivos e o de casos negativos. Isso significa que é problemático comparar a medida F entre problemas diferentes com razões de classes distintas. Uma maneira de tratar essa questão (ver, por exemplo, Siblini et al., 2020) é empregar uma razão de classes padrão ao realizar tais comparações.

Aplicações

A medida F é frequentemente usada no campo da recuperação de informação para mensurar o desempenho de buscas, classificação de documentos e classificação de consultas. Ela é particularmente relevante em aplicações voltadas principalmente à classe positiva e nas quais essa classe é rara em relação à classe negativa.

Os trabalhos iniciais concentravam-se sobretudo na medida F1, mas, com a proliferação de mecanismos de busca em grande escala, os objetivos de desempenho mudaram para dar maior ênfase à precisão ou à revocação, razão pela qual passou a ter ampla aplicação.

A medida F também é usada em aprendizado de máquina.Ver, por exemplo, a avaliação em . Entretanto, as medidas F não levam os verdadeiros negativos em consideração; por isso, medidas como o coeficiente de correlação de Matthews, a informatividade ou o coeficiente kappa de Cohen podem ser preferíveis para avaliar o desempenho de um classificador binário.

A medida F tem sido amplamente empregada na literatura de processamento de linguagem natural, por exemplo, na avaliação do reconhecimento de entidade nomeada e da segmentação de palavras.

Propriedades

A medida F1 é o coeficiente de Sørensen–Dice entre o conjunto de itens recuperados e o conjunto de itens relevantes.

A medida F1 de um classificador que sempre prediz a classe positiva converge para 1 à medida que aumenta a probabilidade da classe positiva. A medida F1 de um classificador que sempre prediz a classe positiva é igual a 2 × proporção da classe positiva / (1 + proporção da classe positiva), pois a revocação é 1 e a precisão é igual à proporção da classe positiva. Se o modelo de pontuação não for informativo — isto é, não conseguir distinguir entre as classes positiva e negativa —, o limiar ótimo será 0, de modo que a classe positiva seja sempre predita. A medida F1 é côncava em relação à taxa de verdadeiros positivos.

Críticas David Hand e outros pesquisadores criticam o uso disseminado da medida F1, pois ela atribui igual importância à precisão e à revocação. Na prática, diferentes tipos de erros de classificação acarretam custos distintos. Em outras palavras, a importância relativa da precisão e da revocação é um aspecto do problema.

Segundo Davide Chicco e Giuseppe Jurman, a medida F1 é menos fidedigna e informativa do que o coeficiente de correlação de Matthews (MCC) na avaliação da classificação binária.

David M. W. Powers assinalou que F1 ignora os verdadeiros negativos e, portanto, é enganosa para classes desequilibradas, enquanto as medidas kappa e de correlação são simétricas e avaliam as duas direções da previsibilidade — o classificador predizendo a classe verdadeira e a classe verdadeira predizendo a predição do classificador. Powers propôs medidas multiclasse separadas, a informatividade e a marcação, para as duas direções, e observou que a média geométrica entre elas é a correlação.

Outra fonte de críticas à medida F1 é sua falta de simetria. Isso significa que seu valor pode mudar quando a rotulagem do conjunto de dados é invertida: as amostras “positivas” passam a ser chamadas de “negativas” e vice-versa. Essa crítica é abordada pela definição da métrica P4, às vezes indicada como uma extensão simétrica de F1.

Por fim, Ferrer e Dyrland et al. argumentam que o custo esperado — ou sua contraparte, a utilidade esperada — é a única métrica fundamentada para avaliar decisões de classificação e apresenta várias vantagens sobre a medida F e o MCC. Ambos os trabalhos mostram que a medida F pode levar a conclusões erradas sobre a qualidade absoluta e relativa dos sistemas.

Diferença em relação ao índice de Fowlkes–Mallows

Enquanto a medida F é a média harmônica da revocação e da precisão, o índice de Fowlkes–Mallows é a média geométrica entre ambas.

Extensão à classificação multiclasse

A medida F também é usada para avaliar problemas de classificação com mais de duas classes (classificação multiclasse). Um método comum consiste em calcular a média da medida F entre todas as classes, visando a uma mensuração balanceada do desempenho.

F1 macro

F1 macro é uma medida F1 obtida por média macro que visa a mensurar o desempenho de maneira balanceada. Para calculá-la, têm sido usadas duas fórmulas de média diferentes: a medida F1 calculada a partir das médias aritméticas por classe da precisão e da revocação ou a média aritmética das medidas F1 de cada classe, sendo que a última apresenta propriedades mais desejáveis.

F1 micro

F1 micro é a média harmônica entre a precisão micro e a revocação micro. Na classificação multiclasse de rótulo único, a precisão micro é igual à revocação micro e, portanto, F1 micro é igual a ambas. Entretanto, ao contrário de uma concepção equivocada comum, F1 micro não é, em geral, igual à acurácia, porque a acurácia leva os verdadeiros negativos em consideração, ao passo que F1 micro não.

Ver também BLEU Matriz de confusão Testes de hipótese para acurácia METEOR NIST (métrica) Característica de operação do receptor ROUGE (métrica) Coeficiente de incerteza, também chamado de proficiência Taxa de erro de palavras LEPOR

Referências

Categoria:Aprendizagem de máquina Categoria:Processamento de linguagem natural Categoria:Recuperação de informação Categoria:Estatística descritiva Categoria:Análise de agrupamento