Inferência estatística é um ramo da Estatística cujo objetivo é fazer afirmações a partir de um conjunto de valores representativo (amostra) sobre um universo (população), assume-se que a população é muito maior do que o conjunto de dados observados, a amostra. Tal tipo de afirmação deve sempre vir acompanhada de uma medida de precisão sobre sua veracidade. Para realizar este trabalho, o estatístico coleta informações de dois tipos, experimentais (as amostras) e aquelas que obtém na literatura. As duas principais escolas de inferência são a inferência frequencista (ou clássica) e a inferência bayesiana.
A inferência estatística é geralmente distinta da estatística descritiva. A descrição estatística pode ser vista como a simples apresentação dos fatos, nos quais o modelo de decisões feito pelo analista tem pouca influência. É natural que análises estatísticas avancem, indo da descrição para a inferência de padrões. Essa última tarefa depende do modelo usado e/ou criado pelo analista dos dados.
A inferência estatística faz proposições sobre um universo, usando dados tirados de um universo com algum tipo de amostragem. Dada um hipótese sobre um universo, para o qual nós queremos tirar inferências, a inferência estatística consiste em (primeiramente) selecionar um modelo estatístico do processo que gera os dados e (segundamente) deduzir as proposições a partir do modelo.
Konishi & Kitagawa afirmam, "A maior parte dos problemas na inferência estatística podem ser considerados problemas relacionados à modelagem estatística".Konishi & Kitagawa (2008), p.75 De forma relacionada, Sir David Cox disse que, "Como a tradução do problema da matéria é feita para o modelo estatístico é com frequência a parte mais crítica de uma análise".Cox (2006), p.197
A conclusão de uma inferência estatística é uma proposição estatística. Algumas formas comuns de proposições estatísticas são as seguintes: Estimativa por ponto. Ex. Um valor particular que melhor aproxima algum parâmetro de interesse; Estimativa por intervalo. Ex. Um intervalo de confiança (ou estimativa por conjunto), ex. um intervalo construído ao usar um conjunto de dados tirados de um universo de forma que, baixo amostragens repetidas de tais conjuntos de dados, tais intervalos conteriam o verdadeiro valor parâmetro com a probabilidade no dito nível de confiança. Intervalo de credibilidade. Ex. um conjunto de valores contendo, por exemplo, 95% de crença posterior. Rejeição de uma hipótese.De acordo com Peirce, aceitação significa que as questões para determinada pergunta cessam durante esse período. Na ciência, todas as teorias científicas podem ser revistadas. Clustering ou classificação de pontos de dados em grupos.
Modelos e suposições
Qualquer inferência estatística requer algumas suposições. Um modelo estatístico é um conjunto de suposições preocupadas com a geração dos dados observados e seus similares. Descrições de modelos estatísticos normalmente enfatizam o papel das quantidades de universo de interesse, sobre os quais desejamos tirar inferência.Cox (2006) pag. 2 Estatísticas descriptivas são tipicamente usadas como um passo preliminar à inferências mais formais.
Níveis de modelos/suposições Estatísticos distinguem entre três níveis de suposições de modelagem; Paramétrico completo: As distribuições de probabilidade descrevendo o processo de geração de dados são assumidas como completamente descritas por uma família de distribuições de probabilidade envolvendo apenas um número finito de parâmetros desconhecidos. Por exemplo, um pode assumir que a distribuição dos valores do universo é verdadeiramente Normal, com média e variação desconhecidas, e que os conjuntos de dados são gerados pela amostragem aleatória "simples". A família de modelos lineares generalizados é uma classe amplamente usada e flexível de modelos paramétricos. Não-paramétrico: As suposições feitas sobre o processo de geração dedadas são muito menores que nas estatísticas paramétricas e podem ser mínimas. Por exemplo, toda distribuição de probabilidade contínua tem um valor médio, o qual pode ser estimado usando a média da amostragem ou o estimador de Hodges-Lehmann, o qual tem boas propriedades quando os dados surgem desde amostragens aleatórias simples. Semi-paramétrico: Este termo tipicamente implica suposições entre abordagens completas e não-paramétricas. Por exemplo, um pode assumir que uma distribuição de população tem uma média finita. Além disso, um pode assumir que o nível de resposta média na população depende, de forma verdadeiramente linear, de algumas covariações (uma suposição paramétrica) mas não fazer qualquer suposição paramétrica descrevendo a variação ao redor da média (ex. sobre a presença ou forma possível de qualquer heteroscedasticidade). Mais generalizadamente, modelos semi-paramétricos podem com frequência ser separados entre "estruturais" e componentes de "variação aleatória". Um componente é tratado de forma paramétrica e o outro não. O bem conhecido modelo de Cox é um conjunto de suposições semi-paramétricas.
Importância de modelos/suposições válidas Não importa o nível da suposição feita, inferências calibradas corretamente em geral requerem que essas suposições estejam corretas; ex. que os mecanismos de geração de dados realmente foram corretamente especificados.
Suposições incorretas de amostragens aleatórias simples podem invalidar a inferência estatística.Kruskal 1988 Suposições semi- e completamente paramétricas complexas também são causas de preocupação. Por exemplo, assumir incorretamente que o modelo Cox pode em alguns casos levar à conclusões falhas. Suposições incorretas de Normalidade na população também pode invalidar algumas formas de inferências baseadas em regressão. O uso de qualquer modelo paramétrico é visto ceticamente pela maior parte de expertos em amostragem de populações humanas: "a maior parte dos estatísticos de amostragem, quando lidam com intervalos de confiança, se limitam à fazer afirmações sobre estimativas baseadas em amostras muito grandes, onde o teorema central do limite garante que essas estimativas terão distribuições que são minimamente normais". Em particular, uma distribuição normal "seria uma suposição totalmente irrealista e catastroficamente boba a se fazer se estivéssemos lidando com qualquer tipo de população econômica". Aqui, o teorema central do limite afirma que a distribuição da média da amostra "para amostras muito grandes" é aproximadamente normalmente distribuída, se a distribuição não tem uma cauda longa.
Aproximando distribuições Dada a dificuldade em especificar distribuições exatas de amostras estatísticas, vários métodos tem sido desenvolvidos para aproxima-las.
Com amostras finitas, os resultados de aproximação medem o quanto se aproxima uma distribuição limite de uma distribuição de amostragem: Por exemplo, com 10.000 amostras independentes, a distribuição normal se aproxima (até dois dígitos de precisão) da distribuição da média da amostra para várias distribuições de população, através do teorema Berry-Esseen. Ainda assim, para vários objetivos práticos, a aproximação normal dá uma boa aproximação à média da distribuição da amostra quando há 10 (ou mais) amostras independentes, de acordo com estudos de simulação e experiências estatísticas. Seguindo o trabalho de Kolmogorov em 1950, a estatística avançada usa a teoria de aproximação e a análise funcional para quantificar o erra da aproximação. Nesta abordagem, a geometria métrica das distribuições de probabilidade é estudada; esta abordagem quantifica os erros de aproximação com, por exemplo, a divergência Kullback-Leibler, divergência Bregman, e a distância de Hellinger.Le Cam (1986)
Com amostras indefinidamente grandes, resultados limite como o teorema central do limite descrevem a distribuição limite da amostragem estatística, se ela existe. Resultados limite não são afirmações sobre amostras finitas, e de fato são irrelevantes para amostras finitas.Kolmogorov (1963, p.369): "O conceito de frequência, baseado na noção de frequência limitante a medida que o número de testes aumenta infinitamente, não contribui em nada para substanciar a aplicabilidade dos resultados da teoria de probabilidade para problemas práticos reais onde temos sempre que lidar com um número finito de testes" (livre tradução)"De fato, teoremas de limite "a medida que tendem para o infinito" são logicamente desprovidos de conteúdo sobre o que acontece em qualquer evento. Tudo o que eles podem fazer é sugerir certas abordagens cujas performances devem então ser verificadas no caso em mãos" (livre tradução) — Le Cam (1986) (pag. xiv)Pfanzagl (1994): "O inconveniente crucial da teoria assintótica: O que nós esperamos da teoria assintótica são resultados que contém aproximadamente... O que a teoria assintótica tem a oferecer são teoremas de limite" (p. 9) "O que conta para as aplicações são as aproximações, não os limites" (pag. 188) (livre tradução) No entanto, a teoria assintótica de distribuições limite é com frequência evocada em trabalhos com amostras finitas. Por exemplo, resultados limite são com frequência evocados para justificar os métodos dos momentos generalizados que são populares em econometria e bioestatística. A magnitude da diferença entre a distribuição limite e a verdadeira distribuição (formalmente, a aproximação de erro) pode ser avaliada usando simulações.Pfanzagl (1994): "Ao tomar um teorema de limite como sendo aproximadamente verdadeiro para uma amostra grande, nós cometemos um erro cujo tamanho é desconhecido. [...] Informação realista sobre os erros remanescente pode ser obtida por simulações" (pag. 9) (tradução livre) A aplicação heurística de resultados limite para amostras finitas é uma prática comum em várias aplicações, especialmente com modelos de baixa-dimensão com funções de verossimilhança log-concavas (tais como as com um parâmetro das famílias exponenciais).
Modelos baseados na randomização Ver também: Amostragem (estatística) e Atribuição aleatória
Para um dado conjunto de dados que foi produzido por um desenho de randomização, a distribuição de randomização de uma estatística (baixa a hipótese nula) é definida pela avaliação do teste estatístico de todos os planos que poderiam ser gerados pelo desenho de randomização. Em inferência frequencista, a randomização permite que as inferências sejam baseadas nas distribuições de randomização ao invés de um modelo subjetivo, e isto é importante especialmente em pesquisas de amostra e desenhos de experimentos.Hinkelmann e Kempthorne(2008)Inferência estatística a partir de estudos de randomização é também mais direta do que em muitas outras situações.Guia ASA para um primeiro curso em estatística para não estatísticos.. (disponível no website da ASA) David A. Freedman et alia's Statistics. David S. Moore e George McCabe. Introduction to the Practice of Statistics. Na inferência bayesiana, a randomização é também importante: na pesquisa de amostra, o uso de amostras sem reposição garante a possibilidade de intercâmbio das amostras com a população; nos experimentos de randomização, a randomização garante uma suposição em falta aleatória para a informação covariante.Gelman A. et al. (2013). Bayesian Data Analysis (Chapman & Hall) .