Em informática e ciência da informação, o modelo de independência binária (BIM, do inglês binary independence model) é uma técnica probabilística de recuperação de informação. O modelo faz algumas suposições simples para tornar a estimativa de semelhança entre documento/consulta provável e viável.

Definições A suposição de independência binária estabelece que os documentos são vetores binários; ou seja, apenas a presença ou ausência de termos nos documentos é registada. Os termos são distribuídos de forma independente no conjunto de documentos relevantes e são também distribuídos independentemente no conjunto de documentos irrelevantes. A representação é um conjunto ordenado de variáveis booleanas. Isto significa que a representação de um documento ou consulta é um vetor com um elemento booleano para cada termo em consideração. Mais especificamente, um documento é representado por um vetor onde se o termo t estiver presente no documento d e caso contrário. Muitos documentos podem ter a mesma representação vetorial com esta simplificação. As consultas são representadas de forma semelhante. "Independência" significa que os termos no documento são considerados independentemente uns dos outros e nenhuma associação entre termos é modelada. Esta suposição é muito limitadora, mas foi demonstrado que produz resultados suficientemente bons para muitas situações. Esta independência é a suposição "ingénua" de um Classificador Naive Bayes, onde propriedades que se implicam mutuamente são, apesar disso, tratadas como independentes por uma questão de simplicidade. Esta suposição permite que a representação seja tratada como uma instância de um Modelo de espaço vetorial, considerando cada termo como um valor de 0 ou 1 ao longo de uma dimensão ortogonal às dimensões usadas para os outros termos.

A probabilidade de que um documento seja relevante deriva da probabilidade de relevância do vetor de termos desse documento . Utilizando a Regra de Bayes, obtemos:

onde e são as probabilidades de recuperar um documento relevante ou não relevante, respetivamente, dado que a representação desse documento é x. As probabilidades exatas não podem ser conhecidas de antemão, pelo que devem ser utilizadas estimativas estatísticas sobre a coleção de documentos.

e indicam a probabilidade a priori de recuperar um documento relevante ou não relevante, respetivamente, para uma consulta q. Se, por exemplo, soubéssemos a percentagem de documentos relevantes na coleção, poderíamos usá-la para estimar estas probabilidades. Visto que um documento é ou relevante ou não relevante para uma consulta, temos que:

Ponderação de Termos de Consulta Dada uma consulta binária e o produto escalar como função de semelhança entre um documento e uma consulta, o problema reside em atribuir pesos aos termos na consulta de modo a que a eficácia da recuperação seja elevada. Sejam e a probabilidade de um documento relevante e um documento irrelevante possuírem o -ésimo termo, respetivamente. Yu e Salton, que introduziram o BIM pela primeira vez, propõem que o peso do -ésimo termo seja uma função crescente de . Assim, se for superior a , o peso do termo será superior ao do termo . Yu e Salton demonstraram que tal atribuição de pesos aos termos da consulta resulta numa melhor eficácia de recuperação do que se os termos tivessem pesos iguais. Robertson e Spärck Jones demonstraram posteriormente que, se ao -ésimo termo for atribuído o peso de , obtém-se a eficácia de recuperação ideal sob a suposição de independência binária.

O modelo de independência binária foi introduzido por Yu e Salton. O termo modelo de independência binária (BIM) foi cunhado por Robertson e Spärck Jones, que utilizaram a probabilidade log-odds do modelo de relevância probabilística para derivar , onde a probabilidade log-odds demonstra ser equivalente em termos de ordenação (ranking) à probabilidade de relevância (ou seja, ) por Luk, obedecendo ao princípio de ordenação por probabilidade.

Ver também Modelo de saco de palavras (Bag of words model)

Leitura adicional

Referências

Categoria:Técnicas de recuperação de informação Categoria:Modelos probabilísticos