Distância de Bhattacharyya

Em estatística, a distância de Bhattacharyya é uma grandeza que representa uma noção de similaridade entre duas distribuições de probabilidade. Ela está intimamente relacionada ao coeficiente de Bhattacharyya, que é uma medida da quantidade de sobreposição entre duas amostras ou populações estatísticas. Não é uma métrica, apesar de ser chamada de "distância", pois não obedece à desigualdade triangular.

História Tanto a distância de Bhattacharyya quanto o coeficiente de Bhattacharyya recebem o nome de Anil Kumar Bhattacharyya, um estatístico que trabalhou na década de 1930 no Instituto Indiano de Estatística. Ele desenvolveu esse método através de uma série de artigos. Ele desenvolveu o método para medir a distância entre duas distribuições não normais e ilustrou isso com as populações multinomiais clássicas. Este trabalho, embora tenha sido submetido para publicação em 1941, apareceu quase cinco anos depois em Sankhya. Consequentemente, o Professor Bhattacharyya começou a trabalhar no desenvolvimento de uma métrica de distância para distribuições de probabilidade que são absolutamente contínuas em relação à medida de Lebesgue e publicou seu progresso em 1942, nos Anais do Congresso Indiano de Ciência, e o trabalho final apareceu em 1943 no Bulletin da Calcutta Mathematical Society.

Definição Para distribuições de probabilidade

P

{\displaystyle P}

e

Q

{\displaystyle Q}

no mesmo domínio discreto

X

{\displaystyle {\mathcal {X}}}

, a distância de Bhattacharyya é definida como

D

B

( P , Q ) = − ln ⁡

(

B C ( P , Q )

)

{\displaystyle D_{B}(P,Q)=-\ln \left(BC(P,Q)\right)}

onde

B C ( P , Q ) =

∑

x ∈

X

P ( x ) Q ( x )

{\displaystyle BC(P,Q)=\sum _{x\in {\mathcal {X}}}{\sqrt {P(x)Q(x)}}}

é o coeficiente de Bhattacharyya para distribuições de probabilidade discretas. Para distribuições de probabilidade contínuas, com

P ( d x ) = p ( x ) d x

{\displaystyle P(dx)=p(x)dx}

e

Q ( d x ) = q ( x ) d x

{\displaystyle Q(dx)=q(x)dx}

onde

p ( x )

{\displaystyle p(x)}

e

q ( x )

{\displaystyle q(x)}

são as funções densidade de probabilidade, o coeficiente de Bhattacharyya é definido como

B C ( P , Q ) =

∫

X

p ( x ) q ( x )

d x .

{\displaystyle BC(P,Q)=\int _{\mathcal {X}}{\sqrt {p(x)q(x)}}\,dx.}

Mais geralmente, dadas duas medidas de probabilidade

P , Q

{\displaystyle P,Q}

em um espaço mensurável

(

X

,

B

)

{\displaystyle ({\mathcal {X}},{\mathcal {B}})}

, seja

λ

{\displaystyle \lambda }

uma medida (sigma-finita) tal que

P

{\displaystyle P}

e

Q

{\displaystyle Q}

são absolutamente contínuas em relação a

λ

{\displaystyle \lambda }

, isto é,

P ( d x ) = p ( x ) λ ( d x )

{\displaystyle P(dx)=p(x)\lambda (dx)}

e

Q ( d x ) = q ( x ) λ ( d x )

{\displaystyle Q(dx)=q(x)\lambda (dx)}

para funções densidade de probabilidade

p , q

{\displaystyle p,q}

com respeito a

λ

{\displaystyle \lambda }

definidas

λ

{\displaystyle \lambda }

-quase em toda parte. Tal medida, até mesmo uma medida de probabilidade, sempre existe, por exemplo,

λ =

1 2

( P + Q )

{\displaystyle \lambda ={\tfrac {1}{2}}(P+Q)}

. Então define-se a medida de Bhattacharyya em

(

X

,

B

)

{\displaystyle ({\mathcal {X}},{\mathcal {B}})}

por

b c ( d x

|

P , Q )

=

p ( x ) q ( x )

λ ( d x )

=

P ( d x )

λ ( d x )

( x )

Q ( d x )

λ ( d x )

( x )

λ ( d x ) .

{\displaystyle {\begin{aligned}bc(dx|P,Q)&={\sqrt {p(x)q(x)}}\,\lambda (dx)\\[1ex]&={\sqrt {{\frac {P(dx)}{\lambda (dx)}}(x){\frac {Q(dx)}{\lambda (dx)}}(x)}}\lambda (dx).\end{aligned}}}

Ela não depende da medida

λ

{\displaystyle \lambda }

, pois se escolhermos uma medida

μ

{\displaystyle \mu }

tal que

λ

{\displaystyle \lambda }

e outra medida

λ ′

{\displaystyle \lambda '}

sejam absolutamente contínuas, isto é,

λ = l ( x ) μ

{\displaystyle \lambda =l(x)\mu }

e

λ ′

=

l ′

( x ) μ

{\displaystyle \lambda '=l'(x)\mu }

, então

P ( d x )

= p ( x ) λ ( d x )

=

p ′

( x )

λ ′

( d x )

= p ( x ) l ( x ) μ ( d x )

=

p ′

( x )

l ′

( x ) μ ( d x ) ,

{\displaystyle {\begin{alignedat}{3}P(dx)&=p(x)\lambda (dx)&&={}&&p'(x)\lambda '(dx)\\&=p(x)l(x)\mu (dx)&&={}&&p'(x)l'(x)\mu (dx),\end{alignedat}}}

e similarmente para

Q

{\displaystyle Q}

. Temos então

b c ( d x

|

P , Q )

=

p ( x ) q ( x )

λ ( d x ) =

p ( x ) q ( x )

l ( x ) μ ( x )

=

p ( x ) l ( x ) q ( x )

l ( x )

μ ( d x ) =

p ′

( x )

l ′

( x )

q ′

( x )

l ′

( x )

μ ( d x )

=

p ′

( x )

q ′

( x )

λ ′

( d x ) .

{\displaystyle {\begin{aligned}bc(dx|P,Q)&={\sqrt {p(x)q(x)}}\,\lambda (dx)={\sqrt {p(x)q(x)}}\,l(x)\mu (x)\\&={\sqrt {p(x)l(x)q(x)\,l(x)}}\mu (dx)={\sqrt {p'(x)l'(x)q'(x)l'(x)}}\,\mu (dx)\\&={\sqrt {p'(x)q'(x)}}\,\lambda '(dx).\end{aligned}}}

Finalmente definimos o coeficiente de Bhattacharyya

B C ( P , Q ) =

∫

X

b c ( d x

|

P , Q ) =

∫

X

p ( x ) q ( x )

λ ( d x ) .

{\displaystyle BC(P,Q)=\int _{\mathcal {X}}bc(dx|P,Q)=\int _{\mathcal {X}}{\sqrt {p(x)q(x)}}\,\lambda (dx).}

Pelo exposto, a quantidade

B C ( P , Q )

{\displaystyle BC(P,Q)}

não depende de

λ

{\displaystyle \lambda }

, e pela desigualdade de Cauchy,

0 ≤ B C ( P , Q ) ≤ 1

{\displaystyle 0\leq BC(P,Q)\leq 1}

. Usando

P ( d x ) = p ( x ) λ ( d x )

{\displaystyle P(dx)=p(x)\lambda (dx)}

e

Q ( d x ) = q ( x ) λ ( d x )

{\displaystyle Q(dx)=q(x)\lambda (dx)}

,

B C ( P , Q ) =

∫

X

p ( x )

q ( x )

Q ( d x ) =

∫

X

P ( d x )

Q ( d x )

Q ( d x ) =

E

Q

[

P ( d x )

Q ( d x )

]

{\displaystyle BC(P,Q)=\int _{\mathcal {X}}{\sqrt {\frac {p(x)}{q(x)}}}Q(dx)=\int _{\mathcal {X}}{\sqrt {\frac {P(dx)}{Q(dx)}}}Q(dx)=E_{Q}\left[{\sqrt {\frac {P(dx)}{Q(dx)}}}\right]}

Caso gaussiano Sejam

p ∼

N

(

μ

p

,

σ

p

2

)

{\displaystyle p\sim {\mathcal {N}}(\mu _{p},\sigma _{p}^{2})}

,

q ∼

N

(

μ

q

,

σ

q

2

)

{\displaystyle q\sim {\mathcal {N}}(\mu _{q},\sigma _{q}^{2})}

, onde

N

( μ ,

σ

2

)

{\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}

é a distribuição normal com média

μ

{\displaystyle \mu }

e variância

σ

2

{\displaystyle \sigma ^{2}}

; então

D

B

( p , q ) =

1 4

(

μ

p

−

μ

q

)

2

σ

p

2

+

σ

q

2

+

1 2

ln ⁡

(

σ

p

2

+

σ

q

2

2

σ

p

σ

q

)

.

{\displaystyle D_{B}(p,q)={\frac {1}{4}}{\frac {(\mu _{p}-\mu _{q})^{2}}{\sigma _{p}^{2}+\sigma _{q}^{2}}}+{\frac {1}{2}}\ln \left({\frac {\sigma _{p}^{2}+\sigma _{q}^{2}}{2\sigma _{p}\sigma _{q}}}\right).}

E em geral, dadas duas distribuições normais multivariadas

p

i

=

N

(

μ

i

,

Σ

i

)

{\displaystyle p_{i}={\mathcal {N}}({\boldsymbol {\mu }}_{i},\,{\boldsymbol {\Sigma }}_{i})}

,

D

B

(

p

1

,

p

2

) =

1 8

(

μ

1

−

μ

2

)

T

Σ

− 1

(

μ

1

−

μ

2

) +

1 2

ln ⁡

(

det

Σ

det

Σ

1

det

Σ

2

)

,

{\displaystyle D_{B}(p_{1},p_{2})={\frac {1}{8}}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{2})^{T}{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{2})+{\frac {1}{2}}\ln \left({\det {\boldsymbol {\Sigma }} \over {\sqrt {\det {\boldsymbol {\Sigma }}_{1}\,\det {\boldsymbol {\Sigma }}_{2}}}}\right),}

onde

Σ

=

1 2

(

Σ

1

+

Σ

2

)

.

{\textstyle {\boldsymbol {\Sigma }}={\frac {1}{2}}\left({\boldsymbol {\Sigma }}_{1}+{\boldsymbol {\Sigma }}_{2}\right).}

Observe que o primeiro termo é uma distância de Mahalanobis ao quadrado.

Propriedades

0 ≤ B C ≤ 1

{\displaystyle 0\leq BC\leq 1}

e

0 ≤

D

B

≤ ∞

{\displaystyle 0\leq D_{B}\leq \infty }

.

D

B

{\displaystyle D_{B}}

não obedece à desigualdade triangular, embora a distância de Hellinger

1 − B C ( p , q )

{\textstyle {\sqrt {1-BC(p,q)}}}

obedeça.

Limites para o erro de Bayes A distância de Bhattacharyya pode ser usada para limitar superior e inferiormente a taxa de erro de Bayes:

1 2

−

1 2

1 − 4

ρ

2

≤

L

∗

≤ ρ

{\displaystyle {\frac {1}{2}}-{\frac {1}{2}}{\sqrt {1-4\rho ^{2}}}\leq L^{*}\leq \rho }

onde

ρ =

E

⁡

[

η ( X )

(

1 − η ( X )

)

]

{\textstyle \rho =\operatorname {\mathbb {E} } \left[{\sqrt {\eta (X)\left(1-\eta (X)\right)}}\right]}

e

η ( X ) =

P

( Y = 1

|

X )

{\displaystyle \eta (X)=\mathbb {P} (Y=1|X)}

é a probabilidade a posteriori.

Aplicações O coeficiente de Bhattacharyya quantifica a "proximidade" de duas amostras estatísticas aleatórias. Dadas duas sequências das distribuições

P , Q

{\displaystyle P,Q}

, coloque-as em

n

{\displaystyle n}

buckets, e seja a frequência das amostras de

P

{\displaystyle P}

no bucket

i

{\displaystyle i}

igual a

p

i

{\displaystyle p_{i}}

, e similarmente para

q

i

{\displaystyle q_{i}}

; então o coeficiente de Bhattacharyya amostral é

B C (

p

,

q

) =

∑

i = 1

n

p

i

q

i

,

{\displaystyle BC(\mathbf {p} ,\mathbf {q} )=\sum _{i=1}^{n}{\sqrt {p_{i}q_{i}}},}

que é um estimador de

B C ( P , Q )

{\displaystyle BC(P,Q)}

. A qualidade da estimação depende da escolha dos buckets; poucos buckets superestimariam

B C ( P , Q )

{\displaystyle BC(P,Q)}

, enquanto muitos o subestimariam. Uma tarefa comum em classificação é estimar a separabilidade das classes. A menos de um fator multiplicativo, a distância de Mahalanobis ao quadrado é um caso especial da distância de Bhattacharyya quando as duas classes são normalmente distribuídas com as mesmas variâncias. Quando duas classes têm médias semelhantes, mas variâncias significativamente diferentes, a distância de Mahalanobis seria próxima de zero, enquanto a distância de Bhattacharyya não seria. O coeficiente de Bhattacharyya é usado na construção de códigos polares. A distância de Bhattacharyya é usada na extração e seleção de características, processamento de imagens, reconhecimento de locutor, agrupamento de fones, e em genética.

Ver também Ângulo de Bhattacharyya Divergência de Kullback–Leibler Distância de Hellinger Distância de Mahalanobis Limite de Chernoff Entropia de Rényi F-divergência Fidelidade de estados quânticos

Referências

Ligações externas Hazewinkel, Michiel, ed. (2001), «Bhattacharyya distance», Enciclopédia de Matemática, ISBN 978-1-55608-010-4 (em inglês), Springer Intuição estatística da distância de Bhattacharyya Algumas propriedades da distância de Bhattacharyya Nielsen, Frank; Boltz, Sylvain (2010). «The Burbea-Rao and Bhattacharyya Centroids». IEEE Transactions on Information Theory. 57 (8): 5455–5466. Bibcode:2011ITIT...57.5455N. ISSN 0018-9448. arXiv:1004.5049. doi:10.1109/TIT.2011.2159046 Kailath, T. (1967). «The Divergence and Bhattacharyya Distance Measures in Signal Selection». IEEE Transactions on Communications (em inglês). 15 (1): 52–60. ISSN 0096-2244. doi:10.1109/TCOM.1967.1089532 Djouadi, A.; Snorrason, O.; Garber, F.D. (1990). «The quality of training sample estimates of the Bhattacharyya coefficient». IEEE Transactions on Pattern Analysis and Machine Intelligence. 12 (1): 92–97. doi:10.1109/34.41388