Kullback-Leibler jarak data spektrum

1. Adakah Kullback-Leibler jarak?
2. Berapakah julat perbezaan KL?
3. Bolehkah perbezaan KL digunakan sebagai ukuran jarak jauh?
4. Bagaimana Kullback-Leibler dikira?

Adakah Kullback-Leibler jarak?

Divergensi Kullback-Leibler antara dua pengagihan kebarangkalian adalah ukuran bagaimana berbeza kedua-dua pengagihan. Kadang -kadang dipanggil jarak, tetapi ia tidak jarak dalam erti kata biasa kerana ia tidak simetri.

Berapakah julat perbezaan KL?

Jika dua pengedaran sempurna sepadan, d_ kl (p || q) = 0 jika tidak, ia boleh mengambil nilai antara 0 dan ∞. Kurangkan nilai perbezaan KL, semakin baik kita sepadan dengan pengedaran sebenar dengan penghampiran kami.

Bolehkah perbezaan KL digunakan sebagai ukuran jarak jauh?

Walaupun perbezaan KL mengukur "jarak" di antara dua pengedaran, ia bukan ukuran jarak. Ini kerana perbezaan KL bukanlah ukuran metrik. Ia tidak simetri: KL dari p (x) hingga q (x) biasanya tidak sama dengan KL dari q (x) hingga p (x).

Bagaimana Kullback-Leibler dikira?

Divergensi KL boleh dikira sebagai jumlah kebarangkalian negatif setiap peristiwa dalam p didarab dengan log kebarangkalian peristiwa di Q atas kebarangkalian peristiwa dalam p. Nilai dalam jumlah adalah perbezaan untuk acara tertentu.