Kesukaran memahami konsep maklumat bersama

1. Bolehkah maklumat bersama negatif dalam teori maklumat?
2. Bagaimana anda menilai maklumat bersama?
3. Bagaimana anda menafsirkan nilai maklumat bersama?
4. Apakah kepentingan maklumat bersama dalam teori maklumat?
5. Mengapa maklumat bersama lebih baik daripada korelasi?
6. Bolehkah maklumat bersama bersyarat menjadi negatif?

Bolehkah maklumat bersama negatif dalam teori maklumat?

Perhatikan bahawa maklumat bersama adalah simetri dalam hujah. Iaitu, i (x; y) = i (y; x). Maklumat bersama juga tidak negatif, seperti yang akan kita tunjukkan dalam satu minit.

Bagaimana anda menilai maklumat bersama?

Maklumat bersama juga boleh dikira sebagai perbezaan KL antara taburan kebarangkalian bersama dan produk kebarangkalian marginal bagi setiap pembolehubah. - Page 57, Pengiktirafan Corak dan Pembelajaran Mesin, 2006. Ini boleh dinyatakan secara rasmi seperti berikut: i (x; y) = kl (p (x, y) || p (x) * p (y))

Bagaimana anda menafsirkan nilai maklumat bersama?

Maklumat bersama yang tinggi menunjukkan pengurangan yang besar dalam ketidakpastian; Maklumat bersama yang rendah menunjukkan pengurangan kecil; dan sifar maklumat bersama antara dua pembolehubah rawak bermakna pembolehubah adalah bebas.

Apakah kepentingan maklumat bersama dalam teori maklumat?

Maklumat bersama adalah kuantiti yang mengukur hubungan antara dua pembolehubah rawak yang dicontohi secara serentak. Khususnya, ia mengukur berapa banyak maklumat yang disampaikan, secara purata, dalam satu pemboleh ubah rawak mengenai yang lain.

Mengapa maklumat bersama lebih baik daripada korelasi?

Perbezaan utama ialah korelasi adalah ukuran pergantungan linear, sedangkan maklumat bersama mengukur pergantungan umum (termasuk hubungan bukan linear). Oleh itu, maklumat bersama mengesan kebergantungan yang tidak hanya bergantung pada kovarians.

Bolehkah maklumat bersama bersyarat menjadi negatif?

Kerana maklumat bersama bersyarat boleh lebih besar daripada atau kurang daripada rakan sejawatnya yang tidak bersyarat, maklumat interaksi boleh positif, negatif, atau sifar, yang menjadikannya sukar untuk mentafsir.