Howtosignalprocessing
Fungsi pengaktifan Unit Linear (RELU) yang diperbetulkan telah dicadangkan oleh Nair dan Hinton 2010, dan sejak itu, telah menjadi fungsi pengaktifan yang paling banyak digunakan untuk aplikasi pembelajaran mendalam dengan hasil canggih sehingga kini [57].
- Yang memperkenalkan pengaktifan relu?
- Mengapa relu diperkenalkan?
- Mengapa relu terkenal?
- Mengapa relu dipanggil relu?
Yang memperkenalkan pengaktifan relu?
Fukushima menerbitkan kertas Cognitron yang asal pada tahun 1975. Itu adalah contoh pertama relu. Ia ditakrifkan dalam Persamaan 2 di sini: Fukushima, K.
Mengapa relu diperkenalkan?
Pada masa ini, Relu digunakan sebagai pengaktifan lalai dalam pembangunan rangkaian neural dan perceptron multilayer. Fungsi pengaktifan relu menyelesaikan masalah ini membenarkan model untuk melakukan yang lebih baik dan belajar lebih cepat. Tidak ada cara belajar AI dan ML yang salah atau salah - semakin baik, lebih baik!
Mengapa relu terkenal?
Relus popular kerana mudah dan pantas. Sebaliknya, jika satu -satunya masalah yang anda dapati dengan relu adalah bahawa pengoptimuman adalah lambat, latihan rangkaian lebih lama adalah penyelesaian yang munasabah. Walau bagaimanapun, lebih biasa bagi kertas canggih untuk menggunakan pengaktifan yang lebih kompleks.
Mengapa relu dipanggil relu?
Relu telah menjadi fungsi pengaktifan sayang dunia rangkaian saraf. Pendek untuk unit linear yang diperbetulkan, ia adalah fungsi linear piecewise yang ditakrifkan sebagai 0 untuk semua nilai negatif x dan sama dengan × x sebaliknya, di mana A adalah parameter yang boleh dipelajari.
