Algoritma Backpropagation

Salah satu algoritma pelatihan jaringan syaraf tiruan yang banyak dimanfaatkan dalam bidang pengenalan pola adalah backpropagation. Algoritma ini umumnya digunakan pada jaringan syaraf tiruan yang berjenis multi-layer feed-forward, yang tersusun dari beberapa lapisan dan sinyal dialirkan secara searah dari input menuju output.

Algoritma pelatihan backpropagation pada dasarnya terdiri dari tiga tahapan [Fausett, 1994], yaitu:

1. Input nilai data pelatihan sehingga diperoleh nilai output
2. Propagasi balik dari nilai error yang diperoleh
3. Penyesuaian bobot koneksi untuk meminimalkan nilai error

Ketiga tahapan tersebut diulangi terus-menerus sampai mendapatkan nilai error yang diinginkan. Setelah training selesai dilakukan, hanya tahap pertama yang diperlukan untuk memanfaatkan jaringan syaraf tiruan tersebut.

Secara matematis [Rumelhart, 1986], ide dasar dari algoritma backpropagation ini esungguhnya adalah penerapan dari aturan rantai (chain rule) untuk menghitung pengaruh masing-masing bobot terhadap fungsi error:

dan






dimana wij adalah bobot penghubung dari neuron j ke neuron i, i s adalah output, dan neti adalah jumlah hasilkali pada input dari neuron i.
Untuk menghitung i dE ds , yaitu pengaruh output si terhadap error E, dapat dibedakan menjadi dua kasus berikut:

• jika i adalah unit output, maka:

• jika i bukan unit output, maka perhitungan i dE ds menjadi sedikit lebihkompleks. Di sini digunakan lagi aturan rantai:
  

di mana succ(i) melambangkan semua unit k yang ada di dalam layer berikutnya ke arah output layer. Persamaan (2) memiliki asumsi bahwa nilai dE dsk untuk unit di layer berikutnya yang terhubung dengan unit i telah diketahui nilainya. Untuk itu perhitungan dilakukan mulai dari output layer, kemudian baru menghitung derivatif unit-unit di layer sebelumnya dengan menggunakan persamaan (2).

Dengan kata lain, informasi error dipropagasikan secara berurutan bermula dari output layer dan berakhir pada input layer, sehingga algoritma ini diberi nama backpropagation [Riedmiller, 1994].

Setelah didapatkan derivatif parsial dari setiap bobot penghubung, maka untuk meminimisasi fungsi error dilakukan metode gradient descent:

dan





* Fausett, L., 1994, Fundamentals of Neural Networks: Architectures, Algorithms, and Applications, Prentice-Hall Inc., USA.
* Riedmiller, M., 1994, “Advanced Supervised Learning in Multi-Layer Perceptrons – From Backpropagation to Adaptive Learning Algorithms” , Int. Journal of Computer Standards and Interfaces (16) 1994.