Jaringan Syaraf Tiruan Backpropagation Error

       Pada tahun 1970-an ada keterbatasan signifikan dalam arsitektur jaringan syaraf dengan single layer, Sehingga sekitar tahun 1986/1989 telah ditemukan oleh beberapa periset dengan multi layer yang ternyata dapat menyelesaikan persoalan lebih luas. Salah satu metode untuk pembelajaran pada multi layer adalah backpropagation error atau dikenal dengan generalisasi delta Rule. Metode ini dapat meminimasi total square error pada keluaran hasil perhitungan jaringan.

       Pada JST backpropagation error terdapat 2 fase, yaitu:

1. Fase pembelajaran
2. Fase Mapping / penggunaan

Fase pembelajaran

       Pada umumnya tujuan pembelajaran/training pada jaringan syaraf tiruan adalah untuk mendapatkan keseimbangan antar sistim jaringan saat diberi masukan pola. Keseimbangan antar sistem jaringan tersebut berupa nilai numerik yang di kenal dengan istilah bobot (weight). Dengan nilai bobot (weight) yang sudah termemori dalam sistem jaringan, maka jaringan syaraf tiruan bisa menghafal jenis pola yang sudah di ajarkan kepadanya. Sehingga pada saat pengujian atau penggunaan, Jaringan syaraf tiruan (JST) bisa mengenali pola input yang di ujikan kepadanya. hal ini sama dengan kemampuan manusia. pada saat pertama kali melihat benda yang belum di kenalinya, maka manusia belum tahu nama benda tersebut. setelah ada yang mengajarinya, maka secara otomatis otak manusia bisa mengingatnya.

       Pada proses pembelajaran backpropagation error terdapat 3 tahapan, yaitu:

1. Pemberian pola masukan saat proses pembelajaran.
2. perhitungan dan proses backpropagation dari error
3. pengaturan nilai penimbang.

Algoritma proses pembelajaran

       Pada gambar 1 ditunjukkan jaringan syaraf multi layer dengan satu hidden layer. Unit keluaran Y dan unit Hidden Z diberi bias dengan kode Wok dan Voj, bias disini maksudnya adalah suatu masukan dengan nilai tetap sama dengan satu (1). Selama feedforward masing-masing unit input Xi menerima sinyal input dan menyebarkan ke unit hidden Z1, .... , Zp. Masing-masing unit hidden menghitung sesuai dengan fungsi aktivasinya kemudian mengirimkan sinyal terhitung tersebut ke masing-masing unit output. Setelah diterima unit output dihitung sesuai denga fungsi aktivasinya dan akan menghasilkan sinyal keluaran sebagai respon adanya masukan di unit input.

       Selama training masing-masing output unit dibandingkan dengan hasil perhitungan aktivasi yk dengan nilai target tk untuk mendapatkan error, dari error tersebut dipakai untuk memperbaiki faktor penimbang antara unit output dengan unit hidden (unit Z ke unit Y) demikian selanjutnya dicari error dari keluaran hidden untuk memperbaiki faktor penimbang antara unit input dengan hidden unit sehingga disebut dengan backpropagasi.

Inisialisasi

1. Memberi inisialisasi factor penimbang (diberi nilai kecil karena random)

2. Lakukan Looping sampai kondisi step 2 terpenuhi.

Feed Forward

3. Masing-masing unit input(X_I  , I=1, … n) menerima sinyal input x_i dan disebarkan sinyal tersebut ke semua unit layer bagian atas (unit hidden)

4. Masing-masing unit unit hidden menjumlah factor penimbang :

     Z_in_j = v_oj + v_ij x Xi ………………………………………..(1)

     Dan menghitung sesuai dengan fungsi aktivasi

     Z_j = f ( z_inj ) ….……………………………………………(2)

     Dan kemudian mengirim semua sinyal tersebut ke semua unit  diatasnya (output point)

5. Masing-masing unit output (Yk, k=1 … , m) dijumlahkan factor penimbang.

     Y_ink = wok + wjk x Zj ……………………………………(3)

     Dan menghitung sesuai dengan fungsi aktivasi

     Yk = f ( y_ink ) ……………………………………………..(4)

Back Propagasi Error

6. Masing-masing unit output (Yk, k=1 … , m) menerima pola target sesuai dengan pola masukan saat training dan menghitung error

     δ_k  = (t_k – y_k) f’ (y_in_k) ……………………………………...(5)

   menghitung pembetulan factor penimbang (selanjutnya untuk memperbaiki w_jk).

     Δw _jk = αδ_kZ_j  ………………………………………………(6)

     Menghitung pembetulan koreksi

     Δw _ok = αδ_k………………………………………………...(7)

     Dan mengirim nilai δ_k ke unit layer di bawahnya.

7. Masing-masing unit hidden (Zj, j=1 … ,p) mewnjumlahkan delta inputnya (dari unit layer diatasnya)

    δ_in_k  = Σδ_kw _jk  …………………………………………..(8)

  kemudian dikalikan dengan turunan dari fungsi aktivasinya untuk menghitung error 

   δ_j =δ_in_j f’ (z_in_j) ………………………………………...(9)

   kemudian menghitung pembetulan penimbang (digunakan untuk memperbaiki vij kemudian)

  Δv _ij = αδ_jx₁  …………..………………………………..…..(10)

 dan menghitung pembetulan bias (untuk memperbaiki voj kemudian)

  Δv _oj = αδ_j ………………………………………………….(11)

Memperbaiki Penimbang Dan Bias

8. Masing-masing unit output (Yk, k=1 … , m) diperbaiki bias dan penimbangnya (j=0, … ,p):

    W_jk (baru) = w_jk (lama) + Δw_jk  ………………………...(12)

    Masing-masing unit hidden (Zj, j=1 … , p) diperbaiki bias dan penimbangnya (I=0, …, n) :

    v_jk (baru) = v_jk (lama) +  Δv_jk  ……………..……………(13)

9. Uji kondisi pemberhentian

            Sebenarnya dasar matematik dari algoritma propagasi adalah teknik optimasi yang dikenal dengan Gradient Descent. Dalam pemilihan nilai awal (inisialisasi) factor penimbang perlu mendapatkan perhatian, jika tidak tepat maka akan berakibat jaringan mencapai global atau hanya local minimum error dan kecepatan pencapaian konvergensinya. Perbaikan nilai penimbang / bobot diantara dua unit tergantung dari turunan fungsi aktivasi unit bagian atas dan bagian bawah. Karenanya perlu diperhatikan pentingnya pemilihan nilai awal factor penimbang agar tidak terjadi aktivasi atau turunan fungsi aktivasi berharga nol.

Nilai awal tidak boleh terlalu besar atau inisial sinyal input pada masing-masing unit hidden atau unit output tertuju pada daerah dimana turunan dari fungsi sigmoid bernilai sangat kecil ( disebut dengan daerah saturasi ). Dilain pihak nilai inisialisasi jangan terlalu kecil, masukan jaringan ke unit hidden dan unit output mendekati nol yang dapat mengakibatkan proses pembelajaran yang sangat lambat, Prosedure umum dalam pemberian nilai awal penimbang adalah bilangan random antar –0,5 dan 0,5 (atau antara –1 dan 1).

Bobot jaringan

Hasil proses pembelajaran berupa nilai bobot interkoneksi jaringan yang nilainya di simpan untuk di gunakan dalam poses pengenalan pola / proses mapping.

FasePenggunaan (Mapping) Backpropagation Error.

       Pada fase penggunaan ini, pola yang akan dihitung dimasukkan pada masukan jaringan ( node pada layer masukan ). Pola ini akan dikomputasi dengan bobot-bobot interkoneksi hasil fase pelatihan, kemudian hasil aktifasi sel-sel pada lapisan akhir adalah merupakan keputusan  dari jaringan saraf tiruan.

Gambar 2 fase penggunaan  metode Back Propagation Error

       Kemudian hasil aktifasi layer output tersebut dibandingkan dengan target dan dicari jarak yang terdekat dengan target, dalam hal ini adalah error yang terkecil.

Bagaimana JST bisa mengenai pola yang di ujikan

JST mengenali pola yang di ujikan dengan cara membandingkan bentuk pola yang di ujikan dengam target pola yang sudah di ajarkan sebelumnya. pengenalan pola di poses dengan cara menggunakan nilai bobot-bobot interkoneksi untuk mengambil keputusan tentang pola yang di ajarkan. Jika bentuk pola yang di ujikan berbeda dengan pola yang di ajarkan, maka JST memberikan informasi bahwa pola yang di ujikan tidak di kenali, atau terjadi error yang tidak sesuai dengan standar error yang sudah di tetapkan.

Baca artikel selanjutnya tentant algoritma pemograman JST Backpropagation error.