TUGAS PEMBELAJARAN MESIN

#Tugas5

Disusun Oleh :

17170109  Budiman

MODEL LINEAR

Salah satu bentuk utility function untuk model matematis bernama error function. Error function paling mudah dijelaskan dalam permasalahan regresi. Diberikan (x,y) ∈R sebagai random variable. Salah satu cara menghitung error fungsi g(x) adalah menggunakan squared error function dengan bentuk konseptual. Nilai squared error dapat menjadi tolak ukur untuk membandingkan kinerja suatu learning machine (model). Secara umum, bila nilainya tinggi, maka kinerja dianggap relatif buruk; sebaliknya bila rendah, kinerja dianggap relatif baik.

Binary classification adalah mengklasifikasikan data menjadi dua kelas (binary). Seperti halnya fungsi regresi, kita dapat menghitung performa binary classifier sederhana ini menggunakan squared error function (umumnya menggunakan akurasi), dimana nilai target fungsi berada pada range [-1,1]. Secara sederhana model binary classifier mencari decision boundary, yaitu garis (secara lebih umum, hyperplane) pemisah antara kelas satu dan lainnya.

Fungsi binary classifier memetakan data menjadi nilai [-1,1] dengan -1 merepresentasikan kelas pertama dan 1 merepresentasikan kelas kedua. Tidak hanya kelas yang berkorespondensi, kita juga terkadang ingin tahu seberapa besar peluang data tergolong pada kelas tersebut. salah satu alternatif adalah dengan menggunakan fungsi sigmoid dibanding fungsi sign untuk merubah nilai fungsi menjadi [0,1] yang mempresentasikan peluang data diklasifikasikan sebagai kelas tertentu.

Multi-class calssification terdapat lebih dari dua kemungkinan kelas. Terdapat lebih dari dari dua kemungkinan kelas. terdapat himpunan kelas C beranggotakan {c1,c2,...cK}. untuk suatu data dengan representasikan feature vectornya. 

Kita dapat mendekomposisi multilabel classification menjadi beberapa binary classifier. yang membedakan  multi-class dan multi-label adalah output C. pada multiclass classification, ci ∈ c melambangkan probalitas suatu instans masuk ke kelas ci, keputusan akhir class assigment didapatkan dari elemen c dengan nilai terbesar. untuk multi-label classification nilai ci ∈ c melambangkan apakah suatu kelas masuk ke kelas ci atau tidak. Bedanya, kita boleh mengassign lebih dari suatu kelas (atau tidak sama sekali).

Model linear, walaupun mudah dimengerti, memiliki beberapa batasan. Ada dua batasan paling kentara, additive assumption dan linear assumption. Additive assumption berarti model linear menganggap hubungan antara input dan output adalah linear. artinya, perubahan nilai pada suatu fitur xi pada input x akan merubah nilai output secara independen terhadap fitur lainnya. hal ini terkadang berakibat fatal karena fitur satu dan fitur lainnya dapat berinteraksi satu sama lain. Solusi sederhana untuk permasalahan ini adalah memofelkan onteraksi antar-fitur. 

Underfitting adalah keadaan ketika kinerja model bernilai buruk baik pada training atau development maupun testing data. Overfitting adalah keadaan ketika kinerja model bernilai baik untuk training tetapi buruk pada unseen data. Underfitting terjadi akibat model yang terlalu tidak fleksibel, yaitu memiliki kemampuan yang rendah untuk mengestimasi variasi fungsi. Sedangkan, overfitting terjadi ketika model terlalu fleksibel, yaitu memiliki kemampuan yang terlalu tinggi untuk mengestimasi banyak fungsi atau terlalu mencocokkan diri terhadap training data. Untuk menghindari overfitting atau underfitting, kita dapat menambahkan fungsi noise/bias (selanjutnya disebut noise/bias saja) dan regularisasi. Model linear yang memanfaatkan fungsi-fungsi kernel ini adalah support vector machine (SVM).

1. Curve Fitting dan Error Function

            Salah satu bentuk utility function untuk model matematis bernama error function paling mudah dijelaskan dalam permasalahan regresi. Diberikan (x, y) ∈ R sebagai random variable.

2. Binary classification

            Adalah mengklasifikasikan data menjadi dua kelas (binary). Underfitting adalah keadaan ketika kinerja model bernilai buruk baik pada training atau development maupun testing data. Overfitting adalah keadaan ketika kinerja model bernilai baik untuk training tetapi buruk pada unseen data.

Underfitting terjadi akibat model yang terlalu tidak fleksibel, yaitu memiliki kemampuan yang rendah untuk mengestimasi variasi fungsi. Sedangkan, overfitting terjadi ketika model terlalu fleksibel, yaitu memiliki kemampuan yang terlalu tinggi untuk mengestimasi banyak fungsi atau terlalu mencocokkan diri terhadap training data.    

Untuk menghindari overfitting atau underfitting, kita dapat menambahkan fungsi noise/bias (selanjutnya disebut noise/bias saja) dan regularisasi. Model linear yang memanfaatkan fungsi-fungsi kernel ini adalah support vector machine (SVM).

3. Log-linear Binary Classification

            Pada subbab sebelumnya, telah dijelaskan fungsi binary classifier memetakan data menjadi nilai [−1, 1], dengan −1 merepresentasikan kelas pertama dan 1 merepresentasikan kelas kedua. Tidak hanya kelas yang berkorespondensi, kita juga terkadang ingin tahu seberapa besar peluang data tergolong pada kelas tersebut. Salah satu alternatif adalah dengan menggunakan fungsi sigmoid dibanding fungsi sign untuk merubah nilai fungsi menjadi [0, 1] yang merepresentasikan peluang data diklasifikasikan sebagai kelas tertentu (1 - nilai peluang, untuk kelas lainnya).

4. Multi-class Classification

            Subbab ini akan membahas tentang multi-class classification, dimana terdapat lebih dari dua kemungkinan kelas. Terdapat himpunan kelas C beranggotakan {c1, c2, . . . , cK}. Untuk suatu data dengan representasikan feature vector -nya, kita ingin mencari tahu kelas yang berkorespondesi untuk data tersebut. Contoh permasalahan ini adalah mengklasifikasi gambar untuk tiga kelas: apel, jeruk, atau mangga. Cara sederhana adalah memiliki tiga buah vektor parameter dan bias berbeda, wapel, wjeruk, wmangga, dan bias b{apel,jeruk,mangga}.

5. Multi-label Classification

            Seperti halnya multi-class classification, kita dapat mendekomposisi multilabel classification menjadi beberapa binary classifier.

6.  Pembelajaran sebagai Permasalahan Optimisasi

            Salah satu tujuan dari pembelajaran (training) adalah untuk meminimalkan error sehingga kinerja learning machine (model) diukur oleh squared error. Dengan kata lain, utility function adalah meminimalkan squared error. Secara lebih umum, kita ingin meminimalkan/memaksimalkan suatu fungsi yang dijadikan tolak ukur kinerja (utility function).

7. Batasan Model Linear Model linear

             walaupun mudah dimengerti, memiliki beberapa batasan. Ada dua batasan paling kentara [17]: (1) additive assumption dan (2) linear assumption. Additive assumption berarti model linear menganggap hubungan antara input dan output adalah linear. Artinya, perubahan nilai pada suatu fitur xi pada input x akan merubah nilai output secara independen terhadap fitur lainnya. Hal ini terkadang berakibat fatal karena fitur satu dan fitur lainnya dapat berinteraksi satu sama lain.

8. Overfitting dan Underfitting

            Tujuan machine learning adalah membuat model yang mampu memprediksi data yang belum pernah dilihat (unseen instances) dengan tepat; disebut sebagai generalisasi (generalization). 

Seperti yang sudah dijelaskan pada bab pertama, kita dapat membagi dataset menjadi training, development, dan testing dataset. Ketiga dataset ini berasal dari populasi yang sama dan dihasilkan oleh distribusi yang sama (identically and independently distributed). Dalam artian, ketiga jenis dataset mampu melambangkan (merepresentasikan) karakteristik yang sama . Dengan demikian, kita ingin loss atau error pada training, development, dan testing bernilai kurang lebih bernilai sama (i.e., kinerja yang sama untuk data dengan karakteristik yang sama). Akan tetapi, underfitting dan overfitting mungkin terjadi. Underfitting adalah keadaan ketika kinerja model bernilai buruk baik pada training atau development maupun testing data.

            Overfitting adalah keadaan ketika kinerja model bernilai baik untuk training tetapi buruk pada unseen data.

9. Regularization Gradient-based method

            Mengubah-ubah parameter model w sehingga loss/error dapat diminimalisir. Selain permasalahan model yang sensitif terhadap urutan training data, model yang kita hasilkan bisa jadi overfitting juga. Yaitu memiliki kinerja baik pada training data, tetapi memiliki kinerja buruk untuk unseen data. Salah satu cara menghindari overfitting adalah dengan menggunakan regularization. Idenya adalah untuk mengontrol kompleksitas parameter (i.e. konfigurasi parameter yang lebih sederhana lebih baik).

10.  Transformasi Data

             Seperti yang sudah dijelaskan sebelumnya, alangkah baik apabila semua data memiliki hubungan secara linear atau bersifat linearly separable. Kenyataannya, kebanyakan data bersifat non-linearly separable. Kita dapat mentransformasi data yang bersifat non-linearly separable menjadi linearly-separable sebelum menggunakan model linear untuk mengklasifikasikan data.