Ketika kita berhadapan dengan datasets high-dimensional, kita seringkali mengalami kesulitan dalam memahaminya. Salah satu cara untuk menyelesaikan masalah ini adalah dengan menggunakan t-SNE (t-Distributed Stochastic Neighbor Embedding). Dalam artikel ini, kita akan membahas bagaimana t-SNE bekerja dan bagaimana kita dapat meningkatkan kualitas hasilnya dengan menggunakan gradient descent dan trick optimisasi.
Formulasi Pemrosesan
Pertama-tama, kita perlu memahami formulasi pemrosesan yang digunakan dalam t-SNE. Kita akan menggunakan dua formula utama: p_{ij} dan q_{ij}. Formula pertama menghitung kemungkinan data i terjadi pada klaster j, sedangkan formula kedua menghitung kemungkinan data i terjadi pada klaster j berdasarkan distribusi sebelumnya.
Namun, dalam pengembangan t-SNE, kita tidak perlu memahami formulasi pemrosesan yang sangat detail. Kita cukup mengetahui bahwa t-SNE menggunakan divergensi Kullback-Leibler antara kemungkinan p_{ij} dan q_{ij} untuk mengoptimalkan distribusi.
Gradient Descent
Untuk mengoptimalkan distribusi, t-SNE menggunakan gradient descent. Gradient descent bekerja dengan cara memperbarui parameter-parameter yang digunakan dalam formulasi pemrosesan sehingga kita dapat mencapai distribusi yang paling optimal. Dalam kasus t-SNE, gradient descent bekerja sebagai repulsion dan attraction antara titik-titik.
Trick Optimisasi
T-SNE juga menggunakan beberapa trick optimisasi untuk meningkatkan kualitas hasilnya. Salah satu trick adalah Early Compression, yang berfungsi mencegah clustering terlalu cepat dan memungkinkan algoritma tidak terlalu fokus pada kelompok-kelompok lokal. Trick lainnya adalah Early Exaggeration, yang berfungsi meningkatkan kemampuan t-SNE dalam mengkluster data.
Contoh
T-SNE telah digunakan dalam beberapa kasus dan berhasil membantu para peneliti dalam memahami datasets high-dimensional. Salah satu contohnya adalah penggunaan t-SNE untuk menampilkan keterkaitan antara input data pada CNN (Convolutional Neural Network).
Kesimpulan
T-SNE adalah algoritma yang sangat berguna dalam memahami datasets high-dimensional. Walaupun memiliki beberapa kelemahan, seperti tidak deterministik dan iteratif, t-SNE tetap menjadi salah satu metode paling populer dalam bidang ini.
Referensi
- L. Maaten, G. Hinton. Visualizing Data using t-SNE, 2008
- Cristobal Parra, Sergio Cebollada, Luis Payá, Mathew Holloway, Oscar Reinoso, “A Novel Method to Estimate the Position of a Mobile Robot in Underfloor Environments Using RGB-D Point Clouds”, Access IEEE, vol. 8, pp. 9084–9101, 2020.
Sumber: https://erdem.pl/