Belajar Gratis Sistem Informasi & Informatika

Data pre-processing adalah tahap penting dalam proses data analytics dan data mining, di mana data yang diperoleh dari berbagai sumber sering kali tidak dalam bentuk yang siap digunakan. Data biasanya memiliki masalah seperti missing values, outliers, format yang tidak konsisten, atau struktur yang tidak sesuai. Pre-processing bertujuan untuk mengubah data mentah menjadi bentuk yang dapat dimanfaatkan oleh algoritma machine learning atau teknik analisis lainnya. Proses ini meningkatkan kualitas data, yang pada gilirannya akan meningkatkan akurasi dan performa model. Tahapan Pre-processing

Metode mana yang lebih handal antara k-means vs k-medoids ?  Metode k-medoids lebih handal dibanding dengan k-means ketika ada data noise dan pencilan karena k-medoids tidak terlalu dipengaruhi oleh data pencilan atau data ekstrem lainnya dibandingkan dengan k-means. Namun demikian, kompleksitas tiap-tiap iterasi dalam algoritma k-medoids secara komputasi adalah O(k(n-k) 2 ) . [Baca artikel sebelumnya tentang: Penjelasan k-Medoids, Algoritma, dan Contohnya ]. Bila nilai n dan k sangat besar, komputasi ini mejadi sangat mahal (lama dan rumit), dan jauh lebih mahal dibanding dengan metode k-means. Kesamaan dari kedua metode tersebut adalah bahwa pengguna perlu menetapkan k atau jumlah clusternya. Berikut di bawah ini adalah tabel yang lebih menjelaskan tentang kajian perbandingan antara k-means vs k-medoids dalam beberapa aspek: Perbandingan k-means vs k-medoids dalam beberapa aspek

Pada artikel sebelumnya tentang kelemahan k-means dan contohnya (lihat pada artikel sebelumnya disini) , algoritma k-means sangat sensitif terhadap pencilan (outliers) karena object-object pencilan sangat jauh berbeda dari object lain pada umumnya sehingga ketika dimasukkan ke dalam suatu cluster, object-object seperti itu mendistorsi nilai rerata (mean) dari cluster tersebut. Hal ini secara tak sengaja berpengaruh pada object-object lainnya. Contoh tentang kelemahan ini bisa dibaca lagi di artikel sebelumnya [ Kelemahan k-means dan Contohnya ].

Algoritma k-Means sangat sensitif terhadap pencilan (outliers) karena object-object seperti ini sangat jauh letaknya/karakteristiknya dari mayoritas data lainnya, dan dengan demikian bila dimasukkan ke suatu cluster, data semacam ini bisa mendistorsi nilai rerata cluster secara dramatis. Hal ini secara tak sengaja akan mengubah penetapan object-object lainnya ke cluster-cluster. Efek ini diperburuk lagi karena penggunaan fungsi error kuadrat, seperti bisa dilihat di contoh berikut. Contoh kelemahan k-Means. Misalkan ada enam titik dalam ruang 1-D (satu dimensi) yang nilai-nilainya adalah sebagai berikut: 1,2,3,8,9,10, dan 25. Secara intuitif, dengan melihat secara visual kita bisa membayangkan bahwa titik-titik tersebut dipartisi menjadi cluster {1,2,3} dan {8,9,10}. dimana titik 25 dikeluarkan karena terlihat sebagai suatu pencilan (outlier). Tetapi, bagaimanakah k-means akan mempartisi nilai-nilai tersebut? Jika kita menerapkan k-means dengan menggunakan k = 2 dan menggunakan p...

Misalkan ada satu set object yang berada di ruang 2-D (dua dimensi), seperti gambar a disamping. Tentukan k = 3, yang artinya, kita akan mempartisi atau membagi object-object menjadi tiga cluster. Gambar a. posisi cluster awal Berdasarkan penjelasan algoritma dalam artikel sebelumnya [ Penjelasan Cara Kerja Algoritma k-Means ], kita akan memilih secara acak tiga object sebagai pusat-pusat cluster di awal, dimana ketiga pusat cluster tersebut diberi tanda + (lihat gambar, mungkin salah satu cluster agak tidak kelihatan tanda + di gambar a disamping). Masing-masing object ditetapkan ke suatu cluster berdasarkan pusat cluster terdekat. Distribusi object seperti ini bisa dilihat diilustrasi gambar a disamping dengan obejct-object yang dibatasi oleh kurva dengan garis putus-putus.

Salah satu teknik clustering partisi yang paling populer adalah k-Means. Berikut adalah penjelasan k-Means berdasarkan penerapan secara teknis. Misalkan ada suatu dataset D, yang berisi object sebanyak n dalam ruang Euclidean (ruang dua dimensi). Metode partisi akan mendistribusikan object-object di dalam D ke dalam cluster-cluster sebanyak k, C1, ... , Ck, yang artinya bahwa, Ci ⊂ D dan Ci ∩ Cj= ∅ untuk (1 ≤ i , j ≤ k). Suatu fungsi yang obyektif digunakan untuk menilai kualitas partisi sehingga object-object di dalam suatu cluster mirip satu sama lain dan tidak mirip dengan object-object di cluster yang lain. Artinya, fungsi obyektif tersebut bertujuan untuk menilai kemiripan yang tinggi pada object-object di dalam cluster yang sama dan kemiripan yang rendah pada cluster yang berbeda.

Menurut berbagai literatur, ada banyak algoritma clustering. Jadi agak sulit untuk memberikan pengkategorian yang pas untuk berbagai macam metode clustering karena akan menyebabkan overlap dalam kategori-kategori tersebut sehingga suatu metode mungkin saja memiliki ciri-ciri dari beberapa kategori. Namun, mungkin bermanfaat apabila disajikan gambaran yang relatif lebih terorganisir tentang metode-metode clustering. Secara umum, metode-metode utama dalam clustering yang mendasar bisa digolongkan menjadi kategori-kategori berikut dibawah ini. [ Baca juga: Metode-metode dalam Data Mining ]

Pengertian clustering atau analisa cluster adalah proses membagi (atau mempartisi) satu set objek data (atau observasi) menjadi beberapa subset. Masing-masing subset adalah satu cluster, sedemikian sehingga objek-objek di dalam suatu cluster adalah mirip satu sama lain, namun tidak mirip dengan objek-objek di dalam cluster lainnya. Set (atau kumpulan) cluster yang dihasilkan dari analisa cluster bisa disebut sebagai clustering. Di dalam konteks ini, berbagai metode clustering yang berbeda bisa menghasilkan clustering yang berbeda pada dataset yang sama. [ Baca juga: Metode-metode Dasar dalam Clustering ]. Proses membagi (atau mempartisi) tidak dilakukan oleh manusia, tetapi oleh algoritma clustering. Jadi, clustering sangat bermanfaat karena dapat membawa ke penemuan berbagai kelompok yang belum diketahui sebelumnya di dalam data.

Di bawah ini adalah tabel yang berisi training data dari database karyawan.  Data ini sudah di-geralisasi-kan. Misalnya, “31…35” untuk usia berarti kisaran usia antara 31 hingga 35. Khusus untuk kolom  "jumlah", itu menunjukkan  jumlah tuples dari masing-masing data pada department, status, usia, dan gaji pada baris yang dimaksud

Essay: 1. Apa perbedaan supervised learning dan unsupervised learning?     2. Berikut adalah decision tree Suatu object X memiliki nilai-nilai atribut seperti berikut, X=(A=100; B=0; C=20). Klasifikasikan kelas apakah object X? 

Apa yang dimaksud dengan atribut? Atribut adalah bagian data, yang mewakili karakteristik atau feature dari objek data. Atribut, dimensi, feature, dan variabel sering digunakan secara bergantian dalam literatur. Istilah dimensi ini umumnya digunakan dalam literatur data warehouse . Dalam literatur Machine learning cenderung menggunakan istilah feature, sementara statistik lebih menggunakan istilah variabel.  Data mining dan para profesional database biasanya menggunakan istilah atribut, dan disini akan kita gunakan istilah atribut juga. 

Link terkait seri 'Data Mining for Business Intelligence': Seri Data Mining for Business Intelligence

Beberapa mitos dan blunder dalam data mining Data Mining (DM) adalah tool analitis yang sangat hebat yang memungkinkan para eksekutif bisnis untuk bergeser maju dari gambaran karakter dasar masa lalu ke prediksi masa mendatang. DM membantu para marketer untuk menemukan pola yang membuka misteri perilaku pelanggan.hasil-hasil dari DM bisa digunakan untuk meningkatkan revenue, mengurangi biaya, mengidentifikasi fraud, dan mengetahui peluang-peluang bisnis, yang menawarkan keunggulan kompetitif yang benar-benar baru. Sebagai satu disiplin ilmu yang berkembang dan sedang matang, DM seringkali dikaitkan dengan sejumlah mitos, termasuk mitos-mitos berikut:

Berbagai Tool Software Data Mining Banyak vendor software menyediakan berbagai tool data mining. Contoh-contoh vendor tersebut adalah SPSS (PASW Modeler, sebelumnya dikenal sebagai Clementine), SAS (Enterprise Miner), StstSoft (Statistica Data Miner), Salford (CART, MARS, TreeNet, RandomForest), Angoss (KnowledgesSTUDIO, KnowledgeSeeker), dan Megaputer (PolyAnalyst). Seperti bisa dilihat diatas, kebanyakan dari tool-tool popular tersebut dikembangkan oleh perusahaan-perusahaan software statistic terbesar (SPSS, SAS, dan StatSoft). Kebanyakan dari vendor-vendor tool ‘ business intelligence (BI) ’ (seperti IBM Cognos, Oracle Hyperion, SAP Business Objects, Microstrategy, Teradata, dan Microsoft) juga memiliki tingkat kemampuan data mining yang terintegrasi dengan tawaran-tawaran software mereka.tool-tool BI ini utamanya masih berfokus pada pemodelan multidimensional dan visualisasi data dan tidak ditujukan untuk menjadi pesaing langsung dari vendor-vendor tool data minig tersebut....

Metode-metode dalam DM Ada banyak metode untuk melakukan kajian DM, antara lain ‘classification’ (klasifikasi), ‘regression’ (regresi), ‘clustering’, dan ‘association’ (asosiasi). Kebanyakan tool software DM menerapkan lebih dari satu teknik (atau algoritma) untuk setiap metode-metode tersebut. Bagian seri ini akan menyajikan metode-metode DM yang paling popular dan menjelaskan teknik-teknik penyajiannya.

Proses dalam Data Mining Untuk melaksanakan project-project dalam Data Mining (DM) secara sistematis, suatu proses yang umum berlaku biasanya diterapkan. Berdasarkan ‘best practice’, para praktisi dan peneliti DM mengusulkan beberapa proses (workflow atau pendekatan step-by-step yang sederhana) untuk memperbesar peluang keberhasilan dalam melaksanakan project-project DM. Usaha-usaha itu akhirnya menghasilkan beberapa proses yang dijadikan sebagai standard, beberapa diantaranya (yang paling popular) dibahas dalam bagian ini. [ Baca juga: Metode-metode dalam Data Mining ]

Penerapan-penerapan Data Mining Data mining (DM) sudah menjadi suatu piranti yang sangat populer  dalam  menangani banyak isu bisnis yang kompleks. DM sudah terbukti sangat sukses dan bermanfaat di berbagai area, diantaranya adalah seperti yang ditunjukkan dengan berbagai contoh yang disajikan berikut. Tujuan dari berbagai penerapan DM dalam bisnis adalah untuk menyelesaikan suatu masalah yang sangat memberi ‘pressure’ atau untuk mencari peluang bisnis yang bisa dimunculkan untuk membuat keunggulan kompetitif yang berkelanjutan.

Bagaimana cara kerja data mining Dengan menggunakan data yang ada dan relevan, data mining membuat beberapa model untuk mengidentifikasi pola-pola diantara atribut-atribut yang ada di dalam dataset. Model adalah penyajian matematis (persamaan linear sederhana dan/atau persamaan kompleks yang sangat tidak linear) yang mengidentifikasi pola-pola diantara berbagai atribut object (misalnya, pelanggan) yang ada di dalam dataset. Beberapa pola tersebut adalah bersifat deskriptif (menjelaskan saling-keterkaitan atau persamaan dan kesamaan diantara berbagai atribut tersebut), sementara yang lain adalah bersifat prediktif (meprediksi ‘value/hasil’ yang akan terjadi pada atribut-atribut tertentu). Secara umum, data mining mengidentifikasi empat jenis pola utama:

Definisi, karakteristik, dan manfaat Definisi data mining, secara sederhana, adalah istilah yang digunakan untuk menjelaskan proses pencarian atau penambangan knowledge dari data yang sangat besar. Menurut analogi, orang mungkin berpikir bahwa istilah data mining adalah sesuatu yang tidak tepat; menambang emas dari bebatuan atau lumpur diacu sebagai  ‘penambangan emas’ dan bukannya penambangan ‘batu’ atau ‘lumpur’. Jadi, data mining barangkali lebih cocok diberi nama ‘knowledge mining’ atau ‘knowledge discovery’. Meskipun ada ketidakcocokan antara makna dan istilah, data mining telah menjadi pilihan bagi komunitas ilmu ini. Banyak nama-nama lain yang ter-asosiasi dengan data mining antara lain ‘knowledge extraction’, ‘pattern analysis’, ‘data archaeology’, ‘information harvesting’, ‘pattern searching’, dan ‘data dredging’.

Secara umum, pengertian data mining untuk business intelligence adalah cara-cara untuk mengembangkan business intelligence dari data yang dikumpulkan, diorganisir, dan disimpan oleh suatu organisasi. Teknik-teknik dalam data mining sangatlah luas sekali dan digunakan oleh berbagai organisasi untuk mendapatkan pemahaman yang lebih baik mengenai pelanggan dan cara kerja mereka dan untuk menyelesaikan berbagai masalah organisasi yang sangat kompleks. Dalam seri ini kita akan mempelajari data mining sebagai teknologi pendorong bagi business intelligence, mempelajari proses-proses standard dalam melaksanakan proyek-proyek data mining, memahami dan membangun keahlian dalam menggunakan teknik-teknik data mining yang populer , mengembangkan pengetahuan mengenai berbagai tool software yang ada , dan membedah berbagai macam mitos dan jebakan dalam data mining .