Jika Anda sedang membangun, membeli, atau bahkan sekadar mengevaluasi sistem AI, Anda akan menemukan satu pertanyaan sederhana yang menipu: apa itu set data AI dan mengapa itu begitu penting? Singkatnya: ia adalah bahan bakar, panduan, dan terkadang kompas bagi model Anda.
Artikel yang mungkin ingin Anda baca setelah ini:
🔗 Bagaimana AI memprediksi tren
Menjelajahi bagaimana AI menganalisis pola untuk memperkirakan kejadian dan perilaku di masa mendatang.
🔗 Cara mengukur kinerja AI
Metrik dan metode untuk menilai akurasi, efisiensi, dan keandalan model.
🔗 Cara berbicara dengan AI
Panduan untuk membuat interaksi yang lebih baik guna meningkatkan respons yang dihasilkan AI.
🔗 Apa yang mendorong AI?
Gambaran umum tentang bagaimana perintah membentuk keluaran AI dan kualitas komunikasi secara keseluruhan.
Apa itu Dataset AI? Definisi singkatnya 🧩
Apa itu set data AI? Ini adalah kumpulan contoh yang dipelajari atau dievaluasi oleh model Anda. Setiap contoh memiliki:
-
Input - fitur yang dilihat model, seperti potongan teks, gambar, audio, baris tabel, pembacaan sensor, grafik.
-
Target - label atau hasil yang harus diprediksi oleh model, seperti kategori, angka, rentang teks, tindakan, atau terkadang tidak sama sekali.
-
Metadata - konteks seperti sumber, metode pengumpulan, stempel waktu, lisensi, info persetujuan, dan catatan tentang kualitas.
Bayangkan seperti kotak makan siang yang dikemas rapi untuk model Anda: bahan-bahan, label, informasi nutrisi, dan ya, catatan tempel yang bertuliskan "jangan makan bagian ini." 🍱
Untuk tugas yang diawasi, Anda akan melihat masukan yang dipasangkan dengan label eksplisit. Untuk tugas yang tidak diawasi, Anda akan melihat masukan tanpa label. Untuk pembelajaran penguatan, data sering kali terlihat seperti episode atau lintasan dengan status, tindakan, dan imbalan. Untuk pekerjaan multimoda, contoh dapat menggabungkan teks + gambar + audio dalam satu rekaman. Kedengarannya mewah; sebagian besar hanya pipa ledeng.
Primer dan praktik yang bermanfaat: Lembar Data untuk Kumpulan Data membantu tim menjelaskan apa yang ada di dalamnya dan bagaimana cara penggunaannya [1], dan Kartu Model melengkapi dokumentasi data di sisi model [2].
Apa yang Membuat Dataset AI yang Baik ✅
Jujur saja, banyak model yang berhasil karena datasetnya tidak buruk. Dataset yang "baik" adalah:
-
Perwakilan dari kasus penggunaan nyata, bukan hanya kondisi lab.
-
Dilabeli secara akurat , dengan pedoman yang jelas dan keputusan yang diambil secara berkala. Metrik kesepakatan (misalnya, pengukuran bergaya kappa) membantu memeriksa kewarasan konsistensi.
-
lengkap dan seimbang untuk menghindari kegagalan senyap pada long tail. Ketidakseimbangan itu normal; kelalaian tidak.
-
Jelas asal usulnya , dengan persetujuan, lisensi, dan izin yang terdokumentasi. Dokumen yang membosankan mencegah gugatan hukum yang menarik.
-
Didokumentasikan dengan baik menggunakan kartu data atau lembar data yang menjelaskan penggunaan yang dimaksudkan, batasan, dan mode kegagalan yang diketahui [1]
-
Diatur dengan versi, catatan perubahan, dan persetujuan. Jika Anda tidak dapat mereproduksi set data, Anda tidak dapat mereproduksi model. Panduan dari Kerangka Kerja Manajemen Risiko AI NIST memperlakukan kualitas data dan dokumentasi sebagai perhatian utama [3].
Jenis-jenis Dataset AI, berdasarkan apa yang Anda lakukan 🧰
Berdasarkan tugas
-
Klasifikasi - misalnya, spam vs bukan spam, kategori gambar.
-
Regresi - memprediksi nilai kontinu seperti harga atau suhu.
-
Pelabelan sekuens - entitas bernama, bagian-bagian ucapan.
-
Generasi - peringkasan, penerjemahan, pemberian keterangan pada gambar.
-
Rekomendasi - pengguna, item, interaksi, konteks.
-
Deteksi anomali - kejadian langka dalam rangkaian waktu atau log.
-
Pembelajaran penguatan - urutan keadaan, tindakan, penghargaan, keadaan berikutnya.
-
Pengambilan - dokumen, pertanyaan, penilaian relevansi.
Berdasarkan modalitas
-
Tabular - kolom seperti usia, pendapatan, dan churn. Diremehkan, tapi sangat efektif.
-
Teks - dokumen, obrolan, kode, postingan forum, deskripsi produk.
-
Gambar - foto, pemindaian medis, ubin satelit; dengan atau tanpa masker, kotak, titik kunci.
-
Audio - bentuk gelombang, transkrip, tag pembicara.
-
Video - bingkai, anotasi temporal, label tindakan.
-
Grafik - simpul, tepi, atribut.
-
Rangkaian waktu - sensor, keuangan, telemetri.
Dengan pengawasan
-
Berlabel (emas, perak, berlabel otomatis), berlabel lemah , tidak berlabel , sintetis . Adonan kue yang dibeli di toko bisa jadi lumayan—jika Anda membaca kemasannya.
Di dalam kotak: struktur, pemisahan, dan metadata 📦
Kumpulan data yang kuat biasanya mencakup:
-
Skema - bidang yang diketik, unit, nilai yang diizinkan, penanganan null.
-
Pemisahan - pelatihan, validasi, pengujian. Jaga kerahasiaan data uji—perlakukan seperti potongan cokelat terakhir.
-
Rencana pengambilan sampel - bagaimana Anda mengambil contoh dari populasi; hindari sampel praktis dari satu wilayah atau perangkat.
-
Augmentasi - flip, crop, noise, parafrase, topeng. Bagus jika jujur; berbahaya jika menciptakan pola yang tidak pernah terjadi di alam liar.
-
Versi - kumpulan data v0.1, v0.2… dengan catatan perubahan yang menjelaskan delta.
-
Lisensi dan persetujuan - hak penggunaan, redistribusi, dan alur penghapusan. Regulator perlindungan data nasional (misalnya, UK ICO) menyediakan daftar periksa pemrosesan yang praktis dan sah [4].
Siklus hidup kumpulan data, langkah demi langkah 🔁
-
Tentukan keputusannya - apa yang akan diputuskan oleh model, dan apa yang terjadi jika keputusannya salah.
-
Fitur dan label cakupan - terukur, dapat diamati, etis untuk dikumpulkan.
-
Sumber data - instrumen, log, survei, badan publik, mitra.
-
Persetujuan dan hukum - pemberitahuan privasi, opt-out, minimisasi data. Lihat panduan regulator untuk "mengapa" dan "bagaimana" [4].
-
Kumpulkan dan simpan - penyimpanan aman, akses berbasis peran, penanganan PII.
-
Label - pencatat internal, crowdsourcing, pakar; mengelola kualitas dengan tugas emas, audit, dan metrik perjanjian.
-
Bersihkan dan normalkan - hapus duplikat, tangani yang hilang, standarisasi unit, perbaiki penyandian. Pekerjaan yang membosankan dan heroik.
-
Memisahkan dan memvalidasi - mencegah kebocoran; melakukan stratifikasi jika relevan; mengutamakan pemisahan berdasarkan waktu untuk data temporal; dan menggunakan validasi silang secara cermat untuk estimasi yang kuat [5].
-
Dokumen - lembar data atau kartu data; tujuan penggunaan, peringatan, batasan [1].
-
Pantau dan perbarui - deteksi penyimpangan, irama penyegaran, rencana penghentian. RMF AI NIST membingkai siklus tata kelola yang berkelanjutan ini [3].
Kiat cepat dan praktis: tim sering kali "menang demo" tetapi mengalami kendala dalam produksi karena set data mereka diam-diam berubah—lini produk baru, bidang yang berganti nama, atau kebijakan yang berubah. Catatan perubahan sederhana + anotasi ulang berkala dapat mencegah sebagian besar masalah tersebut.
Kualitas dan evaluasi data - tidak membosankan seperti kedengarannya 🧪
Kualitas bersifat multidimensi:
-
Akurasi - apakah labelnya tepat? Gunakan metrik kesepakatan dan keputusan berkala.
-
Kelengkapan - mencakup bidang dan kelas yang benar-benar Anda butuhkan.
-
Konsistensi - hindari label yang bertentangan untuk masukan yang serupa.
-
Ketepatan waktu - data yang basi membuat asumsi menjadi kaku.
-
Keadilan & bias - cakupan di berbagai demografi, bahasa, perangkat, dan lingkungan; dimulai dengan audit deskriptif, kemudian uji stres. Praktik yang mengutamakan dokumentasi (lembar data, kartu model) membuat pemeriksaan ini terlihat [1], dan kerangka tata kelola menekankannya sebagai pengendalian risiko [3].
Untuk evaluasi model, gunakan pemisahan yang tepat dan lacak metrik rata-rata dan metrik kelompok terburuk. Rata-rata yang mengkilap dapat menyembunyikan kawah. Dasar-dasar validasi silang dibahas dengan baik dalam dokumen perkakas ML standar [5].
Etika, privasi, dan perizinan - pagar pembatas 🛡️
Data etika bukanlah getaran, melainkan sebuah proses:
-
Pembatasan persetujuan dan tujuan - harus eksplisit tentang penggunaan dan dasar hukum [4].
-
Penanganan PII - minimalkan, gunakan nama samaran, atau anonimkan sebagaimana mestinya; pertimbangkan teknologi peningkatan privasi ketika risikonya tinggi.
-
Atribusi & lisensi - hormati batasan berbagi serupa dan penggunaan komersial.
-
Bias & bahaya - audit untuk korelasi palsu (“siang hari = aman” akan sangat membingungkan di malam hari).
-
Perbaikan - ketahui cara menghapus data berdasarkan permintaan dan cara mengembalikan model yang dilatih padanya (dokumentasikan ini di lembar data Anda) [1].
Seberapa besar ukuran yang cukup? Ukuran dan rasio signal-to-noise 📏
Aturan praktisnya: lebih banyak contoh biasanya lebih membantu jika relevan dan tidak terlalu mirip. Namun, terkadang lebih baik menggunakan yang lebih sedikit, lebih bersih, dan berlabel lebih baik daripada menyimpan banyak contoh yang berantakan.
Perhatikan:
-
Kurva pembelajaran - kinerja plot vs. ukuran sampel untuk melihat apakah Anda terikat data atau terikat model.
-
Cakupan ekor panjang - kelas yang langka tetapi kritis sering kali memerlukan pengumpulan yang ditargetkan, bukan sekadar lebih banyak jumlah.
-
Beri label kebisingan - ukur, lalu kurangi; sedikit masih dapat ditoleransi, gelombang pasang tidak.
-
Pergeseran distribusi - data pelatihan dari satu wilayah atau saluran mungkin tidak dapat digeneralisasi ke wilayah atau saluran lain; validasi pada data uji seperti target [5].
Jika ragu, jalankan uji coba kecil dan kembangkan. Seperti bumbu—tambahkan, cicipi, sesuaikan, ulangi.
Di mana menemukan dan mengelola kumpulan data 🗂️
Sumber daya dan perkakas populer (tidak perlu menghafal URL saat ini):
-
Kumpulan Data Wajah Pelukan - pemuatan, pemrosesan, dan pembagian terprogram.
-
Google Dataset Search - meta-pencarian di seluruh web.
-
UCI ML Repository - karya klasik yang dikurasi untuk dasar dan pengajaran.
-
OpenML - tugas + kumpulan data + berjalan dengan asal-usul.
-
AWS Open Data / Google Cloud Public Datasets - korpus berskala besar yang dihosting.
Kiat profesional: jangan asal mengunduh. Baca lisensi dan lembar datanya , lalu dokumentasikan salinan Anda sendiri dengan nomor versi dan asal-usulnya [1].
Pelabelan dan anotasi - tempat kebenaran dinegosiasikan ✍️
Anotasi adalah tempat panduan label teoritis Anda bergulat dengan realitas:
-
Desain tugas - tulis instruksi yang jelas dengan contoh dan contoh tandingan.
-
Pelatihan anotator - benih dengan jawaban emas, jalankan putaran kalibrasi.
-
Kontrol kualitas - gunakan metrik perjanjian, mekanisme konsensus, dan audit berkala.
-
Perkakas - pilih alat yang menegakkan validasi skema dan meninjau antrean; bahkan lembar kerja dapat bekerja dengan aturan dan pemeriksaan.
-
Putaran umpan balik - menangkap catatan anotator dan memodelkan kesalahan untuk menyempurnakan panduan.
Kalau rasanya seperti mengedit kamus dengan tiga teman yang tidak sependapat soal koma… itu hal yang wajar. 🙃
Dokumentasi data - membuat pengetahuan implisit menjadi eksplisit 📒
Lembar data atau kartu data yang ringan harus mencakup:
-
Siapa yang mengumpulkannya, bagaimana, dan mengapa.
-
Kegunaan yang dimaksudkan dan penggunaan di luar cakupan.
-
Kesenjangan, bias, dan mode kegagalan yang diketahui.
-
Protokol pelabelan, langkah-langkah QA, dan statistik persetujuan.
-
Lisensi, persetujuan, kontak untuk masalah, proses penghapusan.
Templat dan contoh: Lembar data untuk Dataset dan Kartu Model merupakan titik awal yang banyak digunakan [1].
Tulislah selagi Anda membangun, bukan setelahnya. Memori adalah media penyimpanan yang rentan.
Tabel Perbandingan - tempat untuk menemukan atau menyimpan kumpulan data AI 📊
Ya, ini agak opini. Dan susunan katanya agak tidak konsisten memang sengaja. Tidak apa-apa.
| Alat / Repo | Hadirin | Harga | Mengapa hal ini berhasil dalam praktik |
|---|---|---|---|
| Dataset Wajah Pelukan | Peneliti, insinyur | Tingkat gratis | Pemuatan cepat, streaming, skrip komunitas; dokumen yang sangat baik; kumpulan data versi |
| Pencarian Kumpulan Data Google | Setiap orang | Bebas | Luas permukaannya; bagus untuk penemuan; terkadang metadatanya tidak konsisten |
| Repositori ML UCI | Siswa, pendidik | Bebas | Karya klasik yang dikurasi; kecil tapi rapi; bagus untuk dasar dan pengajaran |
| OpenML | Repro peneliti | Bebas | Tugas + kumpulan data + berjalan bersama; jejak asal yang bagus |
| Registri Data Terbuka AWS | Insinyur data | Sebagian besar gratis | Hosting skala petabyte; akses cloud-native; biaya pengawasan egress |
| Kumpulan Data Kaggle | Praktisi | Bebas | Berbagi mudah, skrip, kompetisi; sinyal komunitas membantu menyaring kebisingan |
| Kumpulan Data Publik Google Cloud | Analis, tim | Gratis + awan | Dihosting di dekat komputasi; integrasi BigQuery; hati-hati dengan penagihan |
| Portal akademik, laboratorium | Pakar khusus | Bervariasi | Sangat terspesialisasi; terkadang kurang terdokumentasi - masih layak untuk diburu |
(Jika suatu sel terlihat banyak bicara, itu disengaja.)
Membangun yang pertama - perlengkapan awal yang praktis 🛠️
Anda ingin beralih dari "apa itu dataset AI" ke "Saya membuatnya, dan ini berhasil." Cobalah cara minimal ini:
-
Tulis keputusan dan metriknya - misalnya, kurangi kesalahan rute dukungan masuk dengan memprediksi tim yang tepat. Metrik: makro-F1.
-
Buatlah daftar 5 contoh positif dan 5 contoh negatif - ambil contoh tiket yang sebenarnya, jangan dibuat-buat.
-
Buat draf panduan label - satu halaman; aturan penyertaan/pengecualian yang eksplisit.
-
Kumpulkan sampel kecil yang nyata - beberapa ratus tiket di seluruh kategori; hapus PII yang tidak Anda perlukan.
-
Pisahkan dengan pemeriksaan kebocoran - simpan semua pesan dari pelanggan yang sama dalam satu pemisahan; gunakan validasi silang untuk memperkirakan varians [5].
-
Beri anotasi dengan QA - dua anotator pada subset; selesaikan perselisihan; perbarui panduan.
-
Latihlah baseline sederhana - utamakan logistik (misalnya, model linear atau transformator kompak). Intinya adalah menguji data, bukan memenangkan medali.
-
Tinjau kesalahan - di mana letak kegagalannya dan mengapa; perbarui kumpulan data, bukan hanya modelnya.
-
Dokumen - lembar data kecil: sumber, tautan panduan label, perpecahan, batasan yang diketahui, lisensi [1].
-
Rencana penyegaran - kategori baru, bahasa gaul baru, domain baru hadir; jadwalkan pembaruan kecil dan sering [3].
Anda akan belajar lebih banyak dari putaran ini daripada dari ribuan opini panas. Selain itu, simpan cadangannya. Mohon.
Perangkap umum yang sering terjadi pada tim 🪤
-
Kebocoran data - jawabannya menyelinap ke dalam fitur (misalnya, menggunakan bidang pasca-resolusi untuk memprediksi hasil). Terasa seperti curang karena memang begitu.
-
Keragaman yang dangkal - satu geografi atau perangkat menyamar sebagai global. Pengujian akan mengungkap plot twist.
-
Penyimpangan label - kriteria berubah seiring waktu, tetapi panduan label tidak. Dokumentasikan dan buat versi ontologi Anda.
-
Tujuan yang tidak ditentukan dengan jelas - jika Anda tidak dapat menentukan prediksi yang buruk, data Anda juga tidak dapat menentukannya.
-
Lisensi yang berantakan - menghapus sekarang, meminta maaf kemudian, bukanlah suatu strategi.
-
Penambahan berlebihan - data sintetis yang mengajarkan artefak yang tidak realistis, seperti melatih koki dengan buah plastik.
FAQ singkat tentang frasa itu sendiri ❓
-
Apakah "Apa itu dataset AI?" hanya sekadar definisi? Sebagian besar memang begitu, tetapi ini juga merupakan sinyal bahwa Anda peduli dengan detail-detail kecil yang membuat model menjadi andal.
-
Apakah saya selalu membutuhkan label? Tidak. Pengaturan tanpa pengawasan, pengawasan mandiri, dan RL sering kali melewatkan label eksplisit, tetapi kurasi tetap penting.
-
Dapatkah saya menggunakan data publik untuk apa pun? Tidak. Hormati lisensi, ketentuan platform, dan kewajiban privasi [4].
-
Lebih besar atau lebih baik? Idealnya, keduanya. Jika harus memilih, pilih yang lebih baik dulu.
Catatan Akhir - Apa yang bisa Anda tangkap layarnya 📌
Jika seseorang bertanya apa itu dataset AI , katakanlah: itu adalah kumpulan contoh yang dikurasi dan didokumentasikan yang mengajarkan dan menguji suatu model, dikemas dalam tata kelola sehingga orang dapat memercayai hasilnya. Dataset terbaik adalah yang representatif, berlabel baik, bersih secara hukum, dan dipelihara secara berkelanjutan. Sisanya adalah detail—detail penting—tentang struktur, pemisahan, dan semua pembatas kecil yang mencegah model tersesat di tengah lalu lintas. Terkadang prosesnya terasa seperti berkebun dengan spreadsheet; terkadang seperti menggiring piksel. Apa pun caranya, berinvestasilah pada data, dan model Anda akan berperilaku lebih baik. 🌱🤖
Referensi
[1] Lembar Data untuk Set Data - Gebru dkk., arXiv. Tautan
[2] Kartu Model untuk Pelaporan Model - Mitchell dkk., arXiv. Tautan
[3] Kerangka Kerja Manajemen Risiko Kecerdasan Buatan NIST (AI RMF 1.0) . Tautan
[4] Panduan dan sumber daya GDPR Inggris - Kantor Komisioner Informasi (ICO). Tautan
[5] Validasi silang: mengevaluasi kinerja estimator - Panduan Pengguna scikit-learn. Tautan