Lewati ke isi
anakdata.id
≡

Kelompok 9 dari 10

Data governance, privasi, MLOps

“Datanya dijaga bagaimana”

Aturan tentang data berlaku di setiap lapisan, dari kasir sampai chatbot. Data governance menentukan siapa pemilik data penjualan dan siapa boleh melihat nomor HP pelanggan, sedangkan MLOps menjaga model tetap akurat sesudah dipakai.

Posisinya di perjalanan data
  1. Sumber data(kelompok ini)
  2. Ingestion(kelompok ini)
  3. Storage(kelompok ini)
  4. Transformasi(kelompok ini)
  5. Analisis(kelompok ini)
  6. BI dan dashboard(kelompok ini)
  7. ML(kelompok ini)
  8. AI generatif(kelompok ini)
  9. Keputusan

Semua 8 lapisan, dari Sumber data sampai AI generatif: istilah kelompok ini dipakai di setiap lapisan. Lihat petanya

Aturan dan pemilik data5 istilah

↑ Daftar isi

Data governance

Juga disebut: tata kelola data

Aturan tentang siapa boleh melihat data apa, siapa bertanggung jawab atas kebenarannya, dan bagaimana perubahannya dicatat.

Dipakai:
  • Data Governance Analyst
  • Data Engineer
  • Analytics Engineer

Data quality

Juga disebut: kualitas data

Seberapa layak sebuah data dipercaya: lengkap, tepat waktu, konsisten, dan sesuai kenyataan.

Dipakai:
  • Data Governance Analyst
  • Data Engineer
  • Analytics Engineer

Single source of truth

Kesepakatan bahwa satu angka cuma boleh punya satu tempat asal resmi.

Tanpa single source of truth, tiga tim datang ke meeting dengan tiga angka omzet berbeda, lalu meeting habis untuk memperdebatkan angka mana yang benar.

Dipakai:
  • Data Governance Analyst
  • Analytics Engineer
  • Data Engineer
  • BI Developer

SOP data

Prosedur baku tertulis untuk mengumpulkan, menyimpan, dan memakai data, supaya tidak tercecer.

Setiap cabang wajib mengirim laporan stok dengan format yang sama.

Dipakai:
  • Data Governance Analyst

Data steward

Orang yang merawat data sehari-hari: definisinya, kualitasnya, dan aturan pemakaiannya.

Memastikan definisi 'pelanggan aktif' tertulis dan dipakai sama oleh semua tim.

Dipakai:
  • Data Governance Analyst

Keterangan tentang data3 istilah

↑ Daftar isi

Metadata

Keterangan tentang datanya sendiri: siapa yang membuat, kapan terakhir di-update, satuannya apa.

Kolom bernama "biaya" tidak berguna sampai Anda tahu satuannya rupiah atau dolar. Keterangan itulah metadata.

Dipakai:
  • Data Governance Analyst
  • Data Engineer
  • Analytics Engineer

Data catalog

Daftar terpusat semua data di perusahaan beserta metadatanya, supaya orang tahu data apa yang ada dan di mana.

Mencari 'retur' di Collibra, DataHub, atau Purview, lalu menemukan tabel dan pemiliknya.

Dipakai:
  • Data Governance Analyst
  • Analytics Engineer

Data lineage

Jejak asal-usul data: dari sumber mana, lewat langkah apa saja, sampai jadi angka di dashboard.

Menelusuri angka omzet di dashboard balik ke tabel kasir aslinya.

Dipakai:
  • Data Governance Analyst
  • Analytics Engineer
  • Data Engineer

Privasi dan akses7 istilah

↑ Daftar isi

Hak akses

Aturan siapa boleh melihat atau mengubah data apa, biasanya per peran.

Hanya tim kredit yang boleh membuka kolom gaji nasabah.

Dipakai:
  • Data Governance Analyst
  • Data Engineer

Data pribadi

Data tentang orang yang bisa dikenali, langsung atau lewat gabungan dengan data lain.

Nama, nomor HP, alamat, foto KTP.

Dipakai:
  • Semua peran

PII

Personally identifiable information: data yang bisa menunjuk ke satu orang tertentu.

Nama lengkap, NIK, nomor HP, email, alamat rumah.

Dipakai:
  • Semua peran

UU PDP

UU Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi, aturan tentang cara data pribadi dikumpulkan, dipakai, dan dijaga.

File daftar pelanggan berisi nomor HP tidak di-upload ke chatbot AI.

Dipakai:
  • Semua peran

Anonimisasi

Data diolah sampai orangnya tidak bisa dikenali lagi, termasuk lewat gabungan dengan data lain.

Laporan hanya berisi jumlah pesanan per kota, tanpa nama pembeli.

Dipakai:
  • Data Governance Analyst
  • Data Engineer
  • Data Analyst

Masking

Menyamarkan sebagian isi data sensitif supaya data tetap bisa dipakai tanpa membuka identitas.

Nomor HP hanya tampil beberapa digit awal, sisanya diganti huruf x.

Sering tertukar

Anonimisasi

Orangnya tidak bisa dikenali lagi, termasuk lewat gabungan data lain.

berbeda dengan

Masking

Sebagian isi disamarkan, misalnya nomor HP hanya tampil beberapa digit awal.

Dipakai:
  • Data Governance Analyst
  • Data Engineer

Kebocoran data

Data perusahaan atau data pribadi terbaca pihak yang tidak berhak, termasuk saat di-paste ke layanan AI publik.

Mem-paste daftar nasabah ke chatbot gratis untuk minta dianalisis.

Dipakai:
  • Semua peran

Merawat model (MLOps)3 istilah

↑ Daftar isi

MLOps

Cara kerja untuk merawat model machine learning di production: deploy, monitoring, dan training ulang secara teratur.

Model churn otomatis di-training ulang tiap bulan dan dimonitor akurasinya.

Dipakai:
  • ML Engineer

Model monitoring

Mengecek terus apakah tebakan model tetap bagus setelah dipakai, karena kondisi nyata bisa berubah.

Akurasi model penipuan dimonitor mingguan, dan alert dikirim kalau turun.

Dipakai:
  • ML Engineer
  • Data Scientist

Data drift

Data baru yang masuk ke model mulai berbeda dari data training-nya, sehingga tebakannya memburuk.

Pola belanja berubah saat pandemi, model prediksi permintaan jadi meleset.

Dipakai:
  • ML Engineer
  • Data Scientist