Perjalanan data
Perjalanan satu mangkuk mi, dari kasir sampai keputusan
Bayangkan sebuah restoran mi dengan beberapa cabang. Restoran ini rekaan. Kami memakainya karena hampir semua orang pernah membeli semangkuk mi dan tahu apa yang terjadi di kasir.
Setiap mangkuk yang terjual meninggalkan satu baris data. Baris itu menempuh delapan lapisan sebelum sampai ke meja pemilik restoran, yang lalu memutuskan menambah stok bahan atau mengubah promo. Di tiap lapisan ada orang yang memegangnya, dan ada satu pertanyaan yang ia jawab.
Halaman ini mengikuti baris itu melewati delapan lapisan. Kami menaruh satu pertanyaan di tiap lapisan, karena pertanyaan itu yang membantu Anda mengenali lapisan yang sama di kantor lain. Label seluruh cerita: Penyusun, contoh rekaan tanpa angka.
- 1
Sumber data
Kasir mencatat tiap mangkuk terjual.
Pertanyaannya: Data lahir di mana?
Dikerjakan olehTim back endArti Backend dan UI
- Backend dan UI:
- Bagian aplikasi di belakang layar yang mengolah dan menyimpan data disebut backend; tampilan yang dilihat user disebut UI.
- 2
Ingestion
Data cabang diambil pipeline tiap malam.
Pertanyaannya: Kapan dan bagaimana data diambil?
- Data Engineer: Memindahkannya ke data warehouse tiap malam.
AI membantu di sini: menyelesaikan error sintaks.
Dikerjakan olehData EngineerArti Ingestion dan Pipeline
- Ingestion:
- Tahap memasukkan data dari sumber ke storage untuk analisis, entah sekali, terjadwal, atau terus-menerus.
- Pipeline:
- Rangkaian langkah otomatis yang memindahkan dan mengolah data dari sumbernya ke tempat tujuan, sesuai jadwal.
- 3
Storage
Data semua cabang masuk warehouse.
Pertanyaannya: Disimpan di mana?
AI membantu di sini: dokumentasi struktur tabel.
Arti Data warehouse
- Data warehouse:
- Database besar khusus analisis, tempat data dari banyak sistem dikumpulkan dan dirapikan.
- 4
Transformasi
Nama menu diseragamkan, transaksi batal dibuang.
Pertanyaannya: Sudah bersih dan seragam?
- Analytics Engineer: Memastikan 'penjualan' dihitung sama di semua tabel.
AI membantu di sini: query standar.
Arti Transformasi data
- Transformasi data:
- Mengubah bentuk data supaya siap dipakai: membersihkan, menggabung, menghitung kolom baru, atau meringkas.
- 5
Analisis
Analis mencari sebab penjualan cabang turun.
Pertanyaannya: Kenapa ini terjadi?
- Data Analyst: Membandingkannya dengan target dan bulan lalu.
AI membantu di sini: draft query, cek logika rumus.
- 6
BI dan dashboard
Pemilik membuka dashboard setiap pagi.
Pertanyaannya: Bagaimana angka hari ini?
- BI Developer: Menampilkannya di dashboard pagi.
Arti Dashboard dan BI tool
- Dashboard:
- Satu halaman berisi beberapa grafik dan angka kunci yang di-update rutin, untuk memantau atau membantu satu keputusan.
- BI tool:
- Software untuk membuat dashboard dan report dari data: cukup tarik kolom ke kanvas, grafiknya jadi.
- 7
ML
Kebutuhan bahan ditebak model.
Pertanyaannya: Apa yang mungkin terjadi?
- Data Scientist: Memakainya untuk menebak permintaan.
AI jadi produk di sini: model prediksi.
Arti Machine learning dan Model
- Machine learning:
- Cara membuat komputer menemukan pola dari data contoh, lalu memakai pola itu untuk menebak data baru.
- Model:
- Rumus atau program hasil belajar dari data contoh, yang dipakai untuk menebak atau mengelompokkan data baru.
- 8
AI generatif
Manajer bertanya ke chatbot SOP dapur.
Manajer cabang bertanya ke chatbot dengan bahasa sehari-hari, misalnya berapa mangkuk terjual kemarin. Chatbot mengambil angka penjualan dari tabel yang sudah dirapikan di lapisan 4 (Transformasi), dan membaca dokumen SOP dapur untuk pertanyaan soal cara memasak.
Pertanyaannya: Bisa ditanya dengan bahasa biasa?
- AI Engineer: Membuatnya bisa ditanya lewat chatbot.
AI jadi produk di sini: chatbot pembaca dokumen.
Dikerjakan olehAI EngineerArti LLM dan Chatbot
- LLM:
- Large language model: model AI yang belajar dari teks sangat banyak, sehingga bisa menulis teks, merangkum dokumen, dan menjawab pertanyaan.
- Chatbot:
- Program yang diajak bercakap lewat teks, kini banyak yang memakai LLM.
Lalu pemilik memutuskan
Pemilik memutuskan stok dan promo, lalu menanggung akibatnya.
Semua lapisan sebelumnya bekerja untuk keputusan ini. Kalau angkanya salah di lapisan mana pun, pemilik memutuskan berdasarkan angka yang salah.
Dapur dan ruang makan
Praktisi di sesi Ngobrol Karir memakai restoran untuk menjelaskan kerja Data Engineer. Pengunjung cuma melihat ruang makan. Kerja di dapur baru terasa kalau ia berhenti.
“Pengunjung hanya melihat menu dan rasa, jadi kalau dapurnya beres, orang tidak sadar pentingnya dapur. Kerja Data Engineer juga begitu.”
Label: Praktisi di sesi Ngobrol Karir
Satu aturan untuk semua lapisan
Data governance: Aturan tentang data: siapa pemiliknya, apa definisinya, siapa boleh melihat, dan cara menjaga kualitasnya.
- Pemilik dataSiapa bertanggung jawab atas data penjualan.
- Definisi resmiSatu arti 'penjualan' untuk finance dan operasional.
- Hak aksesSiapa boleh melihat data pelanggan.
- Data qualityData tidak dobel dan tidak bolong.
Menurut AWS, data governance berisi proses dan kebijakan supaya data tetap layak dipakai bisnis.
Praktisi di sesi Ngobrol Karir menambahkan: angka finance dan operasional bisa beda karena sudut pandangnya beda.
Label: Data (AWS) · Praktisi di sesi Ngobrol Karir
Peran yang menjaganya: Data Governance Analyst →Di mana AI masuk
AI muncul di perjalanan ini dengan dua cara. Ada yang jadi asisten bagi orang yang bekerja di sebuah lapisan, dan ada yang jadi produk hasil kerja lapisan itu sendiri.
Praktisi di sesi Ngobrol Karir: data bersih dari lapisan 1–4 itulah bahan bakar AI.
Praktisi di sesi Ngobrol Karir: AI tidak bisa bertanggung jawab, jadi keputusan tetap di tangan manusia.
Label: Praktisi di sesi Ngobrol Karir · Penyusun
Satu transaksi, banyak tangan
Banyak orang memakai satu baris penjualan yang sama, masing-masing untuk pertanyaannya sendiri. Pemilik restoran berada di ujungnya: ia memakai hasil kerja semua peran untuk memutuskan.
Label: Penyusun