Lewati ke isi
anakdata.id
≡

Kelompok 2 dari 10

Sumber data dan storage

“Datanya datang dari mana dan disimpan di mana”

Data penjualan sebuah warung mi lahir di aplikasi kasir, lalu berakhir di database atau data warehouse. Kelompok ini menjelaskan tempat-tempat itu, dari CSV dan Google Sheets sampai BigQuery dan data lake.

Posisinya di perjalanan data
  1. Sumber data(kelompok ini)
  2. Ingestion(kelompok ini)
  3. Storage(kelompok ini)
  4. Transformasi
  5. Analisis
  6. BI dan dashboard
  7. ML
  8. AI generatif
  9. Keputusan

Sumber data, Ingestion dan Storage: lapisan 1 sampai 3 dari 8. Lihat petanya

Tempat data lahir dan didapat11 istilah

↑ Daftar isi

Data source

Tempat asal data sebelum dipindahkan atau diolah: aplikasi, database, file, atau layanan lain.

Aplikasi kasir, aplikasi keuangan, dan file Excel kiriman mitra.

Dipakai:
  • Data Engineer
  • Data Analyst

Excel dan Google Sheets

Aplikasi spreadsheet untuk mengetik data, menghitung dengan rumus, dan meringkas tabel; banyak kantor masih memakainya sebagai alat utama.

Rekap penjualan bulanan dengan SUMIF dan pivot table.

Dipakai:
  • Data Analyst
  • BI Developer
  • Business Analyst

Google Drive

Tempat menyimpan file di internet milik Google. Isinya bisa dibuka dari laptop mana pun, asal masuk dengan akun Gmail yang sama.

Satu folder data yang bisa dibuka dari laptop kantor maupun laptop rumah.

Dipakai:
  • Semua peran

Excel for the web

Excel versi browser dari Microsoft yang gratis dengan akun Microsoft. Fiturnya lebih sedikit dari Excel desktop, tapi cukup untuk rumus dasar dan PivotTable.

Membuat PivotTable dari file penjualan tanpa memasang Excel di laptop.

Dipakai:
  • Data Analyst
  • BI Developer
  • Business Analyst

CSV

Format file paling sederhana untuk tabel, isinya teks biasa dengan koma sebagai pemisah kolom.

Hampir semua alat bisa membuka CSV, termasuk Excel dan Google Sheets.

Dipakai:
  • Semua peran

API

Pintu resmi yang disediakan satu sistem supaya sistem lain bisa mengambil datanya secara teratur.

Data cuaca diambil lewat API, tidak di-copy manual dari halaman web.

Dipakai:
  • Data Engineer
  • AI Engineer
  • Data Scientist

Data silo

Data yang tercecer di banyak tempat tanpa standar, sampai pemiliknya sendiri lupa menyimpannya di mana.

Penjualan di aplikasi kasir, stok di Excel gudang, data promo di email.

Dipakai:
  • Data Engineer
  • Data Governance Analyst

Open data

Data yang diterbitkan untuk umum dan boleh dipakai ulang, biasanya dengan syarat sumbernya disebut.

Data harga pangan WFP berlisensi terbuka, boleh dipakai di portfolio asal sumbernya ditulis.

Dipakai:
  • Semua peran

Lisensi terbuka

Izin tertulis dari penerbit yang membolehkan data dipakai ulang dan hasil analisisnya diterbitkan, biasanya dengan syarat sumbernya disebut.

Data harga pangan WFP berlisensi CC BY-IGO, jadi boleh dipakai di proyek publik asal sumbernya ditulis di README.

Dipakai:
  • Semua peran

Kaggle

Website berisi banyak dataset gratis dan kompetisi data, sering dipakai untuk latihan dan bahan portfolio.

Mengambil dataset penjualan ritel dari Kaggle untuk latihan pipeline.

Dipakai:
  • Data Analyst
  • Data Engineer
  • Data Scientist

Data dummy

Data karangan, bukan dari kejadian nyata. Cocok untuk mencoba alat, tapi kurang meyakinkan untuk portfolio.

Angka penjualan karangan untuk mencoba membuat dashboard pertama.

Dipakai:
  • Semua peran

Database5 istilah

↑ Daftar isi

Database

Juga disebut: basis data

Tempat menyimpan data yang tertata rapi dalam tabel dan bisa ditanyai dengan query.

Diagramnya: OLTP dan OLAP

Dipakai:
  • Semua peran

PostgreSQL, MySQL, SQL Server

Database yang banyak dipakai aplikasi untuk mencatat transaksi, sehingga sering jadi sumber data bagi analis dan DE.

Data pesanan aplikasi toko online tersimpan di PostgreSQL.

Dipakai:
  • Data Engineer
  • Data Analyst
  • Analytics Engineer

Server

Komputer yang menyala terus untuk menyimpan data atau menjalankan aplikasi, dan diakses dari komputer lain.

Database transaksi toko berjalan di server kantor pusat.

Dipakai:
  • Data Engineer

OLTP dan OLAP

Dua cara kerja database: OLTP melayani transaksi satu per satu, OLAP membaca jutaan baris sekaligus untuk dianalisis.

Sering tertukar

OLTP

Mencatat transaksi satu per satu, seperti mesin kasir.

berbeda dengan

OLAP

Membaca jutaan baris sekaligus untuk rekap dan analisis.

Menjalankan analisis berat di database OLTP bisa membuat aplikasi produksinya melambat. Itu sebab warehouse dipisahkan sejak awal.

Diagramnya: OLTP dan OLAP

Dipakai:
  • Data Engineer
  • Data Analyst

Columnar

Cara database menyimpan data kolom demi kolom. Rekap jadi cepat karena database hanya membaca kolom yang dibutuhkan.

Menjumlah kolom nilai transaksi tanpa membaca kolom nama dan alamat pelanggan.

Dipakai:
  • Data Engineer

Data warehouse dan data lake9 istilah

↑ Daftar isi

Data warehouse

Juga disebut: gudang data

Database besar yang dirancang khusus untuk menganalisis, bukan untuk melayani aplikasi sehari-hari.

Data dari kasir, web, dan aplikasi dikumpulkan ke satu warehouse supaya bisa dihitung bersama.

Diagramnya: ETL dan ELT, Warehouse, lake, lakehouse

Dipakai:
  • Data Engineer
  • Analytics Engineer
  • Data Analyst
  • BI Developer

Data mart

Potongan kecil dari warehouse yang disiapkan untuk satu tim saja.

Tim marketing punya mart sendiri berisi data campaign, tanpa data gaji.

Dipakai:
  • Data Engineer
  • Analytics Engineer
  • BI Developer

Data lake

Tempat menampung data apa adanya, termasuk yang belum berbentuk tabel: gambar, teks, rekaman, log.

Sering tertukar

Data warehouse

Data sudah dirapikan dan siap dihitung.

berbeda dengan

Data lake

Data apa adanya, dirapikan saat dibutuhkan.

Warehouse menyimpan data yang sudah dirapikan dan siap dihitung. Lake menyimpan data yang belum tentu rapi, dan perapiannya menyusul saat dibutuhkan.

Diagramnya: Warehouse, lake, lakehouse

Dipakai:
  • Data Engineer

Lakehouse

Gabungan data lake (tempat menampung raw data apa adanya) dan data warehouse: raw data murah disimpan, tetap bisa diquery seperti tabel.

File mentah di object storage disajikan sebagai tabel yang bisa diquery dengan SQL.

Dipakai:
  • Data Engineer

Cloud warehouse

Data warehouse sewaan dari cloud provider: tanpa membeli server, bayar sesuai pemakaian.

BigQuery, Snowflake, dan Redshift termasuk cloud warehouse.

Dipakai:
  • Data Engineer
  • Analytics Engineer
  • Data Analyst

BigQuery

Cloud warehouse milik Google. Data diquery dengan SQL, dan biayanya mengikuti banyaknya data yang dibaca.

Analis menulis SQL di BigQuery untuk merekap penjualan semua cabang.

Dipakai:
  • Data Engineer
  • Analytics Engineer
  • Data Analyst
  • BI Developer

Redshift

Cloud warehouse milik Amazon (AWS).

Perusahaan yang servernya sudah di AWS sering memilih Redshift.

Dipakai:
  • Data Engineer
  • Analytics Engineer

Snowflake

Cloud warehouse yang bisa berjalan di beberapa cloud provider. Biaya storage dan compute-nya dihitung terpisah.

Tim data menyalakan compute Snowflake hanya saat report dibuat.

Dipakai:
  • Data Engineer
  • Analytics Engineer

ClickHouse

Database OLAP open source yang cepat untuk rekap data besar; bisa dipasang sendiri di laptop atau server.

Memasang ClickHouse di laptop dengan Docker untuk latihan pipeline.

Dipakai:
  • Data Engineer

Cloud dan data besar7 istilah

↑ Daftar isi

Cloud

Juga disebut: komputasi awan

Komputer sewaan milik cloud provider, dipakai lewat internet dan dibayar sesuai pemakaian.

BigQuery, Snowflake, dan Redshift adalah warehouse yang berjalan di cloud.

Diagramnya: Warehouse, lake, lakehouse

Dipakai:
  • Semua peran

On-premise

Server dan software dipasang di gedung milik perusahaan sendiri, kebalikan dari cloud.

Bank menyimpan database nasabah di ruang server kantornya sendiri.

Sering tertukar

Cloud

Komputer sewaan, dipakai lewat internet.

berbeda dengan

On-premise

Server di gedung perusahaan sendiri.

Dipakai:
  • Data Engineer
  • Data Governance Analyst

Azure

Layanan cloud milik Microsoft, dengan pilihan database, storage, dan AI sendiri.

Kantor yang sudah memakai produk Microsoft menaruh data warehouse-nya di Azure.

Dipakai:
  • Data Engineer
  • ML Engineer
  • AI Engineer

Object storage (S3)

Storage cloud untuk file dalam jumlah sangat besar dan murah. Nama S3, layanan milik Amazon, sering dipakai untuk jenis ini.

File CSV transaksi harian ditaruh di S3 sebelum dimuat ke warehouse.

Dipakai:
  • Data Engineer

Big data

Data yang terlalu besar, terlalu cepat datang, atau terlalu beragam untuk diolah satu komputer biasa.

Catatan klik semua user aplikasi belanja setiap detik.

Dipakai:
  • Data Engineer
  • Data Scientist

Hadoop

Teknologi lama untuk menyimpan dan mengolah data sangat besar di cluster, yaitu sekelompok server yang bekerja seperti satu mesin.

Riwayat transaksi bertahun-tahun disimpan di cluster Hadoop milik bank.

Dipakai:
  • Data Engineer

Open source

Juga disebut: sumber terbuka

Software yang kodenya terbuka dan boleh dipakai gratis; banyak alat data populer termasuk jenis ini.

PostgreSQL, ClickHouse, Airflow, dan dbt Core bisa dipasang gratis di laptop.

Dipakai:
  • Semua peran