Prompt Engineering vs Fine-Tuning vs RAG: Kapan Pakai yang Mana?
Tiga jalur berbeda untuk hasil yang lebih baik — briefing, perpustakaan, atau pelatihan — dan cara memilih tanpa membuang biaya maupun waktu belajar.
Transparansi AI. Artikel ini disusun melalui kolaborasi strategis antara kecerdasan buatan (AI) dan tim Sequel Cloud. Seluruh arsitektur pemikiran, data teknis, dan analisis risiko dalam materi ini telah melalui proses audit, verifikasi fakta, serta penyempurnaan langsung oleh praktisi IT berpengalaman guna memastikan akurasi data, kepatuhan standar industri, dan relevansi pada realita lapangan.
Intisari Artikel
- Tiga jalur ini adalah tiga cara bekerja dengan kolega yang sama: briefing tiap tugas (prompt engineering), membekali perpustakaan rujukan (RAG), atau mengirim pelatihan agar perilaku melekat (fine-tuning).
- Perbedaan intinya ada pada apa yang berubah permanen: tidak ada (prompt), pengetahuan yang bisa diperbarui (RAG), atau perilaku yang melekat (fine-tuning) — dan pada siapa yang memegang kendali atas data.
- Kasus bisnis paling umum selesai di RAG + prompt engineering; fine-tuning adalah investasi serius untuk konsistensi gaya/format pada volume tinggi — bukan titik awal.
Di artikel 3.1, fondasinya diletakkan: prompting adalah dialog dengan kolega berpikir. Di artikel 3.2, sepuluh pola briefing siap pakai sudah dibagikan. Maka pertanyaan berikutnya hampir pasti muncul: "Kalau prompt sudah bagus, masih perlukah RAG atau fine-tuning?"
Jawabannya: tergantung masalah mana yang sedang diselesaikan. Ketiganya bukan tangga yang harus dinaiki berurutan, melainkan tiga cara berbeda bekerja dengan kolega yang sama — dan memilih yang salah berarti membayar mahal untuk pekerjaan yang tidak pernah dikerjakan.
Tiga Cara Bekerja dengan Kolega yang Sama
Prompt engineering = briefing. Setiap tugas diberi pengarahan lengkap: konteks, tujuan, format, batasan. Tidak ada yang berubah permanen — sesi berikutnya mulai dari nol, sebaik briefing yang diberikan.
RAG = perpustakaan. Kolega dibekali rak dokumen internal — kontrak, SOP, katalog — yang bisa ia buka dan kutip saat menjawab. Pengetahuannya selalu sejauh isi rak: perbarui dokumennya, dan jawabannya ikut baru.
Fine-tuning = pelatihan. Kolega dikirim kursus intensif dengan contoh-contoh pekerjaan yang diinginkan, sehingga cara menjawabnya melekat — nada, struktur, format — tanpa perlu diingatkan setiap kali.
Dua-duanya menyembunyikan kebutuhan untuk "mengingat"; hanya satu yang sekaligus mengubah perilaku. Maka pertanyaan pemilihannya bukan "mana yang paling canggih", melainkan "apa yang sebenarnya perlu diubah: pengarahan, pengetahuan, atau perilaku?"
Sama di Permukaan, Berbeda di Inti
| Dimensi | Prompt Engineering | RAG | Fine-Tuning |
|---|---|---|---|
| Yang berubah permanen | Tidak ada — tiap sesi mulai dari nol | Pengetahuan yang bisa dibuka (dokumen) | Perilaku model (gaya, format) |
| Sumber "kebenaran" | Data pelatihan + prompt | Dokumen sendiri yang dikutip | Dataset contoh perilaku |
| Cara memperbarui | Ganti prompt | Ganti/perbarui dokumen | Latih ulang (retrain) |
| Struktur biaya | Token per sesi | Infrastruktur + retrieval | Dataset + compute + evaluasi |
| Usaha awal | Kecil | Sedang | Besar (dataset ≈ 80% pekerjaan) |
| Paling tepat untuk | Tugas umum, eksplorasi, analisis | Fakta internal yang harus selalu baru | Konsistensi gaya/format volume tinggi |
Tabel ini menjelaskan mengapa ketiganya sering tertukar: dari luar semuanya "membuat AI menjawab lebih baik". Dari dalam, ketiganya menyentuh lapisan yang berbeda — instruksi, pengetahuan, dan perilaku.
Deep-Dive RAG: Chunking & Tiga Tingkat Rumah
Melanjutkan analogi arsip: sebelum masuk indeks, dokumen dipecah menjadi potongan kecil — chunk. Chunking adalah cara arsip dirapikan menjadi kartu indeks berlabel, sehingga kolega mengambil tepat kartu yang dibutuhkan, bukan seluruh buku. Chunk size = ukuran kartu; overlap = sedikit isi kartu sebelumnya diulang di tepi kartu berikutnya, agar kalimat tidak terpotong di batas kartu.
Chunking: kartu indeks berlabel, bukan seluruh buku.
Chunk terlalu kecil membuat jawaban terpotong; terlalu besar membuat embedding kabur dan noise ikut terambil. Karena itu kualitas retrieval diukur, bukan ditebak — pembahasan penuh teknik chunking, evaluasi, dan tooling menjadi porsi artikel praktik RAG dalam seri ini.
Tiga tingkat rumah RAG — semakin serius kebutuhan, semakin pindah dari kotak chat ke platform atau pipeline sendiri:
Tiga tingkat rumah RAG dan siapa yang bisa memakainya.
Deep-Dive Fine-Tuning: Perilaku, Bukan Fakta
Fine-tuning adalah melanjutkan pelatihan model dasar (base model) dengan dataset milik sendiri, agar perilaku, gaya, dan format melekat — tidak perlu diingatkan setiap kali. Kasus yang tepat terlihat dari bentuk datasetnya — pasangan instruksi dan jawaban yang diinginkan:
Perhatikan apa yang diajarkan dataset ini: cara menjawab, bukan fakta baru. Ini poin yang paling sering terbalik.
Secara teknis, fine-tuning modern jarang menulis ulang seluruh model. Teknik seperti LoRA (Low-Rank Adaptation) menambahkan lapisan penyesuaian tipis di atas model dasar — ibarat menambahkan apendiks kecil, bukan menulis ulang ensiklopedia. Gambaran kasarnya: full fine-tuning model 7B membutuhkan VRAM puluhan GB; dengan LoRA, kebutuhannya turun drastis ke beberapa GB — realistis di satu GPU modern. (Gambaran kasar, bukan benchmark.)
Fine-tuning layak dipertimbangkan bila: volume tinggi, gaya/format harus konsisten, dan tugas berulang — situasi ketika mengingatkan model lewat prompt setiap kali menjadi tidak efisien. Dokumentasi fine-tuning OpenAI menempatkan persis di sini: fine-tuning adalah langkah setelah prompt engineering tidak lagi cukup memberi konsistensi. Alamkar & Grootendorst dalam Hands-On Large Language Models (2024) menambahkan satu syarat keras: kualitas dataset menentukan segalanya — dataset buruk menghasilkan perilaku buruk yang melekat.
Tapi fine-tuning juga punya batas: pengetahuan tetap terkunci pada saat pelatihan (knowledge cutoff tidak berubah), ada komitmen data dan compute, dan hasilnya perlu evaluasi berkala.
Dua Miskonsepsi yang Perlu Diluruskan
- "Fine-tuning untuk menanam pengetahuan." Salah. Dataset fine-tuning mengajarkan perilaku; pengetahuan yang bisa diperbarui adalah wilayah RAG. Menanam fakta lewat fine-tuning adalah cara termahal untuk mendapatkan informasi kedaluwarsa.
- "RAG selalu akurat." Salah. RAG memindahkan titik kegagalan dari ingatan model ke kualitas retrieval. Chunking buruk, indeks kedaluwarsa → jawaban salah yang terlihat meyakinkan.
Matriks Keputusan & Spektrum Kesulitan
| Jalur | Kesulitan | Waktu belajar | Biaya awal | Catatan |
|---|---|---|---|---|
| Prompt engineering | Sangat mudah | Jam–hari | Nyaris nol | Sudah dibahas di 3.1–3.2 |
| RAG pemula (Projects) | Mudah | Hari | Fitur platform bawaan | Upload dokumen, selesai |
| RAG menengah (Coze/Dify) | Sedang | 1–2 minggu | Langganan ringan | Butuh paham workflow & chunking |
| RAG lanjutan (pipeline custom) | Sulit | 1–3 bulan | Infrastruktur | Butuh coding + vector DB |
| Fine-tuning hosted | Sedang | ±1 minggu | Dataset + biaya per token | Dataset = 80% pekerjaan |
| Fine-tuning lokal (LoRA) | Sulit | 1–3 bulan | GPU + waktu | Butuh Python, GPU, evaluasi |
Empat poin penting sebelum memilih:
- Mulai dari RAG pemula (Projects) — pintu masuk paling ramah. Upload dokumen, ajukan pertanyaan, lihat hasilnya. Bila sudah puas dan butuh lebih, baru naik tingkat.
- Fine-tuning bukan untuk pemula — dan ini bukan kelemahan. Fine-tuning adalah investasi serius yang butuh dataset berkualitas, compute, dan evaluasi. Kebanyakan kasus bisnis tidak butuh fine-tuning; RAG + prompt engineering sudah cukup.
- Kotak chat = titik awal yang sah. Tidak perlu malu memulai dari sana. Banyak produk enterprise bermula dari eksperimen di kotak chat.
- Titik perpindahan ke infrastruktur biasanya terjadi ketika: volume pertanyaan naik (ribuan per hari), data terlalu sensitif untuk dikirim ke penyedia publik, butuh integrasi ke sistem internal (CRM/ERP), atau butuh kontrol penuh atas model.
Di Mana Data Sebenarnya Berada?
Satu pertanyaan jarang diajukan saat memilih jalur: di mana data diproses, dan siapa memegang kendali? Spektrumnya lima tingkat:
| Level | Di mana data diproses | Kendali | Layak untuk |
|---|---|---|---|
| 1. AI publik konsumer | Server penyedia (ToS konsumer) | Penyedia | Eksplorasi, data non-sensitif |
| 2. AI publik via API/enterprise | Server penyedia (kontrak no-training) | Bersama | Data bisnis, setelah review kebijakan |
| 3. RAG hybrid | Chunk terkirim setiap query | Terbagi — sering tak disadari | Data sensitivitas rendah/anonim |
| 4. RAG self-hosted penuh | Server sendiri (VPS/private cloud) | Penuh | Data sensitif, dengan pengamanan benar |
| 5. On-prem/colo dengan GPU sendiri | Hardware sendiri | Penuh, termasuk fisik | Data teregulasi, kedaulatan penuh |
Spektrum ini meluruskan satu paradoks yang sering beredar: imbauan "jangan tempel dokumen sensitif ke AI publik" berlaku untuk Level 1–3. Level 4–5 justru ada untuk data sensitif tersebut. Self-hosting tidak otomatis aman — ia memindahkan kemudi ke tangan sendiri, termasuk kewajiban mengamankannya.
Di Indonesia, diskusi ini makin relevan sejak UU PDP (UU 27/2022): pengendali data pribadi wajib memastikan pengamanan yang memadai — termasuk saat memprosesnya dengan AI. (Bukan nasihat hukum — sekadar konteks yang layak diketahui.) Dan bila kendali penuh terdengar berat karena tidak ada tim yang mengamankan, add-on qManaged adalah jembatan yang wajar: monitoring 24/7, patching, backup terverifikasi. Fondasi servernya tersedia lewat qVM, dan bila kelak butuh GPU sendiri, qMetal adalah jalur eskalasinya.
Risiko Salah Pilih
Memilih jalur yang salah jarang berujung bencana — yang lebih sering terjadi adalah pemborosan yang tenang:
- Fine-tuning untuk fakta = cara termahal mendapatkan informasi kedaluwarsa; setiap pembaruan berarti retrain.
- RAG dengan retrieval buruk = jawaban salah yang terlihat meyakinkan; karena ada sitasi, ia bahkan terlihat lebih meyakinkan daripada halusinasi polos.
- Over-invest di fine-tuning saat RAG + prompt engineering sudah cukup = membayar komitmen data dan compute untuk masalah yang sudah selesai.
Aturan praktisnya: 90% kasus bisnis selesai di RAG + briefing yang baik. Fine-tuning disimpan untuk satu situasi spesifik — ketika gaya dan format harus konsisten pada volume yang membuat briefing berulang tidak efisien. Dan sisi gelap yang mengikuti seluruh seri ini — halusinasi, overconfidence, prompt injection — dibedah tuntas di artikel berikutnya.
Glosarium
| Istilah | Bahasa awam | Konteks utama |
|---|---|---|
| RAG (Retrieval-Augmented Generation) | Kolega dengan perpustakaan rujukan | Model mengambil dokumen relevan sebelum menjawab |
| Retrieval | Proses mengambil kartu indeks | Mencari chunk yang relevan dengan pertanyaan |
| Embedding | "Sidik jari makna" teks | Representasi numerik untuk mencocokkan makna |
| Vector DB | Lemari kartu indeks digital | Menyimpan embedding agar cepat dicari |
| Chunking | Merapikan arsip jadi kartu indeks | 200–500 token, overlap 10–20%, satu ide per chunk |
| Overlap | Tepi kartu yang saling tumpang | Agar kalimat tidak terpotong di batas chunk |
| Fine-tuning | Mengirim kolega pelatihan | Melanjutkan pelatihan dengan dataset sendiri |
| LoRA (Low-Rank Adaptation) | Apendiks kecil, bukan ensiklopedia baru | Fine-tuning ringan via lapisan tipis |
| Base model | Kolega sebelum pelatihan khusus | Model dasar yang menjadi titik awal fine-tuning |
| Knowledge cutoff | Tanggal terakhir kolega belajar | Batas pengetahuan yang tidak berubah lewat fine-tuning |
| Dataset instruksi–output | Buku latihan berisi contoh pekerjaan | Bahan fine-tuning yang mengajarkan perilaku |
| Context window | Kapasitas "meja kerja" model | Menentukan berapa banyak dokumen masuk |
FAQ
Mana yang harus dipelajari lebih dulu?
Prompt engineering, lalu RAG tingkat pemula. Keduanya ramah biaya dan waktu, dan hasilnya langsung terlihat. Fine-tuning adalah langkah lanjutan setelah dua hal ini matang.
Apakah fine-tuning mahal?
Biaya terbesarnya bukan compute, melainkan dataset: mengumpulkan, membersihkan, dan memberi label contoh berkualitas — sering disebut 80% dari pekerjaan. LoRA menurunkan biaya compute secara drastis, tetapi tidak menurunkan biaya dataset.
Bisakah ketiganya dipakai bersamaan?
Bisa, dan justru umum di produksi: prompt untuk pengarahan, RAG untuk fakta internal yang selalu baru, fine-tuning untuk konsistensi gaya/format. Ketiganya menyentuh lapisan berbeda — instruksi, pengetahuan, perilaku.
Apakah data aman di AI publik?
Untuk Level 1–3 pada spektrum data, anggapan aman sering tidak disadari keliru. Data sensitif layak berada di Level 4–5 dengan pengamanan yang benar — atau dianonimkan terlebih dahulu.
Langkah Evaluasi Awal
- Tulis satu kalimat masalah: "yang perlu diubah adalah pengarahan / pengetahuan / perilaku" — jawaban itu menunjuk jalurnya.
- Uji RAG pemula seminggu: upload 3–5 dokumen kunci ke fitur Projects, ajukan pertanyaan nyata, nilai jawabannya.
- Petakan posisi data: tentukan level 1–5 untuk data yang akan dipakai — sebelum memilih jalur apa pun.
Pertanyaan Reflektif untuk Evaluasi Internal
Untuk Tim Bisnis/Manajemen:
Bila anggaran AI tahun ini hanya boleh satu pos, masalah mana yang paling mahal bila dibiarkan: pengarahan yang buruk, pengetahuan yang kedaluwarsa, atau perilaku yang tidak konsisten?
Untuk Tim IT/Engineering:
Apakah posisi data organisasi sudah dipetakan pada spektrum lima level — dan adakah jalur yang kendalinya "terbagi" tanpa pernah disadari?
Daftar Pustaka
- Lewis, P., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS 2020. · arxiv.org
- Alamkar, C., & Grootendorst, M. (2024). Hands-On Large Language Models. O'Reilly.
- OpenAI. (2024). Fine-Tuning Documentation. · platform.openai.com
- Mollick, E. (2024). Co-Intelligence: Living and Working with AI. Penguin Press.
- Republik Indonesia (2022). Undang-Undang Nomor 27 Tahun 2022 tentang Perlindungan Data Pribadi. · peraturan.bpk.go.id