Inference LLM untuk Bisnis: Cara Kerja dan Cara Menghitung Biaya Token

Saat perusahaan mulai memakai AI agent, pertanyaan pertama dari tim keuangan biasanya sama: berapa biayanya per bulan?

Jawabannya hampir selalu bergantung pada satu hal: inference. Setiap kali agent membaca, menalar, atau menulis, model bahasa menjalankan inference, dan setiap inference menghabiskan token serta kapasitas komputasi.

Artikel ini menjelaskan apa itu LLM inference, bagaimana token dihitung, cara memperkirakan biaya, dan pilihan hosting yang perlu dipertimbangkan.

Inference adalah apa?

Inference adalah proses ketika model AI yang sudah dilatih dipakai untuk menghasilkan output dari input baru. Pada LLM, inputnya berupa prompt dan outputnya berupa teks, keputusan, atau perintah untuk memanggil tool.

Ini berbeda dengan training. Training adalah proses membangun model dari data dalam jumlah sangat besar, biasanya dilakukan sekali oleh pembuat model. Inference terjadi setiap kali model dipakai, ribuan hingga jutaan kali per bulan.

Bagi perusahaan pengguna AI, biaya training jarang relevan. Yang menentukan anggaran operasional adalah biaya inference.

Cara kerja LLM inference, secara sederhana

Satu permintaan ke LLM melewati empat tahap:

  1. Tokenisasi. Teks dipecah menjadi potongan kecil yang disebut token. Satu token bisa berupa satu kata, sebagian kata, atau tanda baca.
  2. Membaca input. Model memproses seluruh token input sekaligus: instruksi sistem, riwayat percakapan, dokumen pendukung, dan pertanyaan pengguna.
  3. Menghasilkan output. Model menulis jawaban satu token demi satu token. Tahap ini biasanya yang paling menentukan latensi.
  4. Mengembalikan hasil. Token output disusun kembali menjadi teks atau perintah.

Dua angka yang perlu diingat dari proses ini: jumlah token input dan jumlah token output. Keduanya menjadi dasar perhitungan biaya.

Apa itu token, dan mengapa jumlahnya cepat membengkak?

Token adalah satuan teks yang dibaca dan ditulis model. Jumlah token per kata berbeda untuk setiap model dan bahasa. Teks bahasa Indonesia pada banyak model cenderung membutuhkan lebih banyak token dibanding teks bahasa Inggris dengan makna serupa.

Pada AI agent, jumlah token membengkak karena tiga hal:

  • Konteks yang dikirim ulang. Setiap langkah agent biasanya membawa instruksi, riwayat, dan hasil langkah sebelumnya.
  • Dokumen pendukung. Agent yang menjawab berdasarkan dokumen internal menyisipkan potongan dokumen ke dalam prompt.
  • Banyak panggilan per tugas. Satu tugas agent bisa terdiri dari beberapa kali panggilan ke model: merencanakan, memanggil tool, memeriksa hasil, lalu menulis jawaban.

Inilah sebabnya biaya chatbot sederhana sering tidak bisa dipakai untuk memperkirakan biaya agent.

Contoh perhitungan (ilustrasi)

Angka di bawah ini hanya ilustrasi untuk menunjukkan cara hitung, bukan tarif model tertentu.

Sebuah agent pembuat laporan menjalankan 6 panggilan model per tugas. Rata-rata setiap panggilan memakai 3.000 token input dan 500 token output. Tarif ilustratif: Rp15.000 per 1 juta token input dan Rp60.000 per 1 juta token output.

Komponen Perhitungan Hasil
Token input per tugas 6 × 3.000 18.000 token
Token output per tugas 6 × 500 3.000 token
Biaya input 18.000 ÷ 1.000.000 × Rp15.000 Rp270
Biaya output 3.000 ÷ 1.000.000 × Rp60.000 Rp180
Biaya per tugas   Rp450
Biaya bulanan (2.000 tugas) Rp450 × 2.000 Rp900.000

Sekarang bayangkan agent tersebut sering gagal di tengah jalan dan mengulang tiga kali. Biayanya ikut naik tiga kali lipat, tanpa ada yang menyadarinya sampai tagihan datang.

Model routing: cara paling efektif menekan biaya

Tidak semua langkah butuh model terbesar. Mengklasifikasikan permintaan atau mengekstrak data sederhana bisa dikerjakan model kecil. Model besar cukup dipakai untuk penalaran yang kompleks.

Pada contoh di atas, misalkan 4 dari 6 panggilan dialihkan ke model kecil dengan tarif seperlima model besar:

Skenario Biaya per tugas (ilustrasi)
Semua panggilan ke model besar Rp450
4 panggilan ke model kecil, 2 ke model besar Rp210

Biaya per tugas turun lebih dari separuh, tanpa mengorbankan kualitas di langkah yang membutuhkan penalaran.

Langkah optimasi lain yang umum dipakai:

  • Batas token per tugas. Hentikan tugas yang melewati batas wajar dan eskalasikan ke manusia.
  • Prompt yang ringkas. Kirim hanya konteks yang relevan, bukan seluruh riwayat.
  • Caching. Simpan hasil untuk pertanyaan yang berulang.
  • Cap biaya per tugas. Tetapkan anggaran maksimal per transaksi dan pantau pelanggarannya.

Risiko konsumsi sumber daya tanpa batas ini juga diakui komunitas keamanan. OWASP Top 10 untuk aplikasi LLM 2025 memasukkan unbounded consumption, yaitu biaya atau kapasitas yang habis karena penyalahgunaan atau tidak adanya batas, sebagai salah satu risiko utama (sumber).

Pilihan hosting LLM untuk perusahaan

Ada tiga pendekatan umum untuk menjalankan inference:

Pendekatan Cara bayar Kelebihan Pertimbangan
API model publik Per token Cepat dimulai, tanpa infrastruktur Data keluar dari lingkungan perusahaan; biaya naik seiring volume
Self-hosted di GPU sendiri Investasi GPU dan operasional Data dan model di lingkungan sendiri; biaya per token turun saat utilisasi tinggi Butuh investasi awal dan keahlian operasional
Hybrid dengan inference as a service Per pemakaian kapasitas Infrastruktur dan data tetap di lingkungan perusahaan, GPU disediakan pihak ketiga Perlu jalur migrasi jika kelak ingin full self-hosted

Pada model self-hosted, biaya per token tidak lagi tertera di tagihan. Rumusnya berubah menjadi total biaya infrastruktur dibagi jumlah token yang diproses. Artinya, utilisasi GPU menjadi faktor penentu. GPU mahal yang jarang terpakai menghasilkan biaya per token yang tinggi.

Biaya token perlu dikelola, bukan hanya dihitung

Perhitungan di atas berguna untuk perencanaan. Masalahnya, biaya di produksi jarang sesuai rencana. Agent mengulang karena gagal, prompt makin panjang, atau satu divisi tiba-tiba memakai agent sepuluh kali lebih sering. Tanpa pemantauan, semua itu baru terlihat saat tagihan datang.

Karena itu, pengendalian biaya menjadi salah satu fokus utama Agent Workforce Management (AWM) dari Elitery. Dalam AWM, Elitery:

  • Memantau token dan biaya per agent dan per model, termasuk lonjakan pemakaian yang tidak wajar.
  • Mengevaluasi biaya bersama akurasi, sehingga penghematan tidak dibayar dengan jawaban yang lebih buruk.
  • Mengoptimalkan prompt, pilihan model, dan workflow, misalnya dengan model routing seperti contoh di atas.
  • Menerapkan setiap perubahan setelah Anda setujui, sehingga kendali tetap di tangan tim Anda.

AWM berlaku untuk agent yang sudah berjalan maupun agent baru yang dibangun bersama Elitery, apa pun framework-nya: chatbot, n8n, Python, atau LangGraph.

Kesimpulan

Biaya AI agent ditentukan oleh inference: berapa token yang dibaca dan ditulis, berapa kali model dipanggil, dan di mana model dijalankan. Hitung biaya per tugas sejak awal, gunakan model routing, tetapkan batas, lalu pastikan ada yang memantau pemakaian per agent setiap hari.

Ingin tahu agent mana yang paling boros di perusahaan Anda? Isi formulir kontak di halaman Agent Workforce Management untuk menjadwalkan sesi assessment AI agent bersama tim Elitery.

FAQ

Apa beda inference dan training? Training membangun model dari data. Inference memakai model yang sudah jadi untuk menghasilkan output.

Kenapa token output biasanya lebih mahal? Model menulis output satu token demi satu token, sehingga butuh lebih banyak komputasi per token dibanding membaca input.

Apakah self-hosted selalu lebih murah? Tidak selalu. Self-hosted lebih hemat saat volume tinggi dan GPU terpakai optimal. Pada volume rendah, biaya per token bisa lebih tinggi.

Bagaimana cara memantau biaya token per agent? Catat jumlah token dan biaya di setiap panggilan model, lalu kelompokkan per agent, per model, dan per tugas.

Scroll to Top