Pada sistem finansial B2B, volume transaksi harian menuntut throughput tinggi dengan jaminan latensi konsisten pada persentil ke-99 (p99). Keterlambatan beberapa puluh milidetik pada saat eksekusi kliring atau pencatatan ledger dapat mengakibatkan selisih saldo sementara, timeout pada gateway perbankan, dan antrean transaksi yang menumpuk.
Selama lebih dari satu dekade, Apache Kafka menjadi standar de facto untuk event streaming terdistribusi. Namun, arsitektur berbasis Java Virtual Machine (JVM) kerap menghadapi tantangan latensi tidak terduga akibat siklus Garbage Collection (GC). Di sisi lain, Redpanda hadir sebagai implementasi kompatibel Kafka API yang ditulis ulang sepenuhnya menggunakan C++ modern dengan framework asinkron Seastar.
Perbedaan Fondasi Arsitektur: JVM vs Thread-Per-Core #
Perbedaan paling mendasar antara Apache Kafka dan Redpanda terletak pada cara keduanya memanfaatkan sumber daya CPU dan memori server.
Apache Kafka (Arsitektur JVM Tradisional):
┌────────────────────────────────────────────────────────┐
│ Threads dikelola oleh OS & JVM (Context Switching) │
├────────────────────────────────────────────────────────┤
│ Page Cache OS ◄───► Heap Memory JVM (GC Pauses) │
└────────────────────────────────────────────────────────┘
Redpanda (Arsitektur C++ Seastar Thread-Per-Core):
┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐
│ Core 0 │ │ Core 1 │ │ Core 2 │ │ Core 3 │
│ Thread 0 │ │ Thread 1 │ │ Thread 2 │ │ Thread 3 │
│ Mem Pinned│ │ Mem Pinned│ │ Mem Pinned│ │ Mem Pinned│
└──────────┘ └──────────┘ └──────────┘ └──────────┘
(Direct I/O via io_uring, Tanpa Page Cache OS & Tanpa GC)
Apache Kafka mengandalkan page cache sistem operasi Linux untuk menyimpan pesan yang baru ditulis sebelum dialirkan ke disk. Data berpindah dari memori heap JVM ke kernel buffer cache, lalu ditulis ke storage melalui syscall sendfile. Model ini sangat efisien untuk throughput batch besar, namun memiliki kelemahan: thread worker dapat terhenti ketika JVM melakukan pembersihan memori (Stop-The-World GC), memicu lonjakan latensi p99.
Redpanda menggunakan model thread-per-core melalui framework Seastar. Setiap core prosesor dialokasikan satu thread khusus yang dipasangi (pinned) partisi memori sendiri. Komunikasi antar-core dilakukan melalui antrean lockless ring buffer. Redpanda tidak menggunakan page cache sistem operasi, melainkan menulis langsung ke media penyimpanan NVMe via Linux io_uring (Direct I/O). Hasilnya, tidak ada context switching antar-thread OS dan tidak ada siklus Garbage Collection yang menginterupsi pemrosesan pesan.
Manajemen Konsensus: KRaft vs Native Raft #
Dalam sistem finansial, konsensus antar-node menjamin bahwa setiap log transaksi tersimpan secara permanen pada mayoritas replika sebelum acknowledged ke klien.
Apache Kafka (KRaft Metadata Mode):
Sejak Kafka 3.x, ketergantungan pada Apache ZooKeeper digantikan oleh KRaft (Kafka Raft Metadata Mode). Node controller mengelola metadata kluster dalam satu partisi Raft internal terpisah, sementara partisi data tetap menggunakan protokol replikasi ISR (In-Sync Replicas).Redpanda (Native Raft Per Partition):
Redpanda mengimplementasikan protokol konsensus Raft langsung pada setiap partisi topik. Setiap partisi adalah satu grup Raft independen. Ketika node leader pada partisi tertentu mengalami kegagalan hardware, pemilihan leader baru diselesaikan dalam hitungan puluhan milidetik tanpa intervensi koordinator eksternal.
Penerapan Idempotent Producer untuk Jaminan Tepat Sekali #
Sistem perbankan dan settlement B2B tidak mentoleransi adanya duplikasi pesan (duplicate processing) akibat retry jaringan. Kedua platform mendukung protokol idempotent producer yang menjamin transaksi hanya ditulis satu kali ke log.
Berikut adalah implementasi producer TypeScript menggunakan library kafkajs yang dapat terhubung secara transparan ke Apache Kafka maupun Redpanda:
import { Kafka, Partitioners, CompressionTypes } from 'kafkajs';
const kafka = new Kafka({
clientId: 'b2b-settlement-service',
brokers: ['redpanda-node-1.internal:9092', 'redpanda-node-2.internal:9092'],
ssl: true,
connectionTimeout: 5000,
requestTimeout: 30000,
});
const producer = kafka.producer({
createPartitioner: Partitioners.DefaultPartitioner,
idempotent: true,
maxInFlightRequests: 1,
transactionalId: 'tx-settlement-ledger-01',
});
interface SettlementPayload {
transactionId: string;
sourceAccount: string;
targetAccount: string;
amount: number;
currency: string;
timestamp: string;
}
export async function publishSettlementEvent(event: SettlementPayload): Promise<void> {
const transaction = await producer.transaction();
try {
await transaction.send({
topic: 'core.financial.settlement.v1',
compression: CompressionTypes.ZSTD,
acks: -1, // acks=all: semua in-sync replicas wajib commit
messages: [
{
key: event.transactionId,
value: JSON.stringify(event),
headers: {
'x-idempotency-key': event.transactionId,
'x-origin-service': 'settlement-engine',
'x-audit-checksum': Buffer.from(event.transactionId + event.amount).toString('base64'),
},
},
],
});
await transaction.commit();
} catch (error) {
await transaction.abort();
throw new Error(`Gagal mempublikasikan transaksi ${event.transactionId}: ${(error as Error).message}`);
}
}
Dalam kode di atas:
idempotent: truemenugaskan Sequence Number dan Producer ID (PID) pada setiap batch, sehingga broker otomatis menolak jika batch yang sama dikirim ulang.acks: -1(ekuivalen denganacks=all) mewajibkan semua replika yang aktif mengonfirmasi penyimpanan data sebelum producer menerima status sukses.- Kompresi ZSTD dipilih karena memberikan rasio kompresi tinggi dengan overhead CPU minimal pada format data JSON finansial.
Perbandingan Metrik Kinerja dan Kebutuhan Operasional #
Tabel berikut merangkum karakteristik teknis kedua platform pada beban kerja transaksi finansial:
| Parameter Arsitektur | Apache Kafka 3.x (KRaft) | Redpanda Enterprise |
|---|---|---|
| Bahasa & Runtime | Java / JVM (JDK 21 LTS) | C++20 (Framework Seastar) |
| Konsumsi Memori Minimum | 4 GB - 8 GB per broker | 1 GB - 2 GB per broker |
| Latensi Ekstrem (p99 / p99.9) | 15 - 80 ms (berfluktuasi karena GC) | 1.5 - 5 ms (konsisten dan stabil) |
| Jalur I/O Storage | Linux Page Cache + sendfile |
Direct I/O (io_uring) |
| Ketergantungan Eksternal | Tidak ada (mode KRaft) | Tidak ada (native Raft per partisi) |
| Kompatibilitas Klien | Protokol Kafka asli | 100% kompatibel dengan Kafka API |
| Tiered Storage (S3 / GCS) | Didukung (fitur Kafka 3.6+) | Didukung secara terintegrasi (shadow indexing) |
Pertimbangan Implementasi di Lapangan #
Memilih antara Apache Kafka dan Redpanda untuk infrastruktur finansial bermuara pada kesiapan tim dan skala operasional:
- Pilih Redpanda apabila prioritas utama adalah latensi p99 rendah tanpa fluktuasi, efisiensi resource server (CPU dan RAM lebih kecil untuk throughput setara), dan kemudahan operasional tanpa kebutuhan tuning JVM heap (G1GC atau ZGC).
- Pertahankan Apache Kafka jika organisasi telah memiliki ekosistem matang di sekitarnya, seperti konektor Kafka Connect kustom yang terikat dengan arsitektur internal, operator Kubernetes proprietary yang sudah teruji, atau regulasi internal yang mewajibkan perangkat lunak open source berbasis lisensi Apache 2.0 murni.
Kedua teknologi ini mampu menjalankan transaksi finansial dengan ketahanan tinggi selama dirancang dengan idempotensi ketat, audit trail terenkripsi, dan kuorum replika terdistribusi.
