Event-Driven Architecture with Apache Kafka: Microservices Communication Patterns

Pola Komunikasi Asinkron Microservices dengan Apache Kafka

Pada sistem monolitik, interaksi antar komponen terjadi lewat pemanggilan fungsi dalam memori. Namun di microservices, ketergantungan pada HTTP REST sinkron dapat memicu cascading failure: jika satu layanan melambat, seluruh layanan pendukung ikut macet.

Apache Kafka hadir sebagai log terdistribusi yang memisahkan produsen data dari konsumen data (loose coupling), menyediakan skalabilitas throughput hingga jutaan pesan per detik.

1. Mencegah Kehilangan Data dengan Idempotent Producer

import { Kafka } from 'kafkajs';

const kafka = new Kafka({
  clientId: 'order-service',
  brokers: ['kafka-broker-1:9092', 'kafka-broker-2:9092']
});

const producer = kafka.producer({
  idempotent: true, // Mencegah pesan duplikat saat network retry
  maxInFlightRequests: 1
});

2. Mengatasi Tantangan Dual Write dengan Outbox Pattern

Jangan pernah mengupdate database dan mengirim event ke Kafka dalam dua operasi terpisah tanpa transaksi, karena jika server mati di antara kedua operasi tersebut, data akan korup. Gunakan Transactional Outbox Pattern: simpan event ke tabel outbox di database yang sama dengan data bisnis Anda, lalu biarkan worker CDC (seperti Debezium) membaca dan meneruskannya ke Kafka secara konsisten.