Dalam ekosistem aplikasi e-commerce B2B, portal manajemen dokumen legal, dan aplikasi katalog industri, fitur pencarian internal (search engine) adalah gerbang utama yang menentukan apakah pengguna dapat menemukan produk yang mereka butuhkan.
Beberapa tahun terakhir, kehadiran model embedding kecerdasan buatan (vector search) digadang-gadang akan menggantikan mesin pencari kata kunci tradisional. Banyak tim teknologi bergegas membuang mesin pencari leksikal dan menggantinya sepenuhnya dengan database vektor murni seperti Qdrant, Pinecone, atau Milvus.
Namun, di lingkungan produksi nyata, pencarian vektor murni sering kali mendatangkan keluhan baru dari pengguna bisnis: sistem pintar memahami konsep abstrak, tetapi gagal total ketika seorang manajer pengadaan mencari nomor suku cadang yang presisi (seperti "BEARING-SKF-6204-2RS"), nomor faktur, atau singkatan regulasi industri. Sebaliknya, mesin pencari leksikal berbasis kata kunci (seperti Meilisearch atau Elasticsearch) sangat presisi pada pencarian kata kunci persis, tetapi buta terhadap sinonim dan maksud semantik alami manusia.
Solusi industri terunggul saat ini adalah menggabungkan keduanya ke dalam arsitektur Hybrid Search, yang memadukan pencarian leksikal (BM25) dan pencarian vektor dense melalui algoritma Reciprocal Rank Fusion (RRF).
Arsitektur Pipeline Hybrid Search (Lexical + Vector):
Query Pengguna: "pelumas anti karat untuk mesin industri"
│
┌─────────────────────┴─────────────────────┐
│ │
▼ Panggilan Paralel ▼ Panggilan Paralel
┌───────────────────────────┐ ┌───────────────────────────┐
│ Mesin Leksikal BM25 │ │ Mesin Vektor Semantik │
│ (Meilisearch) │ │ (Qdrant / Embedding Model)│
│ - Pencocokan Kata Persis │ │ - Menangkap Maksud & Makna│
│ - Toleransi Typo & SKU │ │ - Pencarian Jarak Kosinus │
└───────────────────────────┘ └───────────────────────────┘
│ │
│ Daftar Peringkat Dokumen │ Daftar Peringkat Dokumen
└─────────────────────┬─────────────────────┘
│
▼
┌───────────────────────────────────────────┐
│ Lapisan Penggabungan RRF (Re-ranking) │
│ Mengombinasikan Peringkat Tanpa Masalah │
│ Normalisasi Skor yang Berbeda │
└───────────────────────────────────────────┘
│
▼
Daftar Hasil Pencarian Paling Relevan
Memahami Kebutuhan Dua Dunia yang Berbeda #
1. Keunggulan Mesin Pencari Leksikal (BM25 / Meilisearch) #
Pencarian leksikal mengandalkan algoritma BM25 (Best Matching 25), yang menghitung frekuensi kemunculan kata di dalam dokumen (Term Frequency) dan menimbangnya dengan seberapa langka kata tersebut di seluruh koleksi dokumen (Inverse Document Frequency).
- Sangat Unggul Untuk: Pencarian SKU produk ("X-200-PRO"), nama merk dagang ("Schneider"), nomor SNI, nama orang, dan pencarian frasa dengan tanda kutip persis.
- Kelemahan: Jika pengguna mencari "laptop tipis untuk bepergian", mesin BM25 tidak akan menampilkan produk yang dideskripsikan sebagai "ultrabook ringkas untuk eksekutif", karena kata yang digunakan berbeda sama sekali.
2. Keunggulan Mesin Pencari Vektor (Dense Vector / Qdrant) #
Pencarian vektor mengubah teks pertanyaan menjadi larik angka matematis (vector embedding) di ruang berdimensi tinggi (misalnya 1536 dimensi). Mesin pencari menghitung kedekatan sudut atau jarak kosinus antara vektor pertanyaan dan vektor dokumen.
- Sangat Unggul Untuk: Memahami sinonim ("mobil" dan "kendaraan roda empat"), mengatasi deskripsi ambigu, dan merespons pertanyaan bahasa alami.
- Kelemahan: Mengabaikan karakter alfanumerik spesifik. Vektor untuk "SKU-1001" dan "SKU-1002" bisa memiliki nilai kemiripan kosinus 0.999 karena dianggap berada dalam kategori yang sama, sehingga salah menyajikan produk pengganti.
Menggabungkan Hasil Menggunakan Reciprocal Rank Fusion (RRF) #
Tantangan terbesar dalam menggabungkan hasil pencarian adalah skor yang tidak sebanding:
- Skor BM25 tidak memiliki batas atas (bisa berkisar dari 0 hingga 45.8).
- Skor kemiripan kosinus vektor berada dalam rentang -1.0 hingga +1.0.
Jika kedua angka ini dijumlahkan begitu saja, salah satu mesin akan mendominasi hasil akhir secara sepihak.
Algoritma Reciprocal Rank Fusion (RRF) memecahkan masalah ini dengan mengabaikan nilai skor mentah dan hanya berfokus pada posisi urutan peringkat (rank) dari masing-masing daftar hasil:
Rumus RRF:
$$RRF(d) = \sum_{m \in M} \frac{1}{k + r_m(d)}$$
Di mana:
- $M$: Kumpulan mesin pencari yang digunakan (Leksikal dan Vektor).
- $r_m(d)$: Posisi peringkat dokumen $d$ pada mesin pencari $m$ (peringkat 1, 2, 3, ...).
- $k$: Konstanta peredam untuk mencegah dokumen peringkat 1 mendominasi terlalu ekstrem (standar industri: $k = 60$).
Dokumen yang muncul di posisi tinggi pada kedua mesin pencari akan mendapatkan nilai akumulasi tertinggi dan otomatis melompat ke urutan teratas.
Implementasi TypeScript: Orkestrasi Paralel dan RRF Re-Ranking #
Berikut adalah kode orkestrasi pencarian hibrida yang memanggil Meilisearch dan Qdrant secara paralel lalu menyatukan hasilnya menggunakan RRF:
import { MeiliSearch } from 'meilisearch';
import { QdrantClient } from '@qdrant/js-client-rest';
const meili = new MeiliSearch({ host: 'http://meilisearch.internal:7700', apiKey: 'master_key' });
const qdrant = new QdrantClient({ url: 'http://qdrant.internal:6333' });
interface SearchResultItem {
id: string;
title: string;
sku: string;
score: number;
}
export async function hybridSearch(queryText: string, limit = 10): Promise<SearchResultItem[]> {
// 1. Eksekusi Paralel untuk Meminimalkan Latensi
const [lexicalResults, vectorResults] = await Promise.all([
// Pencarian Leksikal Meilisearch (BM25)
meili.index('katalog_produk').search(queryText, { limit: 25 }),
// Pencarian Vektor Qdrant (Membuat embedding terlebih dahulu)
(async () => {
const queryEmbedding = await generateVectorEmbedding(queryText);
return await qdrant.search('katalog_produk_vectors', {
vector: queryEmbedding,
limit: 25,
});
})(),
]);
// 2. Kalkulasi Reciprocal Rank Fusion (RRF) dengan k = 60
const k = 60;
const scoreMap = new Map<string, { item: any; rrfScore: number }>();
// Hitung kontribusi peringkat dari Meilisearch
lexicalResults.hits.forEach((hit: any, index: number) => {
const rank = index + 1;
const current = scoreMap.get(hit.id) || { item: hit, rrfScore: 0 };
current.rrfScore += 1 / (k + rank);
scoreMap.set(hit.id, current);
});
// Hitung kontribusi peringkat dari Qdrant
vectorResults.forEach((point: any, index: number) => {
const rank = index + 1;
const docId = point.id.toString();
const current = scoreMap.get(docId) || { item: point.payload, rrfScore: 0 };
current.rrfScore += 1 / (k + rank);
scoreMap.set(docId, current);
});
// 3. Urutkan berdasarkan Skor RRF Tertinggi
const sortedResults = Array.from(scoreMap.values())
.sort((a, b) => b.rrfScore - a.rrfScore)
.slice(0, limit)
.map(({ item, rrfScore }) => ({
id: item.id,
title: item.title,
sku: item.sku,
score: Math.round(rrfScore * 10000) / 10000,
}));
return sortedResults;
}
async function generateVectorEmbedding(text: string): Promise<number[]> {
// Panggilan ke model embedding lokal (misal: BGE-M3 atau Ollama)
return new Array(1536).fill(0.01);
}
Arsitektur Hybrid Search memberikan hasil pencarian yang komprehensif: jika pengguna mengetik SKU persis, sistem langsung menyajikannya tanpa kompromi, dan jika pengguna mengetik kebutuhan solusi dalam kalimat sehari-hari, sistem tetap cerdas memahami konteks semantik yang dimaksud.
