Arsitektur Search Engine Internal: Implementasi Hybrid Search (Vektor + BM25) Meilisearch & Qdrant

Menghadirkan pencarian katalog B2B cerdas dan presisi: kelemahan pencarian vektor murni pada SKU produk, presisi leksikal BM25 Meilisearch, orkestrasi paralel, dan rekonsiliasi peringkat Reciprocal Rank Fusion (RRF).

PuluhLabs Engineering Team, Staff Search Platform Engineer · 16 November 2026 · 6 min baca

Arsitektur Search Engine Internal: Implementasi Hybrid Search (Vektor + BM25) Meilisearch & Qdrant
Pengembangan Web
DECOUPLED

Isi artikel ini

  • Memahami Kebutuhan Dua Dunia yang Berbeda
  • Menggabungkan Hasil Menggunakan Reciprocal Rank Fusion (RRF)
  • Implementasi TypeScript: Orkestrasi Paralel dan RRF Re-Ranking

Dalam ekosistem aplikasi e-commerce B2B, portal manajemen dokumen legal, dan aplikasi katalog industri, fitur pencarian internal (search engine) adalah gerbang utama yang menentukan apakah pengguna dapat menemukan produk yang mereka butuhkan.

Beberapa tahun terakhir, kehadiran model embedding kecerdasan buatan (vector search) digadang-gadang akan menggantikan mesin pencari kata kunci tradisional. Banyak tim teknologi bergegas membuang mesin pencari leksikal dan menggantinya sepenuhnya dengan database vektor murni seperti Qdrant, Pinecone, atau Milvus.

Namun, di lingkungan produksi nyata, pencarian vektor murni sering kali mendatangkan keluhan baru dari pengguna bisnis: sistem pintar memahami konsep abstrak, tetapi gagal total ketika seorang manajer pengadaan mencari nomor suku cadang yang presisi (seperti "BEARING-SKF-6204-2RS"), nomor faktur, atau singkatan regulasi industri. Sebaliknya, mesin pencari leksikal berbasis kata kunci (seperti Meilisearch atau Elasticsearch) sangat presisi pada pencarian kata kunci persis, tetapi buta terhadap sinonim dan maksud semantik alami manusia.

Solusi industri terunggul saat ini adalah menggabungkan keduanya ke dalam arsitektur Hybrid Search, yang memadukan pencarian leksikal (BM25) dan pencarian vektor dense melalui algoritma Reciprocal Rank Fusion (RRF).

text
Arsitektur Pipeline Hybrid Search (Lexical + Vector):

                    Query Pengguna: "pelumas anti karat untuk mesin industri"
                                       │
                 ┌─────────────────────┴─────────────────────┐
                 │                                           │
                 ▼ Panggilan Paralel                         ▼ Panggilan Paralel
   ┌───────────────────────────┐               ┌───────────────────────────┐
   │ Mesin Leksikal BM25       │               │ Mesin Vektor Semantik     │
   │ (Meilisearch)             │               │ (Qdrant / Embedding Model)│
   │ - Pencocokan Kata Persis  │               │ - Menangkap Maksud & Makna│
   │ - Toleransi Typo & SKU    │               │ - Pencarian Jarak Kosinus │
   └───────────────────────────┘               └───────────────────────────┘
                 │                                           │
                 │ Daftar Peringkat Dokumen                  │ Daftar Peringkat Dokumen
                 └─────────────────────┬─────────────────────┘
                                       │
                                       ▼
                 ┌───────────────────────────────────────────┐
                 │ Lapisan Penggabungan RRF (Re-ranking)     │
                 │ Mengombinasikan Peringkat Tanpa Masalah   │
                 │ Normalisasi Skor yang Berbeda             │
                 └───────────────────────────────────────────┘
                                       │
                                       ▼
                   Daftar Hasil Pencarian Paling Relevan

Memahami Kebutuhan Dua Dunia yang Berbeda #

1. Keunggulan Mesin Pencari Leksikal (BM25 / Meilisearch) #

Pencarian leksikal mengandalkan algoritma BM25 (Best Matching 25), yang menghitung frekuensi kemunculan kata di dalam dokumen (Term Frequency) dan menimbangnya dengan seberapa langka kata tersebut di seluruh koleksi dokumen (Inverse Document Frequency).

  • Sangat Unggul Untuk: Pencarian SKU produk ("X-200-PRO"), nama merk dagang ("Schneider"), nomor SNI, nama orang, dan pencarian frasa dengan tanda kutip persis.
  • Kelemahan: Jika pengguna mencari "laptop tipis untuk bepergian", mesin BM25 tidak akan menampilkan produk yang dideskripsikan sebagai "ultrabook ringkas untuk eksekutif", karena kata yang digunakan berbeda sama sekali.

2. Keunggulan Mesin Pencari Vektor (Dense Vector / Qdrant) #

Pencarian vektor mengubah teks pertanyaan menjadi larik angka matematis (vector embedding) di ruang berdimensi tinggi (misalnya 1536 dimensi). Mesin pencari menghitung kedekatan sudut atau jarak kosinus antara vektor pertanyaan dan vektor dokumen.

  • Sangat Unggul Untuk: Memahami sinonim ("mobil" dan "kendaraan roda empat"), mengatasi deskripsi ambigu, dan merespons pertanyaan bahasa alami.
  • Kelemahan: Mengabaikan karakter alfanumerik spesifik. Vektor untuk "SKU-1001" dan "SKU-1002" bisa memiliki nilai kemiripan kosinus 0.999 karena dianggap berada dalam kategori yang sama, sehingga salah menyajikan produk pengganti.

Menggabungkan Hasil Menggunakan Reciprocal Rank Fusion (RRF) #

Tantangan terbesar dalam menggabungkan hasil pencarian adalah skor yang tidak sebanding:

  • Skor BM25 tidak memiliki batas atas (bisa berkisar dari 0 hingga 45.8).
  • Skor kemiripan kosinus vektor berada dalam rentang -1.0 hingga +1.0.

Jika kedua angka ini dijumlahkan begitu saja, salah satu mesin akan mendominasi hasil akhir secara sepihak.

Algoritma Reciprocal Rank Fusion (RRF) memecahkan masalah ini dengan mengabaikan nilai skor mentah dan hanya berfokus pada posisi urutan peringkat (rank) dari masing-masing daftar hasil:

Rumus RRF:
$$RRF(d) = \sum_{m \in M} \frac{1}{k + r_m(d)}$$

Di mana:

  • $M$: Kumpulan mesin pencari yang digunakan (Leksikal dan Vektor).
  • $r_m(d)$: Posisi peringkat dokumen $d$ pada mesin pencari $m$ (peringkat 1, 2, 3, ...).
  • $k$: Konstanta peredam untuk mencegah dokumen peringkat 1 mendominasi terlalu ekstrem (standar industri: $k = 60$).

Dokumen yang muncul di posisi tinggi pada kedua mesin pencari akan mendapatkan nilai akumulasi tertinggi dan otomatis melompat ke urutan teratas.

Implementasi TypeScript: Orkestrasi Paralel dan RRF Re-Ranking #

Berikut adalah kode orkestrasi pencarian hibrida yang memanggil Meilisearch dan Qdrant secara paralel lalu menyatukan hasilnya menggunakan RRF:

typescript
import { MeiliSearch } from 'meilisearch';
import { QdrantClient } from '@qdrant/js-client-rest';

const meili = new MeiliSearch({ host: 'http://meilisearch.internal:7700', apiKey: 'master_key' });
const qdrant = new QdrantClient({ url: 'http://qdrant.internal:6333' });

interface SearchResultItem {
  id: string;
  title: string;
  sku: string;
  score: number;
}

export async function hybridSearch(queryText: string, limit = 10): Promise<SearchResultItem[]> {
  // 1. Eksekusi Paralel untuk Meminimalkan Latensi
  const [lexicalResults, vectorResults] = await Promise.all([
    // Pencarian Leksikal Meilisearch (BM25)
    meili.index('katalog_produk').search(queryText, { limit: 25 }),

    // Pencarian Vektor Qdrant (Membuat embedding terlebih dahulu)
    (async () => {
      const queryEmbedding = await generateVectorEmbedding(queryText);
      return await qdrant.search('katalog_produk_vectors', {
        vector: queryEmbedding,
        limit: 25,
      });
    })(),
  ]);

  // 2. Kalkulasi Reciprocal Rank Fusion (RRF) dengan k = 60
  const k = 60;
  const scoreMap = new Map<string, { item: any; rrfScore: number }>();

  // Hitung kontribusi peringkat dari Meilisearch
  lexicalResults.hits.forEach((hit: any, index: number) => {
    const rank = index + 1;
    const current = scoreMap.get(hit.id) || { item: hit, rrfScore: 0 };
    current.rrfScore += 1 / (k + rank);
    scoreMap.set(hit.id, current);
  });

  // Hitung kontribusi peringkat dari Qdrant
  vectorResults.forEach((point: any, index: number) => {
    const rank = index + 1;
    const docId = point.id.toString();
    const current = scoreMap.get(docId) || { item: point.payload, rrfScore: 0 };
    current.rrfScore += 1 / (k + rank);
    scoreMap.set(docId, current);
  });

  // 3. Urutkan berdasarkan Skor RRF Tertinggi
  const sortedResults = Array.from(scoreMap.values())
    .sort((a, b) => b.rrfScore - a.rrfScore)
    .slice(0, limit)
    .map(({ item, rrfScore }) => ({
      id: item.id,
      title: item.title,
      sku: item.sku,
      score: Math.round(rrfScore * 10000) / 10000,
    }));

  return sortedResults;
}

async function generateVectorEmbedding(text: string): Promise<number[]> {
  // Panggilan ke model embedding lokal (misal: BGE-M3 atau Ollama)
  return new Array(1536).fill(0.01);
}

Arsitektur Hybrid Search memberikan hasil pencarian yang komprehensif: jika pengguna mengetik SKU persis, sistem langsung menyajikannya tanpa kompromi, dan jika pengguna mengetik kebutuhan solusi dalam kalimat sehari-hari, sistem tetap cerdas memahami konteks semantik yang dimaksud.

Bagikan Artikel Ini:
Topik Terkait:Semua artikel: Arsitektur sistem dan APIHybrid SearchMeilisearchQdrantBM25Vector Search
Istilah Teknis Terkait (Knowledge Graph Glossary)
Jejaring Entitas & Solusi Teknis Terkait
3 Solusi Terintegrasi
Architecture Matrix

Perbandingan Headless CMS vs Monolitik

Kajian komparatif performa, keamanan OWASP, dan total biaya kepemilikan (TCO).

Buka Solusi
Planning Tool

Kalkulator Investasi & Jadwal Website

Estimasi biaya pembuatan website company profile, portal B2B, atau web app kustom.

Buka Solusi
Partnership Hub

Kemitraan White-Label untuk Agensi

Dukungan rekayasa teknis rahasia di balik layar agensi Anda dengan NDA resmi.

Buka Solusi

PuluhLabs Engineering Team

Staff Search Platform Engineer

Terakhir diperbarui: 16 November 2026

Ingin Menerapkan Standar Performa Ini pada Proyek Agensi Anda?

Tim PuluhLabs siap menjadi mitra rekayasa digital rahasia (white-label) untuk agensi Anda. Garansi performa skor Lighthouse 90+, Core Web Vitals hijau, dan 100% hak milik kode.

Konsultasi Proyek Bersama Tim PuluhLabs

Artikel Rekomendasi Selanjutnya

Lihat Semua
  1. Pengembangan Web

    Arsitektur Resiliency Microservices: Menerapkan Circuit Breaker, Bulkhead, dan Retry Jitter

  2. Pengembangan Web

    Modernisasi Legacy Monolith PHP/Java ke Headless Next.js dengan Strangler Fig Pattern

  3. Pengembangan Web

    Strategi GraphQL Federation vs REST API Gateway untuk Sistem Enterprise Multi-Tim