BAGAIMANA SEARCH ENGINE MENGUKUR KEPUASAN USER SECARA SISTEMIK ?

 

Bagaimana Search Engine Mengukur Kepuasan User Secara Sistemik?
Gambar: gorbysaputra.com

• Ini bukan soal dwell time saja.
• Ini bukan sekadar CTR tinggi.
• Ini adalah model probabilistik kepuasan berbasis agregasi perilaku populasi.

Search Engine Tidak Mengukur “Senang atau Tidak”

Search engine tidak tahu emosi.

Yang diukur adalah:

yang diukur search engine 
Data : gorbysaputra.com

Artinya:

• Probabilitas user puas berdasarkan pola interaksi.

Sinyal Dasar yang Digunakan

1. Click Behavior

• CTR (click-through rate)
• Position bias correction
• Click distribution

CTR tinggi saja tidak cukup. Karena posisi atas memang lebih sering diklik. Model mengoreksi bias posisi.

2. Long Click vs Short Click

Long click:

• User klik → lama → tidak kembali → selesai.

Short click:

• User klik → cepat kembali → klik hasil lain.
• Short click tinggi → indikasi mismatch intent.

3. Reformulation Rate

• Jika setelah klik user mengetik ulang query,
• itu sinyal ketidakpuasan.
• Reformulation adalah feedback kuat.

4. Session Completion Modeling

Sistem melihat:

Apakah sesi pencarian berakhir setelah interaksi ini?

• Jika ya → kemungkinan intent terpenuhi.
• Jika tidak → ada missing coverage.

Model Matematis Sederhana

Bayangkan:

Model Matematis Sederhana
Gambar: gorbysaputra.com

Dimana:

• C = click signal
• T = time signal
• R = reformulation
• Q_c = query chain
• D = downstream behavior
• S adalah satisfaction score.

Ini bukan satu metrik tunggal, melainkan model ML kompleks.

Behavioral Signal Weighting

Tidak semua sinyal punya bobot sama.

• Untuk query berbeda,
• bobot berbeda.

Contoh:

Query “berapa umur presiden Indonesia sekarang”

• Jawaban cepat → short dwell time wajar.

Query “cara investasi saham untuk pemula”

• Dwell time panjang lebih wajar.
• Model memahami konteks query.

Position Bias Correction

User cenderung klik posisi 1.

Sistem menggunakan teknik seperti:

• Interleaving experiments
• Randomization sampling
• Counterfactual estimation

Agar tidak salah menilai dokumen hanya karena posisi.

Implicit Feedback vs Explicit Feedback

Explicit:

• Rating
• Review

Implicit:

• Klik
• Scroll
• Waktu baca
• Reformulation
• Tidak kembali ke SERP

Search engine lebih banyak menggunakan implicit feedback.

Query-Dependent Satisfaction Modeling

Model kepuasan berbeda tergantung jenis query.

Navigational Query

User ingin 1 situs spesifik.
Klik cepat lalu selesai → puas.

Informational Query

User membaca lama → puas.

Comparative Query

User mungkin buka beberapa hasil → belum tentu tidak puas.

Model tidak naif.

Aggregate Learning, Bukan Individual Tracking

Sistem tidak peduli satu user.

Ia belajar dari pola kolektif jutaan interaksi.

Jika 70% user reformulate setelah klik halaman X,

itu sinyal kuat.

Behavioral Feedback Loop

Alurnya seperti ini:

• Query masuk
• Sistem tampilkan ranking
• User berinteraksi
• Model kumpulkan sinyal
• Distribusi intent diperbarui
• Ranking disesuaikan

Ranking adalah sistem dinamis.

Mengapa Artikel Turun Tanpa Perubahan?

Kemungkinan:

• Pola reformulation naik
• Intent drift terjadi
• Ada konten baru yang lebih memuaskan
• Distribusi intent bergeser
• Behavioral satisfaction model update

Kepuasan ≠ Lama Membaca

Ini penting.

Artikel 10 menit belum tentu lebih baik dari artikel 2 menit.

Jika query butuh jawaban cepat,

lama membaca malah indikasi kebingungan.

Kepuasan adalah kecocokan antara intent dan hasil.

Satisfaction dan Information Gain

Semakin besar entropy reduction,
semakin kecil kemungkinan reformulation.

Artinya:
Information gain tinggi → satisfaction tinggi.

Kesalahan Fatal Pembuat Konten

Mereka mengejar:

• Waktu baca lama
• Scroll dalam
• Bounce rate rendah

Padahal:

Bounce rate bisa tinggi karena intent sudah terpenuhi.

Sistem Modern Menggunakan Model Prediktif

Contoh pendekatan:

Sistem Modern Menggunakan Model Prediktif
Data : gorbysaputra.com

Dimana:

• X = fitur perilaku
• W = bobot
• σ = fungsi sigmoid

Ini klasifikasi probabilistik.

Insight yang Jarang Dibahas

Search engine tidak hanya mengukur dokumen.

Ia mengukur:

Dokumen dalam konteks distribusi populasi dan query chain.

Satu artikel bisa bagus,
tetapi jika tidak cocok untuk mayoritas intent,
ranking sulit naik.

Cara Meningkatkan Satisfaction Probability

• Jawab langsung intent utama di awal.
• Tangkap sub-intent penting.
• Minimalkan kebutuhan reformulation.
• Gunakan struktur jelas.
• Hindari pembukaan panjang untuk query spesifik.
• Tambahkan implicit follow-up answers.

Konsep Paling Penting

Search engine mengukur:

• Apakah dokumen Anda menghentikan pencarian?

Jika ya → probabilitas kepuasan tinggi.
Jika tidak → sistem belajar ulang.

Ringkasan Besar 

• Intent adalah distribusi probabilistik.
• Entropy menentukan struktur.
• Multi-intent butuh arsitektur.
• Reformulation adalah koreksi user.
• Satisfaction dimodelkan secara agregat dan probabilistik.