Embedding nedir? One-hot encoding'e göre avantajı nedir ve nerelerde kullanılır?

Embedding, kelime, ürün, kullanıcı gibi ayrık (discrete) nesneleri anlamsal benzerliği koruyan yoğun (dense), düşük boyutlu sürekli vektörlere dönüştürmektir. Benzer anlamdaki nesnelerin vektörleri uzayda birbirine yakın düşer.

One-hot ile farkı

Teknik olarak bir embedding katmanı, one-hot vektörle bir ağırlık matrisinin çarpımına eşdeğer bir lookup tablosudur.

import torch, torch.nn as nn
emb = nn.Embedding(num_embeddings=50_000, embedding_dim=512)
vecs = emb(torch.tensor([[12, 873, 4]]))   # (1, 3, 512)

Gelişim

• Statik embedding (word2vec, GloVe): Her kelimenin tek vektörü vardır. "yüz" kelimesi (sayı veya surat) aynı vektörü alır.
• Bağlamsal (contextual) embedding (BERT, LLM'ler): Aynı kelime cümleye göre farklı vektör alır.
• Cümle/doküman embedding modelleri: Contrastive learning ile eğitilir, metnin tamamını tek bir vektöre çevirir. RAG ve semantik arama bunlara dayanır. Türkçe için çok dilli (multilingual) modeller tercih edilmelidir.

Kullanım alanları

Semantik arama ve RAG, öneri sistemleri (kullanıcı ve ürün embedding'leri), yüksek kardinaliteli kategorik özellikler, kümeleme, duplicate tespiti, anomali tespiti.

Benzerlik genelde cosine similarity ile ölçülür. Vektörler normalize edilirse cosine benzerliği nokta çarpımına eşit olur ve vector DB'lerde hızlı hesaplanır.