Büyük dil modelleri büyüdükçe yalnızca daha fazla hesaplama gücü istemiyor; aynı zamanda çok daha ciddi bir bellek problemi de yaratıyor. Özellikle uzun bağlamla çalışan sistemlerde mesele artık sadece modelin kaç parametreye sahip olduğu değil, bu modelin çalışırken ne kadar veriyi ne kadar hızlı taşıyabildiği haline geliyor.
Tam da bu noktada sıkıştırma teknikleri yeniden merkez sahneye çıkıyor. Google Research'ün duyurduğu TurboQuant, bu tartışmayı yeniden alevlendiren çalışmalardan biri. Çünkü konuya yalnızca "modeli küçültelim" yaklaşımıyla bakmıyor; daha kritik bir darboğaz olan KV cache ve yüksek boyutlu vektörlerin taşınması meselesine odaklanıyor. Google'ın aktardığı sonuçlara göre TurboQuant, bazı senaryolarda KV cache bellek kullanımını en az 6 kat azaltırken, belirli H100 testlerinde 8 kata kadar hızlanma sağlayabiliyor. Üstelik bunu ciddi bir doğruluk kaybı yaratmadan yapmayı hedefliyor.
Sıkıştırma neden artık "yan optimizasyon" değil?
Yapay zekâ sistemlerinde sıkıştırma uzun süre daha çok dağıtım maliyetini düşüren yardımcı bir teknik gibi görüldü. Model daha az yer kaplasın, daha ucuz çalışsın, daha küçük cihazlara sığsın diye bakılıyordu. Bu hâlâ doğru; ama artık eksik.
Bugün asıl meselelerden biri, modelin her token üretiminde ne kadar veriyi bellekte tuttuğu ve buna ne hızla eriştiği. Uzun bağlamlı sistemlerde bu yükün önemli bir kısmı key-value cache tarafında birikiyor. Model, önceki token'lardan türetilen temsilleri saklıyor; böylece her adımda her şeyi baştan hesaplaması gerekmiyor. Bu yaklaşım performans için çok değerli, ancak bellek maliyetini de hızla yukarı çekiyor. Google Research, yüksek boyutlu vektörlerin bu yüzden bellek darboğazı oluşturduğunu ve bu darboğazın hem vektör arama hem de LLM inference süreçlerinde kritik hale geldiğini açıkça vurguluyor.
Bu yüzden sıkıştırma artık "güzel olursa iyi olur" kategorisinde değil. Doğrudan ürün kalitesi, latency, donanım maliyeti ve ölçeklenebilirlikle ilgili.
Klasik quantization neden bazen yetmiyor?
Sıkıştırma denince ilk akla gelen yöntemlerden biri quantization. Temel fikir basit: yüksek hassasiyetli sayıları daha az bit ile temsil etmek. Örneğin 32-bit floating point değerleri 8-bit, 4-bit hatta daha aşağı formatlara indirerek belleği ve veri transferini azaltmak.
Fakat pratikte iş o kadar düz değil. Çünkü klasik vektör quantization yöntemleri çoğu zaman yalnızca ana veriyi değil, onu düzgün geri yorumlayabilmek için gereken ek sabitleri, ölçekleri veya normalizasyon bilgilerini de saklamak zorunda kalıyor. Google'ın açıklamasına göre bu "gizli maliyet", çoğu yöntemde sayı başına 1–2 ekstra bit gibi bir overhead doğurabiliyor. Kâğıt üzerinde çok küçük duran bu yük, milyarlarca vektör veya devasa KV cache ölçeklerinde ciddi bir maliyete dönüşüyor.
Yani asıl sorun bazen sadece "kaç bit kullandığınız" değil; o bitlerin ne kadarının gerçekten veri taşıdığı.
TurboQuant tam olarak ne yapıyor?
Google'ın anlattığı çerçevede TurboQuant, iki aşamalı bir yaklaşım izliyor.
İlk aşamada, PolarQuant adı verilen yöntem devreye giriyor. Burada vektörler rastgele döndürülerek geometrileri daha düzenli bir hale getiriliyor; ardından vektörün parçaları daha verimli biçimde quantize ediliyor. Bu aşama, sıkıştırmanın büyük bölümünü üstleniyor ve orijinal vektörün ana bilgisini düşük bit sayısıyla taşımaya çalışıyor.
İkinci aşamada ise kalan küçük hata payı için QJL (Quantized Johnson–Lindenstrauss) kullanılıyor. Google bunu, kalan hatayı temizleyen düşük maliyetli bir düzeltme katmanı gibi konumlandırıyor. Buradaki dikkat çekici nokta şu: bu düzeltme kısmı çok düşük bit bütçesiyle, hatta açıklamada vurgulandığı üzere 1 bitlik bir residual yaklaşım üzerinden çalışıyor. Böylece sistem, ilk aşamadaki yüksek verimli sıkıştırmanın bıraktığı küçük kusurları baskılayabiliyor.
Basitçe söylemek gerekirse TurboQuant'ın iddiası şu: "Ana bilgiyi çok ekonomik biçimde sıkıştır, ama sıkıştırmadan doğan hatayı da akıllıca kontrol et."
PolarQuant neden ilginç?
PolarQuant'ın dikkat çekici yanı, veriyi klasik Kartezyen koordinatlar üzerinden değil, daha çok polar koordinat mantığıyla düşünmesi. Google'ın açıklamasında da bu, "3 blok doğuya, 4 blok kuzeye git" yerine "5 birim git ve belirli bir açıyla ilerle" yaklaşımına benzetiliyor.
Bu dönüşüm önemli çünkü bazı veri dağılımlarında açılar ve yarıçaplar, ham koordinatlardan daha kompakt ve daha öngörülebilir bir temsil sağlayabiliyor. Özellikle de quantization sınırlarının daha düzenli tanımlanabilmesi, ek normalizasyon yükünü azaltabiliyor. Başka bir deyişle PolarQuant, verinin yapısını daha "sıkıştırılabilir" bir forma sokmaya çalışıyor.
Bu, yalnızca matematiksel olarak zarif bir fikir olduğu için önemli değil. Gerçek sistemlerde asıl farkı yaratan şeylerden biri, bellek overhead'ini düşürmesi.
QJL neden tamamlayıcı bir katman gibi çalışıyor?
QJL tarafında mantık biraz farklı. Johnson–Lindenstrauss yaklaşımının özü, yüksek boyutlu verileri daha düşük boyuta indirirken temel ilişkileri mümkün olduğunca korumak. TurboQuant içinde bu fikir çok düşük bellek yüküyle kullanılıyor ve Google'ın ifadesiyle, özellikle attention skorlarının daha doğru tahmin edilmesine yardımcı oluyor.
Bu yüzden QJL'yi ana sıkıştırma motoru değil, sıkıştırmanın "dengeleyici" parçası gibi düşünmek daha doğru. PolarQuant ana gövdeyi taşıyor, QJL ise kalan sapmayı törpülüyor.
Sonuçlar neden dikkat çekti?
Google Research, TurboQuant'ı LongBench, Needle In A Haystack, ZeroSCROLLS, RULER ve L-Eval gibi uzun bağlam ve retrieval odaklı benchmark'larda Gemma ve Mistral gibi açık modeller üzerinde test ettiğini söylüyor. Paylaşılan sonuçlara göre yöntem, KV cache'i 3 bit seviyesine kadar indirirken anlamlı bir performans kaybı oluşturmadan çalışabiliyor. Ayrıca TurboQuant'ın bazı needle-in-a-haystack görevlerinde en az 6x KV bellek azaltımı sağladığı; 4-bit uygulamada ise H100 GPU'larda 32-bit anahtarlara kıyasla 8x'e kadar attention logit hesaplama hızlanması sunduğu belirtiliyor.
Bu iddialar pratik açıdan çok önemli. Çünkü eğer bir yöntem gerçekten uzun bağlamlı görevlerde doğruluğu korurken KV cache'i bu kadar agresif küçültebiliyorsa, bunun etkisi yalnızca araştırma makalesi düzeyinde kalmaz. Doğrudan inference maliyetine, throughput'a, donanım planlamasına ve ürün tasarımına yansır.
Bu gelişme neden daha büyük bir trende işaret ediyor?
TurboQuant tek başına "bütün yapay zekâ verimlilik sorununu çözen" sihirli bir yöntem değil. Ama çok önemli bir yön değişimini temsil ediyor: artık verimlilik tartışması yalnızca daha küçük model, daha iyi distillation ya da daha ucuz GPU ekseninde ilerlemiyor. Bellek mimarisi, vektör temsili ve çalışma anındaki veri akışı doğrudan birinci sınıf problem haline geliyor.
Önümüzdeki dönemde sıkıştırma tarafında birkaç eğilim daha görünür olacak gibi duruyor:
- Parametre quantization ile KV cache quantization'ın birbirinden ayrışması,
- Retrieval ve vector search altyapılarında daha agresif sıkıştırma kullanımı,
- Donanıma özel quantization stratejilerinin yaygınlaşması,
- "Biraz kalite kaybı karşılığında çok verim" yerine, "aynı kaliteye mümkün olduğunca yakın kalarak sistem seviyesinde tasarruf" yaklaşımının öne çıkması.
Kısacası mesele artık yalnızca modeli çalıştırmak değil; modeli verimli, ölçeklenebilir ve ekonomik biçimde çalıştırmak.
Son söz
TurboQuant'ı önemli yapan şey yalnızca yeni bir teknik önermesi değil. Asıl önemli tarafı, AI sistemlerinde darboğazın nerede oluştuğunu çok doğru teşhis etmesi. Bellek kullanımı ve veri taşıma maliyeti, özellikle uzun bağlamlı sistemlerde, giderek hesaplama kadar kritik hale geliyor.
Bu yüzden sıkıştırma algoritmaları artık arka planda kalan mühendislik detayları değil. Yeni nesil AI ürünlerinin performans sınırlarını belirleyen temel unsurlardan biri haline geliyorlar.
Ve muhtemelen önümüzdeki birkaç yıl içinde, en büyük farkı yaratan modeller sadece "daha zeki" olanlar değil, aynı zamanda aynı işi çok daha verimli yapanlar olacak.
Kaynak notu: Bu yazı, Google Research'ün 24 Mart 2026 tarihli TurboQuant duyurusu ve ilgili araştırma bağlantıları temel alınarak hazırlanmıştır.
