Son 1-2 sene fark ettiğiniz veya içinde de bulunduğunuz gibi, yapay zeka (AI) becerilerinin etkili ve verimli olabilmek için kullanıldığı ve kritik hale geldiği bir dönemdeyiz. Günümüzde işletmeler/kurumlar, büyük dil modellerini (LLM – Large Language Models) kullanarak fayda sağlamaya çalışıyorlar. Sadece bazı LLM servisleriyle verimlilik kazanmakla kalmayıp, işletmeler artık kendi iş değerlerini bu modellere entegre ederek daha etkili olmanın yollarını arıyorlar. Bu yazımda, LLM’leri kullanarak iş değeri üretme stratejilerinden bahsedeceğim. Şu anda iki sıcak ve önemli konu var: Retrieval-Augmented Generation (RAG) ve Fine-Tuning… Her ikisi de üretken yapay zeka (generative AI) konsepti içinde işletmelere özel verileri yapay zeka dil modelleri ile entegre etmenin birer stratejisi. Bu iki yöntemle işletmeler, yapay zeka kapsamında iş değerlerini daha verimli şekilde sağlayabilirler veya sunabilirler. Tabii her yöntemin avantajları ve dezavantajları var; ve hangi yöntemin tercih edilebileceği de ihtiyaçlara göre değişiyor.
Bu yazıyı 27 Nisan 2025 tarihinde ilk olarak İngilizce yazmıştım, buradan o versiyonuna da ulaşabilirsiniz. Bayadır kendi sayfamda yazmaya fırsat bulamıyorum. Farklı platformlarda yazdığım yazıların birer kopyasını da buraya taşıyabilirim, kendi arşivime de katkı…😁🫣
Retrieval-Augmented Generation (RAG)
RAG, bir yapay zeka modelinin bir soruya cevap vermeden önce büyük bir veri deposundan gerekli ek bilgi çekmesi yöntemidir. Açıklamak direkt Türkçeye çevirmekten daha kolay.. Daha basit bir ifadeyle, AI “Dur bir bakim, önce bir Google’layim…” der gibi davranır. Buradaki “Google’lamak”, tanımlı veri parçalarının bulunduğu bir veri deposunda hızlıca arama yapmak şeklinde yorumlanabilir.
Bu bağlamda, veri deposu organizasyona özgü verileri, yani işletmenin değerlerini temsil eden bilgileri içerir. RAG stratejisinin isminden de anlaşılacağı üzere iki adımı vardır: “Retrieval” (Veri çekme) ve “Augmented” (Zenginleştirme). Öncelikle, veriler bazı algoritmalarla veri deposundan çekilir. Ardından, çekilen sonuçlar LLM kullanılarak zenginleştirilir ve daha etkili cevaplar elde edilir. Dolayısıyla, LLM’e iyi veri sunmak için “retrieval” (veri çekme) adımı oldukça önemlidir. Bu verileri doğru ve alakalı şekilde çekebilmek için verilerin uygun bir şekilde hazırlanması önemli bir adımdır. Bu adımda vektör veri tabanları (vector databases) devreye girer.
Vektör veri tabanları, verileri sayı dizileri (vektörler) olarak saklar. Bu vektörler daha sonra benzerliklerine göre sorgulanabilir. Böylece benzer veriler çok daha verimli şekilde bulunabilir.
Verilerdeki benzerlikleri anlayabilmek için LLM’ler kullanılarak bu verilerden benzerlikler çıkarılır. İşletmeye ait veriler vektör veri tabanına aktarılırken embedding (gömülü temsil) formatına çevrilir. Örneğin, benzer anlamlara sahip kelimeler (“kedi” ve “köpek” gibi) birbirine yakın vektörlere sahip olurken, alakasız kelimeler (“kedi” ve “araba” gibi) birbirinden uzak olur.
Embedding işlemi için bazı özel LLM modelleri kullanılır. Böylece veriler vektör veri tabanına daha anlamlı ve ilişkili olarak gömülür. Daha sonra, bir soru geldiğinde bu soru da embedding’e çevrilir ve veri tabanından en alakalı veri parçaları çekilip LLM ile zenginleştirilerek daha güvenilir cevaplar sunulur.
RAG stratejisini daha anlaşılır hale getirmek için örnek bir süreç oluşturalım:
- Adım 1: Tüm iş verilerini topla
- PDF, Word, web sayfaları, veri kayıtları… vb. Belgeler, user-stotry’ler, destek kayıtları, wiki içerikleri olabilir.
- Adım 2: Veriyi hazırla
- Verileri temizle; tekrarlayan verileri kaldır, büyük belgeleri küçük parçalara böl (Bu, AI’ın veriyi daha kolay işlemesi ve embedding oluşturması için faydalıdır)
- Adım 3: Etiket ekle (opsiyonel)
- Veri parçalarına etiket/etiketler eklemek sistemi daha verimli hale getirir. Sonuçta tüm bunları işimizi daha etkili hale getirmek için yapıyoruz, değil mi? 😀
- Adım 4: Verileri embedding formatına çevir
- Bir embedding modeli kullanarak veriyi benzerliklerine göre vektörlere dönüştür.
- Adım 5: Vektörleri vektör veri tabanında sakla
- Couchbase, MongoDB, Azure Cosmos DB, PostgreSQL gibi veri tabanlarında veriyi ve vektörleri sakla.
- Adım 6: Soruya göre veriyi zenginleştir
- Soru, bir LLM modeliyle embedding’e çevrilir
- Vektör veri tabanında benzer embedding’ler aranır, bu noktada kullanılan veri tabanı önemli
- Benzer veri parçaları çekilir
- Çekilen veri LLM ile birleştirilerek anlamlı cevap oluşturulur
RAG stratejisi, var olan bir çözüm için ekstra bir eklenti gibi diyebilirim. Ekstra LLM eğitimi veya büyük bir hesaplama gücüne gerek olmaması artı noktası. Zor olan kısım veri hazırlığı olabilir diye düşünüyorum. Zor değil, ama veri yapısı düzensizse biraz uğraştırabilir. LLM çıktılarının etkinliği için verinin düzgün yorumlanabilir olması oldukça önemli.
Veri bir kez düzenli hale getirildikten sonra, RAG stratejisi verinin güncellenmesi/değişmesi konusunda da büyük kolaylık sağlar. Veri değiştikçe sadece veri deposunun güncellenmesi yeterlidir. Bu da daha güncel sonuçlar sağlar.
Fine-tuning (Modeli İnce Ayarlarla Yeniden Eğitme)
Fine-tuning, iş verilerini bir modele gömmenin bir yoludur. Bu yöntemde, önceden eğitilmiş bir model alınır ve belirli bir iş verisi seti ile yeniden eğitilir. Daha basit anlatımla, AI’a cevap vermeden önce “ders aldırmak” gibidir. Yani işletmenin bilgisini AI’a öğretmek diyebiliriz “Fine-tuning” için…
Bu yöntem RAG kadar basit değil diye düşünüyorum. Eğitme süreciyle ilgili daha derin bilgi gerektirir. Ayrıca, etkili sonuçlar almak için kullanılan önceden eğitilmiş modelin kaliteli ve konuyla alakalı olması gerekir. Ancak tahmin edebileceğiniz gibi, bu her zaman kolay veya mantıklı değil. Örneğin sağlık sigortası alanında çalışıyorsanız, sağlık odaklı bir ön model daha faydalı olur. Mevcut bazı modeller (Llama, Phi gibi) kullanılabilir, ancak bu durumda işletmenizin verisi yeterince iyi değilse, sonuçlar da o kadar etkili olmayabilir. Çünkü bu modellerin çoğu sınırlı ve genel veriyle eğitilmiştir.
Diyelim ki elinizde kaliteli bir ön model var, yine de eğitme süreci hakkında iyi bilgi sahibi olmak gerekir. Doğru parametrelerle eğitim yapmak ve testler gerçekleştirmek zaman alır. Eğitim süreci haftalar sürebilir. Eğer veriler sık sık değişiyorsa, bu yöntem güncel sonuçlar sunmakta zorlanabilir. Ayrıca bu süreçler ciddi bir işlem gücü gerektirir, yani “maliyet” demek.
Fine-tuning’i kötü bir yöntem gibi göstermek istemem. Ancak bence mevcut LLM’lerle, işletmelerin işe başlamak için kullanacağı ilk strateji olmamalı. Tabii eğer işletme veri mühendisliği ve makine öğrenimi konusunda olgunlaşmışsa, kendi modelini oluşturup spesifik verilerle yeniden eğiterek daha etkili olabilir.
Gelecekte, Dünya Sağlık Örgütü (WHO), Unicef, Greenpeace, AB, Unesco gibi büyük küresel organizasyonların belirli alanlara özel LLM’ler yayınlayabileceklerine inanıyorum. Tıpkı rapor yayınlar gibi… Bu da işletmelerin fine-tuning yapmasını daha kolay hale getirebilir.
Sonuç
“RAG”, AI’ın önce bir Google araması yapması; “Fine-tuning”, gitarın tellerini çalmadan önce akort etmek gibi diyebiliriz.
Her iki stratejinin de avantajları ve dezavantajları var. Ve bu avantaj/dezavantajlar tamamen ihtiyaçlara ve işletmenin olgunluk düzeyine göre değişiyor. Bana sorarsanız, şu an için iş değeri açısından etkili ve verimli olması nedeniyle RAG stratejisine oy veririm.
Aşağıda düşüncelerimi tablo halinde özetledim:
Strateji | RAG | Fine-tuning |
---|---|---|
Temel Kavram | AI iş verisini dışarıdan çeker | AI, iş verisiyle yeniden eğitilir |
Daha uygun olduğu durum | Sık değişen veriler | Statik ve uzmanlık içeren veriler |
Maliyet | Düşük | Yüksek |
LLM Uzmanlığı Gerekir mi? | Hayır | Evet |
Görüşleriniz, deneyimleriniz ya da sorularınız varsa aşağıya yorum bırakabilirsiniz. Başka bir yazıda görüşmek üzere…👋🏼