NSAI: Nöro-Sembolik Yapay Zeka Sistemleri: Bölüm 1 — LNN’ler
Yapay Zeka sembolik ve nöral olarak iki ana paradigma arasında ayrılmaktadır. Sembolik AI, mantıksal kurallar ve açık bilgi temsiline dayanarak, insanın düşünce yapısı gibi akıl yürütme ve problem çözme gibi kabiliyetler sunuyor. Nöral ağlar ve derin öğrenme yapıları büyük veri kümelerinden karmaşık kalıplar öğrenmede sembolik sistemlere göre çok iyi performanslar gösteriyor. Ancak buna rağmen nöral ağlar “kara kutu” yapıdadır; karar alma ve çıkarımların anlaşılması yönünden açıklamakta zorlanan sistemlerdir. Bunlara nazaran üstüne birde mantıksal akıl yürütme ve sınırlı veriyle öğrenme gibi görevlerde oldukça sorunludur.
Tam bu noktada devreye iki sisteminde avantajlarını alan Nöro-sembolik AI (NSAI) girmektedir. NSAI, sembolik AI’ın mantıksal çıkarım ve açık-kutu avantajlarını, Nöral ağlarında öğrenme ve pattern analizi yeteneklerini alarak güçlü bir hibrit yapı sunmaktadır. Bu sayede sembolik akıl yürütmenin sınırlamalarını aşıp mantıksal kuralların sinir ağlarıyla temsil edilip, işlenip optimize edildiğini görürüz. Bu konuda en önemli ve yenilikçi entegrasyon mimarileri şöyledir;
- Mantıksal Sinir Ağları (LNN); Temelinde mantıksal kuralları doğrudan sinir ağının yapısına entegre eder. Bunu şu şekilde yapar; Her nöron belirli bir mantık kapısına karşılık geldiğinden, mantık kapıları türevlenebilir hale getirilir. Kullanım alanları ise; Bilgi grafikleri üzerinde akıl yürütme, doğal dil çıkarımı, bağlantı tahmini gibi uygulama alanları vardır.
- Türevlenebilir Mantık Programlama; Sembolik mantık programlarını türevlenebilir bir forma dönüştürür. Bunu şu şekilde yapar; Mantıksal kurallar ve gerçekler, optimize edilebilir olasılık değerleri olarak temsil edilir. Kullanım alanları ise; Görsel ve dilsel görevler, robotik, olasılıksal akıl yürütme gibi alanlarda kullanılır.
- Nöral Teorem Kanıtlayıcılar; Teorem kanıtlama sürecini sinir ağlarıyla entegre eder. Bunu gerçekleştirmek için; Sembolik mantıksal birleştirme, vektör tabanlı yaklaşımlarla yaklaşık olarak modellenerek gerçekleştirilir. Kullanım alanları ise; Matematiksel problem çözme, otomatik teorem kanıtlama ve yazılım doğrulama alanlarıdır.
LNN
Mantıksal Sinir Ağları yani LNN’ler, sembolik mantığı ve nöral ağları uçtan uca eğitilebilir tek bir sistemde birleştiren entegratif bir yaklaşımdır. Herhangi bir “önermeler mantığı” yasasını deterministik olarak temsil edebilen ve yalnızca türevlenebilir mantık kapılarının oluşturduğu bir sinir ağı mimarisidir. Bu yapı sayesinde model hem öğrenme hem de mantıksal çıkarım yapar. Sembolik bilgiyi sinir ağının öğrenme sürecine entegre eder. Bu sayede model daha az veriyle oldukça iyi genelleme yaparak daha tutarlı tahminlerde bulunmasını sağlar.
İlgili akademik makale ve çalışmalarda modelin bu sayede; “eğer X, Y’nin ebeveyni ise ve Y, Z’nin ebeveyni ise, o zaman X, Z’nin büyükbabasıdır” gibi bir kurala ulaşabilir. En önemli yanlarından biri de bu örneğin, eğitim verisinde doğrudan olmasa bile, modelin bu tür soyut ilişkileri anlamasını ve uygulamasını sağlar. Bu nedenle LNN’ler, özellikle bağlantı tahmini ve bilgi grafiği tamamlama gibi görevlerde oldukça başarılıdır.
İleri Düzey Entegrasyon Teknikleri
Yukarıdaki temel entegrasyon mimarilerinin karmaşık görevleri çözme kapasitesini arttırmak için ileri düzey teknikler bulunmaktadır. Bu teknikler, sembolik yapıların ve mantıksal programların sinir ağları tarafından doğrudan üretilmesi ve LLM sembolik akıl yürütme süreçlerine entegrasyonuna kadar uzanan teknikler vardır. Bu yöntemler, sistemlerin daha soyut düzeyde düşünmesini sağlayarak daha az örnekten öğrenerek esnek bir şekilde genelleme yapmasını sağlatır.
Bu teknikler şunlardır;
- Nöro-Sembolik Kavram Öğreniciler (NSCL); Bu teknikte temel algısal girdilerden sembolik kavramlar ve ilişkiler öğrenme üzerinedir. Bu tekniği; görsel sahneleri sembolik grafiklere, sorularıda sembolik programlara dönüştürerek yapar. Uygulama alanlarıda; Görsel soru-cevaplama (VQA), nesne tanıma ve anlamsal ayrıştırmadır.
- LLM Destekli Akıl Yürütme; LLM’leri sembolik planlayıcılar veya agentic kullanıcılar olarak kullanmayı sağlar. Bunu LLM’lerin doğal dil komutlarını sembolik planlara veya programlara dönüştürerek yapar. Uygulama alanları; İnsan-robot etkileşimi, görev planlaması ve doğal dil iletişimi alanlarıdır.
- Mantık Tabanlı Dönüşüm Mimarileri; Transformer mimarilerini sembolik ön bilgilerle genişletme yapar. Bunu mantıksal kısıtlamaların dikkat mekanizmasına veya kod çözücü yoluna entegre ederek yapılır. Uygulama alanlarıda; Çok atlamalı akıl yürütme, karmaşık dil anlama ve bilgi tabanlı soru-cevaplama alanlarınsa kullanılır.
Neuro-symbolic Concept Learner
NSCL yani Nöro-Sembolik Kavram Öğrenicileri, görsel sahneleri ve soruları yorumlamak için hibrit yapı kullanan sistemlerdir. Bu sistemler, nesneleri sinir ağlarıyla tanımlar ve ardından sembolik programlar kullanarak akıl yürütme gerçekleştirir. Bu nedenle görsel algı ve sembolik akıl yürütme arasında açık bir ayrım yapar.
Bunu adım adım şu şekilde yapar;
- İlk olarak bir sinir ağı bir görüntüdeki nesneleri ve onların özelliklerini (renk, konum, şekil) tanımlar.
- Sonra bu bilgiler sembolik bir temsile dönüştürülür. Ardından, bu sembolik temsil üzerinde soruyu yanıtlamak için sembolik bir program yürütülür. Örneğin, “Sarı lambanın içindeki nesnenin şekli nedir?” sorusu için, sistem önce sarı lamba ile onun içindeki nesneyi tanımlar. Ardından bu nesnenin şeklini belirlemek için sembolik bir sorgu yürütür. Bu sayede, yorumlanabilirlik ve yüksek veri verimliliği sağlar, bu da eğitim ve robotik gibi bilişsel görevler için önemlidir.
LLM Destekli Nöro-Sembolik Akıl Yürütme
LLM’ler ortaya çıktıkça araştırmacılar onların nöro-sembolik sistemlerde sembolik planlayıcılar veya araç kullanıcıları olarak kullanılmasını uzun zamandır araştırmaktalar. ReAct, Toolformer ve DSPy gibi framework’ler LLM’leri sembolik planlayıcılar olarak kullanırlar. Bu yaklaşımda, LLM bir problemi çözmek için bir dizi eylem planlar. Bu sayede eylemler bir bilgi tabanını sorgulamak, hesap veya API çağrısı yapmak gibi dış araçları içerebilir. Bu yöntemler, LLM’lerin esnekliğini ve genelleme yeteneğini sembolik sistemlerin doğruluğu ve güvenilirliğiyle birleştirir.
Logic-aware Transformer Architectures
Bu yöntem, standart Transformer mimarilerini sembolik ön bilgilerle genişleterek uçtan uca öğrenmeyi yapısal düzenleme ve sembolik denetimle birleştirmeyi amaçlıyor. Logical Transformers ve LogicBench gibi modeller mantıksal kısıtlamaları grafik yapılarını veya ayrık operatörleri dikkat mekanizmasına veya kod çözücü yoluna entegre eder. Bu sayede, modelin öğrenme sürecine mantıksal yapıyı aşılar ve daha tutarlı, genellenebilir temsiller öğrenmesini sağlar. Örneğin, bir cümledeki varlıklar arasındaki ilişkileri modellemek için, modelin dikkat mekanizması, bu varlıklar arasındaki mantıksal bağlantıları dikkate alarak ayarlanabilir. Özellikle multi-hop akıl yürütme ve karmaşık dil anlama görevlerinde performansı artırabilir. Bu tür mimariler, nöral ağların öğrenme gücünü, sembolik mantığın yapısal bütünlüğüyle birleştirerek, daha güçlü ve güvenilir dil modelleri geliştirme yolunda umut verici bir araştırma alanıdır.
İkinci bölümde; Çok Yönlü Nöro-Sembolik Akıl Yürütme, Fonksiyonel Avantajlar, Teorik Etkiler ve Uygulama Alanları üzerine konuşacağız. Umarım keyifli bir yazı olmuştur.
Görüşmek üzere,
References:
