Yapay zeka 'Bilmiyorum' diyemiyor! Akılalmaz detaylar ortaya çıktı
Valencia Politeknik Üniversitesi'nde yapılan bir araştırma, yapay zeka sohbet robotlarının, bilmedikleri konularda bile kendinden emin cevaplar vererek kullanıcıları yanılttığını ortaya koydu. Gelişmiş modellerin daha sık hata yaptığını belirten araştırmacılar, bu sorunun önüne geçmek için ne yapılması gerektiğini de anlattı.
Yapay zeka destekli sohbet robotları, hemen hemen her soruya cevap verebilme kapasitesine sahip. Ancak İspanya'daki Valencia Politeknik Üniversitesi'nde yapılan bir araştırma, bu durumun beraberinde büyük bir tehlike getirdiğini ortaya koydu. Araştırmaya göre, gelişmiş yapay zeka modelleri sorulara doğru cevaplar verdikleri kadar, yanıtlayamayacakları konularda bile kendinden emin konuşuyor.
Yapay zeka alanında önde gelen araştırmacılardan biri olan José Hernández-Orallo liderliğinde yürütülen çalışmada, OpenAI'ın GPT serisi, Meta'nın LLaMA'sı ve açık kaynak kodlu BLOOM gibi üç büyük dil modeli ailesi incelendi. Bu modellerin büyüdükçe daha fazla soruya cevap verebilir hale geldiği, ancak "Bilmiyorum" demekten kaçındıkları saptandı.
CEVAPLAYAMADIKLARI KONULARDA DAHA FAZLA HATA YAPIYORLAR
Ekip, her modelin ilk versiyonları ile birkaç nesil sonraki versiyonlarını test etti. OpenAI'ın GPT-3 modelinden GPT-4'e kadar olanki versiyonlar bu çalışmaya dahil edilirken, GPT-4o ve o1-preview gibi en son sürümler dahil edilmedi. Bu da, çalışmanın her modeli kapsamadığı anlamına geliyor.
Çalışmada sohbet robotları aritmetik, anagramlar, coğrafya ve bilim gibi farklı alanlarda binlerce soruyla test edildi. Ayrıca yapay zekaların bilgiyi dönüştürme becerileri (bir listeyi alfabetik sıraya koyma gibi) basit işlemlerle de sınandı. Araştırmacılar daha büyük ve gelişmiş yapay zeka modellerinin, küçük modellere kıyasla daha sık hata yaptığını ve "Bilmiyorum" deme oranlarının azaldığını gözlemledi.
Bu bağlamda yapay zeka, tıpkı daha fazla konuda ustalaştıkça her konuda bilgi sahibi olduğuna inanmaya başlayan bir profesöre benzetiliyor.
İNSANLAR, YANLIŞ CEVAPLARI DOĞRU KABUL EDİYOR
Durumu daha da karmaşık hale getiren bir diğer bulgu ise, sohbet robotlarının cevaplarını değerlendiren insanların yanılgıya düşmesi oldu. Araştırmada gönüllüler, yapay zekanın yanlış cevaplarını doğru olarak değerlendirme eğilimindeydi. Yanlış cevapların doğru olarak algılanma oranı yüzde 10 ile 40 arasında değişiyordu. Hernández-Orallo, bu sonuçlar ışığında "İnsanlar bu modelleri denetleyemiyor" ifadesini kullandı.
ÇÖZÜM ÖNERİSİ: KARMAŞIK SORULARDAN KAÇININ
Araştırma ekibi, bu sorunun önüne geçmek için yapay zeka geliştiricilerine bazı önerilerde bulundu. Chatbot'ların basit sorularda daha yüksek performans göstermesi için optimizasyon yapılması gerektiğini belirten ekip, yapay zekaların karmaşık sorulara cevap vermemesi ve bu tür soruları reddedecek şekilde programlanması gerektiğini savundu.
Hernández-Orallo, "İnsanların şunu anlamasına ihtiyacımız var: 'Bunu şu alanda kullanabilirim ama şu alanda kullanmamalıyım'" diye konuştu.
ŞİRKETLERİN ÖNCELİĞİ: DAHA FAZLA KAZANÇ
Ancak bu önerilerin uygulamaya geçme ihtimali düşük görünüyor. Zira daha sık "Bilmiyorum" diyen bir sohbet robotu, kullanıcılar tarafından daha az gelişmiş veya değerli olarak algılanabilir. Bu da, yapay zeka şirketlerinin gelirini düşürebileceği için büyük firmaların bu önerilere uymayacağı üzerinde duruluyor.
Bunun yerine "ChatGPT hata yapabilir" veya "Gemini hatalı bilgi gösterebilir" gibi uyarılarla yetiniliyor. Dolayısıyla sohbet robotlarının vermiş olduğu yanlış bilgileri tespit etmek, büyük oranda kullanıcıların sorumluluğuna kalıyor.
