Wikimedia Vakfı, açık bilgiye ücretsiz erişim sağlama misyonunu sürdürürken, yapay zeka şirketlerinin veri açlığıyla mücadele ediyor. Özellikle Wikimedia Commons üzerinden yapılan multimedya indirmelerinde son aylarda yaşanan yüzde 50'lik artış, bilgiye susamış insanlardan değil, veri kazıyan otomatik botlardan kaynaklanıyor. Bu durum, hem sistem kaynaklarını tüketiyor hem de maliyetleri artırarak açık internetin sürdürülebilirliğini tehdit ediyor.
Wikipedia ve birkaç diğer topluluk kaynaklı bilgi projesinin çatı kuruluşu olan Wikimedia Vakfı, çarşamba günü yaptığı açıklamada, Wikimedia Commons üzerinden yapılan multimedya indirmelerinde Ocak 2024'ten bu yana yüzde 50 oranında bir bant genişliği artışı yaşandığını belirtti.
Şirket söz konusu artışın nedeninin bilgiye susamış insanlar değil, yapay zeka modellerini eğitmek isteyen otomatik, veriye aç 'web kazıma uygulamalarından' gelen talebin artması olduğunu bildirdi.
Web kazıma (web scraping) işlemi, internet sitelerinden veri çekme işlemi olarak biliniyor. Genellikle bir otomasyon aracı veya bilgisayar yazılımı aracılığıyla gerçekleştirilen işlemin amacı; web sayfalarındaki metin, görüntü, bağlantı, veritabanlarından veri ve diğer bilgileri almak amacıyla internet üzerindeki çeşitli kaynaklardan bilgi toplamaktır.
Vakfın yayınladığı blog yazısında şu ifadelere yer verildi:
"Altyapımız, yüksek ilgi çeken olaylar sırasında insanlardan gelen ani trafik artışlarını sürdürecek şekilde inşa edildi. Ancak kazıyıcı botlar tarafından üretilen trafik miktarı benzeri görülmemiş düzeyde, artan riskler ve maliyetler doğuruyor."
Wikimedia Commons, açık lisanslar altında bulunan veya başka bir şekilde kamu malı olan fotoğraf, video ve ses dosyalarının serbestçe erişilebildiği bir depodur.
Wikimedia en "pahalı" trafiğin yani sistem kaynaklarını en çok tüketen veri aktarımının yaklaşık yüzde 65'inin botlardan geldiğini belirtiyor. Buna karşın, sayfa görüntülemelerinin sadece yüzde 35'i bu botlara ait. Bu farkın nedeni, sıkça erişilen içeriklerin kullanıcıya yakın önbelleklerde tutulması, daha az erişilen içeriklerin ise "çekirdek veri merkezinden" sunulması.
Bu çekirdek merkezden sunum, maliyet açısından çok daha yükseğe mal oluyor. Ve botlar genelde bu az erişilen içeriklerin peşine düşüyor.
Wikimedia, "İnsan okuyucular belirli (genellikle benzer) konulara odaklanma eğilimindeyken, tarayıcı botlar çok sayıda sayfayı 'toplu okuma' ve daha az popüler sayfaları da ziyaret etme eğiliminde. Bu, bu tür isteklerin çekirdek veri merkezine iletilme olasılığının daha yüksek olduğu anlamına geliyor. Bu da kaynaklarımızın tüketimi açısından çok daha pahalı hale geliyor" dedi.
Tüm bunların özeti şu: Wikimedia Vakfı'nın site güvenilirliği ekibi, normal kullanıcılar için bir kesinti yaşanmaması adına botları engellemek için ciddi zaman ve kaynak harcamak zorunda kalıyor. Üstelik bu durumun meydana getirdiği bulut bilişim maliyetleri henüz hesaba katılmış bile değil.
Bu, aslında açık internetin varlığını tehdit eden bir trendin parçası. Geçen ay, yazılım mühendisi ve açık kaynak savunucusu Drew DeVault, AI botlarının otomatik trafiği önlemek için kullanılan "robots.txt" dosyalarını umursamadığından şikayet etmişti. Mühendis Gergely Orosz da Meta gibi şirketlerden gelen yapay zeka botlarının, kendi projelerinde bant genişliği taleplerini artırdığını belirtti.
İLGİLİ HABERLER
Google Play
App Store
Haberi Paylaş
09:29
YORUM YAZ