Halka arzda 2 trilyon dolarlık değerlemeyi gözüne kestiren Anthropic'in, yani Claude'u geliştiren şirketin yatırımcılara sunmaya hazırlandığı belgelerde iş modelinden çok "insanlığın sonu" konuşuluyor. Belgeler henüz kamuoyuna açıklanmadı; içeriğini Reuters ve Financial Times'a sızan bilgilerden öğreniyoruz. Şirket olası yatırımcılarına lafı dolandırmadan şunu söylüyor: “Gelişmiş yapay zeka, insanlık için felaket veya varoluşsal riskler oluşturabilir.”
Halka arza giden her şirket mali tablosunu ve karşılaşabileceği riskleri yatırımcıya anlatır, bunda şaşılacak bir şey yok. Şaşırtıcı olan, risk listesinde insanlığın yok olmasının da yer alması. Reuters'ın aktardığı rakamlar dengenin nereye kaydığını gösteriyor: 261 sayfalık metnin 80 sayfası risk faktörlerine ayrılmış, iş modeline düşen pay ise 48 sayfa.
Anthropic'in hedefi küçük değil; Elon Musk'ın SpaceX'i için konuşulan 1,8 trilyon dolarlık değerlemeyi de aşmak istiyor. Aynı şirket, kendi ürettiği teknolojinin "kapatılmaya direnme", "bilgi gizleme ve manipüle etme", hatta "şantaja benzeyen" kendini koruma davranışları gösterebileceğini yatırımcılarına yazılı olarak bildiriyor. Belgede, yapay zekanın test edildiğini fark edebileceği ihtimaline de yer veriliyor. "Modellerimizin geliştirilmesi ve kullanım alanlarının genişletilmesi, zarar riskini daha da artırabilir" diyen şirketten konuya dair doyurucu bir açıklama ise henüz gelmedi.
Bu uyarılar bir anda ortaya çıkmadı. Son haftalarda şirketin içinden yükselen itirazlar şimdi resmi belgeye girmiş oldu. Anthropic araştırmacısı Jacob Coxon, yapay zeka geliştiricilerinin "on yılın sonuna kadar hepimizi öldürebileceğine içtenlikle inandıklarını" söyleyip istifa etmişti. Ondan kısa süre sonra kıdemli bir güvenlik araştırmacısı daha X'te (eski adıyla Twitter) konuştu; teknolojinin önümüzdeki on yılda "tüm insanları öldürme" ihtimalinin yüzde 10'un üzerinde olduğunu öne sürdü. Bu çıkışların ardından CEO Dario Amodei de sektörün "yetkinlik geliştirme hızını yavaşlatması gerektiği" çağrısını yaptı. Şirketin tepesindeki ismin fren istemesi, işin ne kadar ciddiye alındığını anlatmaya yetiyor.
Herkes aynı fikirde değil elbette. Kimi uzmanlar "varoluşsal risk" senaryolarını bilim dışı ve doğrulanamaz buluyor. Öte yandan endişeleri besleyen somut olaylar da yaşandı: İnsan müdahalesi olmadan çalışan otonom sistemler (OpenAI ajanları gibi), yapay zeka girişimi Hugging Face'in ve Avustralya'nın evrensel sağlık sisteminin de aralarında bulunduğu çok sayıda kuruluşu hackledi. İzinsiz davranış artık kâğıt üzerindeki bir ihtimal olmaktan çıktı.
Sektörün öbür büyük oyuncusu OpenAI da benzer bir noktaya geldi ve en yeni modeli GPT-6.1 Astra'yı piyasaya sürmekten vazgeçti. Gerekçe tanıdık: güvenlik endişeleri. Şirketin açıklamasına göre model yüksek düzeyde yanıltıcı davranıyor, insan değerlerine uygunluğu ölçen testleri de geçemiyor.
Teknoloji dünyası bir yandan trilyon dolarlık değerlemelerin peşinde koşuyor. Öbür yandan kendi yarattığı, sınırlarını bugün tam olarak kestiremediği bu gücün dizginlerini nasıl elinde tutacağını hesaplamaya çalışıyor.