Yapay zeka tespit araçlarına mahkemede güvenilmez uyarısı

ChatGPT ve Claude gibi yapay zeka modelleri, yazı işlerinde giderek daha fazla kullanılıyor. Bu araçlarla üretilen metinler gazetelerin görüş sayfalarından sosyal medya hesaplarına kadar her yerde karşımıza çıkıyor. Hollanda Başbakanı Dick Jetten'in, İkinci Dünya Savaşı sonrası Westerbork'ta yerleştirilen Moluk toplumundan özür metnini yapay zeka yardımıyla yazması ise tepki çekti. Jetten, RTL Nieuws'e yaptığı açıklamada metinleri kendisinin yazıp kontrol ettiğini, yapay zekayı yalnızca daha iyi hale getirmek için kullandığını söyledi.

Peki insanların metin yazmak için yapay zekaya başvurması neden önemli? Teknoloji felsefecisi Joris Krijger'e göre bu, okuma deneyimini doğrudan etkiliyor: "Bir metni okumak için çaba harcıyorsam, yazarın da o metne çaba harcadığını bilmek benim için önemli." Krijger, yapay zekanın bu durumu değersizleştirdiğini belirtiyor. "Herkes artık mükemmel bir metin yazabiliyor" diyen Krijger, bunun kişisel niteliklerin göstergesi olma özelliğini yitirdiğini ifade ediyor.

Utrecht Uygulamalı Bilimler Üniversitesi'nden yapay zeka okutmanı Stefan Leijnen ise yapay zeka ile yazmanın, düşüncenin bir kısmını bilgisayara devretmek anlamına geldiğini söylüyor. "Kısmen bu yüzden yapay zeka kullanıyoruz, çünkü bilgisayar daha hızlı ve bazı noktalarda bizden daha iyi. Ancak bu süreçte ne kaybediyorsunuz? Metin belki daha iyi oluyor ama siz kendiniz o kadar iyi olamıyorsunuz" diyor.

Jetten'in mesajları nasıl ortaya çıktı?

Jetten'in mesajları yapay zeka yardımıyla hazırladığı, ancak Volkskrant gazetesinin araştırmasıyla ortaya çıktı. Araştırmada, yapay zeka metinlerini analiz eden ve tanıyan en bilinen araçlardan biri olan Pangram kullanıldı. Pangram, yapay zeka metinlerinde sık görülen kalıpları, örneğin tahmin edilebilir kelime seçimlerini ve cümle yapılarını arıyor. Buradan yola çıkarak bir metnin yapay zeka tarafından yazılma olasılığını hesaplıyor ve yüzde olarak sunuyor.

Pangram son dönemde adından sıkça söz ettirdi. Yazar Thélyson Orélien'in "C'était ça ou mourir" adlı romanı, bir Fransız kitap ödülünün uzun listesine girmişti. Ancak el yazmasının neredeyse tamamen yapay zeka ile yazıldığı ortaya çıktı. Orélien her şeyi kendisinin yazdığını savunsa da Pangram'ın yüksek puanı nedeniyle şüpheleri üzerine çekti. Leijnen'e göre insanlar beyinlerindeki çeşitlilik nedeniyle dil modellerinden farklı yazıyor. Bu nedenle Orélien listeden çıkarıldı. Kitap, yaşanan tartışmaların ardından çok satanlar arasına girmeye başladı.

Leijnen, aracın sonuçlarının genellikle doğru olduğunu, özellikle uzun metinlerde sık sık haklı çıktığını belirtiyor. Ancak Pangram kendisi de aracın hiçbir zaman yüzde yüz kesinlik vermediğini duyuruyor. "Pangram, kontrol edilen metinlerin yüzde 0,0041'inin yanlış olduğunu iddia ediyor. Milyonlarca kontrol düşünüldüğünde bu yine de yüzlerce metnin haksız yere yapay zeka olarak işaretlenmesi anlamına gelir" diyen Leijnen, "Söyle diyeyim: Bir mahkeme salonunda yalnızca Pangram'ın sonucu tek başına geçerli olmamalı" ifadelerini kullanıyor.

İnsan mı yapay zeka mı tartışması

Avrupa Birliği'nin Yapay Zeka Yasası kapsamında, bir metnin yapay zeka veya insan tarafından yazıldığının netleşmesi gerekiyor. Peki bu durumda her metni değerlendirmek için yapay zeka araçlarından geçirmeli miyiz? Krijger, bunun şu anda sıkça yapılması gerektiğini düşünüyor. "Toplum olarak bu konuda yürütmemiz gereken tartışma için bu iyi" diyor ve metinlerde yapay zekanın istenip istenmediğine dair normları belirleyebileceğimizi ekliyor.

Krijger'e göre yapay zeka insanların güven duygusunu etkiliyor. "İnsanlar bir metnin yapay zeka ile yapıldığını bilirse onu genellikle daha az güzel buluyor. Birinin bir şeye çaba harcamasını önemsiyoruz. İnsanlar başkalarıyla bağ kurmak istiyor. Yapay zeka bu bağı bozuyor. Hikaye artık samimi hissettirmiyor" diyor.

Uzmanlar Pangram veya diğer tespit araçlarının kullanımına karşı değil, ancak değerlendirmede daha fazla bağlam görmek istiyor. Bir metindeki insanlık yüzdesi her şeyi söylemiyor. Belki metin bir insan tarafından yazıldı ama cümleleri iyileştirmek veya zor terimleri basitleştirmek için yapay zekadan yararlanıldı. Yapay zeka metinlerini değiştirmek veya kendi metinlerini yapay zeka ile tamamlamak, aracın yapıştırdığı puanı sulandırıyor.

Krijger'e göre bir okuyucu öncelikle yapay zekanın yazma sürecinde ne için kullanıldığını bilmek istiyor. "Bu, okunabilirliği artırmak ve kaynak bulmak için mi? Bu, yazma işini devralmaktan çok farklı bir şey. Okuyucu olarak, özgün fikrin yazarın kendisinden gelip gelmediğini bilmek istiyorsunuz. Bunu bir dedektör tanıyamaz" diyor.

Bu konuda yürütülmesi gereken tartışmanın sonuçlarından biri de bir metnin yapay zeka ile yazılmış olmasının çok da önemli olmadığı yönünde. "Belki yapay zeka tarafından yazılan spor raporlarını sorun etmeyiz ama derinlemesine bir analizde bu daha kötü hissettirir" diyen Krijger, bilimsel çalışmaların politik çerçevelerin oluşturulmasına yardımcı olabileceğini belirtiyor. Leijnen ise "Henüz ne yapacağımızı tam olarak bilmiyoruz. Bu kuralları birlikte koymalıyız" diyor.