Güvenlik, Mahremiyet ve Yönetişim

Genel amaçlı bir yapay zekâ uygulamasının risk profili ile küçüklerle etkileşen, hassas kişisel veri işleyen ve kurumsal kararları etkileyen bir eğitim sisteminin risk profili aynı değildir. Bu bölüm, ikinciye özgü tehditleri tanımlar ve mimarideki karşılıklarını gösterir.

Bir öğrenci, akademik bir sistemle konuşurken duygusal sıkıntı veya kriz göstergesi taşıyan bir ifade kullanabilir.

Bu, tasarlanmış bir kullanım senaryosu olmasa bile gerçekleşen bir durumdur ve sistemin buna hazırlıklı olması zorunludur. Riskin ciddiyeti, üretken modellerin bu tür durumlarda yanlış bilgi üretebilmesinden kaynaklanır: hatalı bir yardım hattı numarası veya yanlış bir yönlendirme, hayati sonuç doğurabilir.

Bu risk kuramsal değildir; üretken sistemlerin küçüklerle etkileşiminde yaşanan zararlar, düzenleyici tartışmaların merkezinde yer almaktadır.

Sistemin izlediği sinyal uzayı yalnızca akademik değildir.

Duygusal ton değişimleri, etkileşim örüntüsündeki kırılmalar, devam düzensizliği, çalışma temposundaki anormallikler ve iletişimden çekilme — bunlar pedagojik anlam taşıyan sinyallerdir ve kurumsal karar döngüsüne bağlanır. Klasik bir öğrenci bilgi sistemi bu sinyalleri görmez; genel amaçlı bir asistan görse bile iletecek bir kurumsal muhatap bulamaz.

Bu, §1.1.2’deki üç yapısal eksiğin duygusal alandaki karşılığıdır.

Öğrenci verisi, veri koruma çerçevelerinde sıradan kişisel veriden farklı bir konumdadır:

Üçüncü-parti mimaride öğrenci verisi zorunlu olarak kurum dışına çıkar: sağlayıcının altyapısına aktarılır, sağlayıcının saklama politikasına tabi olur, çoğu zaman sınır ötesi aktarım söz konusu olur ve kurumun denetimi sözleşmesel bir taahhüde indirgenir.

Kuruma-gömülü mimaride ise kalıcı öğrenci kaydı, uzunlamasına ustalık geçmişi, rehberlik notları ve duygusal sinyaller kurumun kendi altyapısında kalır. Dış model sağlayıcılarına giden şey, bağlam derlemesinden geçmiş ve rol filtrelerinden süzülmüş asgari bilgidir — ham veritabanı değil.

Kuruma-gömülülük yalnızca pedagojik bir tercih değil, aynı zamanda bir veri yönetişimi tercihidir: veri, onu üreten ve hukuken sorumluluğunu taşıyan kurumun egemenliğinde kalır. Bu, çalışmanın en az tartışılan ama pratikte en belirleyici avantajlarından biridir.

Mahremiyet, tek bir kontrol noktasına değil birden çok bağımsız katmana dayanır.

Sistemde uygulanan katmanlar — ilke düzeyinde, uygulama ayrıntısı verilmeden: (1) Kapsam zorlaması. Öğrenci sorguları kendi kaydına kilitlenir; kilit erişim katmanında uygulanır, arayüzde değil. (2) Alan düzeyinde sıyırma. Belirli veri sınıfları (risk değerlendirmesi, devam örüntüsü, duygusal sinyaller) öğrenci bağlamında oluşturulan veri yapısından çıkarılır — yani modele dahi ulaşmaz. Bu, “model görür ama söylemez” yaklaşımından farklıdır ve daha güçlüdür. (3) Rol bazlı filtreleme. Sunucu tarafında oluşturulan veri yükü, rolün yetkisine göre budanır.

Yetkisiz rolün yükünde ilgili bölüm hiç bulunmaz. (4) Talimat düzeyi kural. Model davranış kuralları, yukarıdaki teknik kısıtları tekrarlar. Tek başına yeterli değildir; katmanlardan biridir. (5) Gönderim katmanı bloğu. Dışa dönük iletişim, en son katmanda ayrıca denetlenir (§8.4). Bu katmanların bağımsızlığı kritiktir: birinin atlanması diğerlerini devre dışı bırakmaz.

Çoklu kullanıcı ve paralel işlem yürütme, teknik bir mahremiyet riski doğurur: çağıran kimliğinin yanlış bağlama sızması. Sistemde çağıran kimliği, paylaşılan durum yerine yürütme bağlamına bağlı olarak taşınır; böylece eşzamanlı iki kullanıcının verisi karışamaz. Bu ayrıntı, mimarinin mahremiyet açısından en kritik teknik kararlarından biridir ve ayrı testlerle doğrulanmaktadır (§4.5.2).

Yukarıdaki kararların ortak özelliği, hepsinin tasarım aşamasında alınmış olmasıdır. Veri koruma literatüründeki temel ilke — mahremiyetin sonradan eklenen bir özellik değil baştan gömülen bir kısıt olması — sistemde kelime anlamıyla uygulanmıştır: veri yapıları, rol yetkileri ve akış kısıtları en baştan bu ilkeye göre tanımlanmıştır.

Sistemin öğrenciye kendiliğinden mesaj gönderme yeteneği varsayılan olarak kapalıdır ve bu kısıt gönderim katmanında uygulanır — üst katmanlarda bir hata olsa dahi mesaj çıkmaz. Kural, sistemin kendiliğinden başlattığı dış iletişimi — yani alıcıdan gelen bir istek olmaksızın sistemin kendi inisiyatifiyle ürettiği mesajı — kapsar ve varsayılan olarak kapalı olup gönderim öncesi insan onayı gerektiren yalnızca bu sınıftır; öğrencinin kendisinin başlattığı bir etkileşime, önceden onaylanmış akademik kapsam içinde verilen yanıt bu anlamda dışa dönük iletişim değildir ve izinlidir. Bu bir yetenek eksikliği değil, bilinçli bir yönetişim kararıdır.

Bildirim yeteneği tümüyle devre dışı bırakılmamış; gölge modda çalıştırılmaktadır.

Sistem bildirimleri üretir, kaydeder, ancak göndermez. Yetkili kişi bu bildirimleri inceleyerek isabetliliğini değerlendirir.

Bu, §3.3’teki sinyal olgunlaşma protokolünün uygulanmasıdır: bir bildirim sınıfı, ancak yeterli sicil biriktirdikten ve insan incelemesinden geçtikten sonra etkinleştirilebilir.

Bir tasarım kuralı özellikle belirtilmelidir: gerekli bileşenleri eksik olan bir bildirim hiç üretilmez.

Sistem, elindeki veriyle en zengin geçerli varyantı üretir; bu da mümkün değilse bildirim oluşturmaz. Gerekçe, eksik bağlamlı bir bildirimin yanıltıcı olmasıdır.

“Öğrencinizin performansı düştü” mesajı, hangi derste, ne kadar ve kurumun ne yaptığı bilgisi olmadan zarar üretir (§6.4).

Bildirimler, üretken modelle serbest metin olarak üretilmez; şablon temelli ve deterministiktir.

Bu noktada üretim gerçekleşmediği için, bir bildirim doğrulanmamış içerik taşıyamaz. Bu ifadenin kapsamı dar okunmalıdır; halüsinasyonun ortadan kaldırıldığı iddiası değildir. Dışlanan şey, bildirim metni içinde doğrulanmamış içeriğin üretilmesidir — çünkü üretim yoktur; bildirim, şablonun içine koymadığı bir şeyi öne süremez. Bundan, bildirimin zorunlu olarak doğru olduğu sonucu çıkmaz: hatalı bir sinyalle beslenen deterministik bir şablon, akıcı ve kendinden emin bir yanlış üretir.

Gölge mod ve §8.4.3’teki olgunlaşma protokolü tam da bu artık riski ele almak için vardır. Bu tercih, ifade zenginliğinden feragat etmek anlamına gelir. Yüksek riskli bir iletişim kanalında bu değiş tokuş bilinçli olarak kabul edilmiştir.

Sistemde yapılan bir denetimde, üretilen iddialardan dördünün veri desteğinden yoksun olduğu tespit edilmiştir; bunlar dört ayrı kusur türüne karşılık gelmektedir: sayısal bir değerin yanlış aktarılması, bir zaman penceresinin aşılarak “dönem boyunca” biçiminde genelleme yapılması, bayat verinin güncel gibi sunulması ve bir listenin eksik bırakılması.

Bu tespit sonrası, her kusur türüne karşılık gelmek üzere dört kural eklenmiştir: zaman penceresi aşımı yasağı, bayat verinin etiketlenmesi, araç çıktısı ile veritabanı arasında çapraz doğrulama ve liste bütünlüğü denetimi. Vakanın kaydedilmesi bilinçlidir.

Halüsinasyon savunmalarının etkinliği, ancak gerçek başarısızlıklar üzerinden gösterilebilir; savunmaların varlığını iddia etmek ile denetimde yakalanan hataları raporlamak farklı güvenilirlik düzeylerindedir (§9.8).

Düzenleyici çerçeveler, eğitimde kullanılan yapay zekâ sistemlerini yüksek riskli kategoride değerlendirme eğilimindedir. Bu kategori; risk yönetimi, veri yönetişimi ve insan gözetimi yükümlülükleri getirir. Küçüklerle etkileşen sistemler için kriz protokolleri ve hesap verebilirlik beklentisi ayrıca artmaktadır.

İz Kapsam Erişim izi Hangi rol, hangi veriye, ne zaman erişti Karar izi Bir yanıtın hangi katmanlardan geçtiği, hangi kaynaklara dayandığı Onay izi Hangi eylem, kim tarafından, ne zaman onaylandı İz Kapsam Değişiklik izi Sistemde yapılan her değişiklik, sürüm kontrolünde (§7.3) Bildirim izi Gölge modda üretilen bildirimlerin kaydı (§8.4.3)

Mimarinin yüksek riskli kategori yükümlülüklerini sonradan karşılamak üzere değil, baştan bu ilkelerle kurulmuş olması önemlidir: pedagojik sonuç doğuran her eylemde insan onayı (D1), varsayılan kapalı otomatik erişim, rol bazlı veri sıyırma ve denetim izi. Bu nedenle çalışmanın iddiası “uyumluyuz” demenin ötesindedir: yüksek riskli eğitim yapay zekâsının yönetişiminin pratikte nasıl kurulabileceğine dair bir referans uygulama sunulmaktadır.

Geliştirici-sahip kimliğinin yarattığı yanlılık riski (§3.5.6, §11.2), yalnızca iç denetimle giderilemez. Çalışma, bu nedenle bağımsız değerlendirmeye açık bir davet içermektedir (§11.4): mimarinin, yönetişim kararlarının ve değerlendirme protokollerinin dış inceleme için erişilebilir kılınması.

Bu bölümde — ve çalışmanın tamamında — güvenlik mekanizmaları mimari düzeyde anlatılmış, uygulama ayrıntıları verilmemiştir.

Eşik değerleri, kural kalıpları, yapılandırma adları ve dosya yolları paylaşılmamaktadır. Bunun iki gerekçesi vardır. Güvenlik: bir savunma mekanizmasının tam uygulama ayrıntısının yayımlanması, o savunmanın atlatılmasını kolaylaştırabilir.

Akademik norm: hakemli sistem literatüründe zaten kaynak kod veya yapılandırma değil, tasarım gerekçesi ve ödünleşimler paylaşılır. Bu tercih, kavramsal replikasyonu engellemez: EK A’da, uygulama ayrıntısı olmadan aynı mimarinin kurulabilmesi için gereken arayüz sözleşmeleri ve tasarım ilkeleri verilmiştir.

Bu çalışmadaki değerlendirmenin temel ilkesi, farklı türdeki iddiaların farklı kanıt standartlarına tabi tutulmasıdır. Üç tür ayrılmıştır: Tür Örnek Gerekli kanıt Bölüm A — Sistem iddiaları “Şu mekanizma kuruldu ve şöyle çalışıyor” Belgeleme + ölçüm §9.2–§9.4 B — Güvenilirlik iddiaları “Şu kısıt her koşulda uygulanıyor” Denetim + test

Ölçülenler: erişim kalitesi, tanıma doğruluğu, yönlendirme dağılımı ve eskalasyon, gecikme ve kapasite, test kapsamı ve regresyon, sistem güvenilirliği, erişim denetimi bütünlüğü, simge verimliliği. Ölçülmeyenler: öğrenme çıktısı, akademik başarı etkisi, öğretmen verimliliği, öğrenci motivasyonu, uzun vadeli davranış değişimi. Bu ayrım bir eksiklik itirafı değil, bir kapsam beyanıdır: ölçülmemiş şeyler hakkında iddia üretilmemiştir.

Sistem sürekli değiştiğinden, tüm ölçümler bir zaman kesitine aittir. Raporlanan her değer, ait olduğu ölçüm bağlamıyla birlikte ilgili alt bölümde verilmiştir; metin gövdesinde tekrar edilen sayılar bağımsız birer bulgu olarak değil, ilk raporlandıkları alt bölümün değeri olarak okunmalıdır.