Öğrenci verisi nasıl korunur, kim neyi görür, KVKK yükümlülükleri mimariye nasıl gömülür.
Bir eğitim kurumunda tutulan veri hassas veridir; erişim varsayılan olarak kapalıdır ve yalnız gerekçesiyle açılır.
Genel amaçlı bir yapay zekâ uygulamasının risk profili ile küçüklerle etkileşen, hassas kişisel veri işleyen ve kurumsal kararları etkileyen bir eğitim sisteminin risk profili aynı değildir. Bu bölüm, ikinciye özgü tehditleri tanımlar ve mimarideki karşılıklarını gösterir.
Bu tehdit modelinin temelinde bir asimetri vardır: yukarıdaki zararların çoğu geri döndürülemez veya geri döndürülmesi çok pahalıdır.
Yanlış bir risk bildirimi geri alınamaz — aile onu görmüştür. Sızan bir veri geri çağrılamaz.
Kaybedilen kurumsal güven, yeniden kazanılması en zor varlıktır. Bu asimetri, tüm bölüm boyunca tekrarlanan bir tasarım tercihini gerekçelendirir: belirsizlik durumunda sistem eylemsizlik yönünde karar verir.
Kaçırılan bir fırsat, yapılan bir zarardan daha kabul edilebilirdir.
Bir öğrenci, akademik bir sistemle konuşurken duygusal sıkıntı veya kriz göstergesi taşıyan bir ifade kullanabilir.
Bu, tasarlanmış bir kullanım senaryosu olmasa bile gerçekleşen bir durumdur ve sistemin buna hazırlıklı olması zorunludur. Riskin ciddiyeti, üretken modellerin bu tür durumlarda yanlış bilgi üretebilmesinden kaynaklanır: hatalı bir yardım hattı numarası veya yanlış bir yönlendirme, hayati sonuç doğurabilir.
Bu risk kuramsal değildir; üretken sistemlerin küçüklerle etkileşiminde yaşanan zararlar, düzenleyici tartışmaların merkezinde yer almaktadır.
Katman İşlev Neden böyle (1) Deterministik güvenlik ağı Kriz göstergesi tespit edildiğinde, yanıtın güvenlik bileşeni modele bırakılmaz. Yönlendirme bilgisi, insan tarafından bakımı yapılan, üretilmemiş, küratörlü bir kaynaktan sunulur; modelin ürettiği bilgi bu bileşenden kategorik olarak temizlenir Güvenlik-kritik bilgi olasılıksal üretime emanet edilemez (§4B.4.3’teki kuralın uygulaması) (2) İnsana yükseltme Sinyal, yetkili uzmana (rehberlik) gecikmesiz iletilir Klinik değerlendirme sistemin değil uzmanın işidir (3) Yönetişim sınırı Öğrenciye yönelik otomatik dışa dönük iletişim varsayılan kapalıdır §8.4
Bu mekanizmanın nasıl tarif edildiği önemlidir.
Sistem, krizde otonom olarak müdahale eden bir aktör değildir. Yaptığı şey şudur: Kriz göstergesini yakalar, yönlendirme bilgisini insan tarafından bakımı yapılan, üretilmemiş (non-generated), küratörlü bir kaynaktan sunar ve yetkili insanı gecikmesiz devreye sokar.
“Sistem acil durumda otomatik aksiyon alır” biçimindeki bir ifade, hem yanlış hem de küçüklerin ruh sağlığı bağlamında savunulamaz olurdu. Yukarıdaki ifade ise daha dardır ve buna bağlı olarak daha savunulabilirdir: sunulan bilginin kaynağını ve yükseltmenin gecikmesizliğini tarif eder, bunların ötesinde bir şey iddia etmez.
Bilginin doğru olduğuna dair bir garanti değildir — yönlendirme içeriğinin doğruluğu, küratörlük sürecinin ve o süreci yürüten insanların bir özelliğidir; §8.5’te tartışılan artık hata oranı ise sıfır değildir. Bu ayrım ayrıntılandırılmayı hak eder, çünkü yukarıdaki paragrafı fiilen var olan bir yetenek karşısında gösterilen bir tevazu olarak okumak kolaydır.
Sistem klinik triyaj yapmaz, ciddiyet derecesi belirlemez, tanı koymaz ve profesyonel muhakemenin yerini alacak hiçbir adım atmaz. Katkısı iki şeyle sınırlıdır: öğrencinin karşısına çıkan bilginin üretilmiş değil, insan tarafından bakımı yapılan küratörlü bir kaynaktan sunulması ve yetkili bir kişinin gecikmeden haberdar edilmesi.
O noktadan sonrası bir insan sürecidir ve mimaride bunun aksini mümkün kılacak bir yol bulunmamaktadır.
Sistemin izlediği sinyal uzayı yalnızca akademik değildir.
Duygusal ton değişimleri, etkileşim örüntüsündeki kırılmalar, devam düzensizliği, çalışma temposundaki anormallikler ve iletişimden çekilme — bunlar pedagojik anlam taşıyan sinyallerdir ve kurumsal karar döngüsüne bağlanır. Klasik bir öğrenci bilgi sistemi bu sinyalleri görmez; genel amaçlı bir asistan görse bile iletecek bir kurumsal muhatap bulamaz.
Bu, §1.1.2’deki üç yapısal eksiğin duygusal alandaki karşılığıdır.
Öğrenci verisi, veri koruma çerçevelerinde sıradan kişisel veriden farklı bir konumdadır:
Üçüncü-parti mimaride öğrenci verisi zorunlu olarak kurum dışına çıkar: sağlayıcının altyapısına aktarılır, sağlayıcının saklama politikasına tabi olur, çoğu zaman sınır ötesi aktarım söz konusu olur ve kurumun denetimi sözleşmesel bir taahhüde indirgenir.
Kuruma-gömülü mimaride ise kalıcı öğrenci kaydı, uzunlamasına ustalık geçmişi, rehberlik notları ve duygusal sinyaller kurumun kendi altyapısında kalır. Dış model sağlayıcılarına giden şey, bağlam derlemesinden geçmiş ve rol filtrelerinden süzülmüş asgari bilgidir — ham veritabanı değil.
Kuruma-gömülülük yalnızca pedagojik bir tercih değil, aynı zamanda bir veri yönetişimi tercihidir: veri, onu üreten ve hukuken sorumluluğunu taşıyan kurumun egemenliğinde kalır. Bu, çalışmanın en az tartışılan ama pratikte en belirleyici avantajlarından biridir.
Mahremiyet, tek bir kontrol noktasına değil birden çok bağımsız katmana dayanır.
Sistemde uygulanan katmanlar — ilke düzeyinde, uygulama ayrıntısı verilmeden: (1) Kapsam zorlaması. Öğrenci sorguları kendi kaydına kilitlenir; kilit erişim katmanında uygulanır, arayüzde değil. (2) Alan düzeyinde sıyırma.
Belirli veri sınıfları (risk değerlendirmesi, devam örüntüsü, duygusal sinyaller) öğrenci bağlamında oluşturulan veri yapısından çıkarılır — yani modele dahi ulaşmaz. Bu, “model görür ama söylemez” yaklaşımından farklıdır ve daha güçlüdür. (3) Rol bazlı filtreleme.
Sunucu tarafında oluşturulan veri yükü, rolün yetkisine göre budanır. Yetkisiz rolün yükünde ilgili bölüm hiç bulunmaz. (4) Talimat düzeyi kural.
Model davranış kuralları, yukarıdaki teknik kısıtları tekrarlar. Tek başına yeterli değildir; katmanlardan biridir. (5) Gönderim katmanı bloğu.
Dışa dönük iletişim, en son katmanda ayrıca denetlenir (§8.4). Bu katmanların bağımsızlığı kritiktir: birinin atlanması diğerlerini devre dışı bırakmaz.
Çoklu kullanıcı ve paralel işlem yürütme, teknik bir mahremiyet riski doğurur: çağıran kimliğinin yanlış bağlama sızması. Sistemde çağıran kimliği, paylaşılan durum yerine yürütme bağlamına bağlı olarak taşınır; böylece eşzamanlı iki kullanıcının verisi karışamaz. Bu ayrıntı, mimarinin mahremiyet açısından en kritik teknik kararlarından biridir ve ayrı testlerle doğrulanmaktadır (§4.5.2).
Yukarıdaki kararların ortak özelliği, hepsinin tasarım aşamasında alınmış olmasıdır. Veri koruma literatüründeki temel ilke — mahremiyetin sonradan eklenen bir özellik değil baştan gömülen bir kısıt olması — sistemde kelime anlamıyla uygulanmıştır: veri yapıları, rol yetkileri ve akış kısıtları en baştan bu ilkeye göre tanımlanmıştır.
Sistemin öğrenciye kendiliğinden mesaj gönderme yeteneği varsayılan olarak kapalıdır ve bu kısıt gönderim katmanında uygulanır — üst katmanlarda bir hata olsa dahi mesaj çıkmaz. Kural, sistemin kendiliğinden başlattığı dış iletişimi — yani alıcıdan gelen bir istek olmaksızın sistemin kendi inisiyatifiyle ürettiği mesajı — kapsar ve varsayılan olarak kapalı olup gönderim öncesi insan onayı gerektiren yalnızca bu sınıftır; öğrencinin kendisinin başlattığı bir etkileşime, önceden onaylanmış akademik kapsam içinde verilen yanıt bu anlamda dışa dönük iletişim değildir ve izinlidir. Bu bir yetenek eksikliği değil, bilinçli bir yönetişim kararıdır.
Bildirim yeteneği tümüyle devre dışı bırakılmamış; gölge modda çalıştırılmaktadır.
Sistem bildirimleri üretir, kaydeder, ancak göndermez. Yetkili kişi bu bildirimleri inceleyerek isabetliliğini değerlendirir.
Bu, §3.3’teki sinyal olgunlaşma protokolünün uygulanmasıdır: bir bildirim sınıfı, ancak yeterli sicil biriktirdikten ve insan incelemesinden geçtikten sonra etkinleştirilebilir.
Bir tasarım kuralı özellikle belirtilmelidir: gerekli bileşenleri eksik olan bir bildirim hiç üretilmez.
Sistem, elindeki veriyle en zengin geçerli varyantı üretir; bu da mümkün değilse bildirim oluşturmaz. Gerekçe, eksik bağlamlı bir bildirimin yanıltıcı olmasıdır.
“Öğrencinizin performansı düştü” mesajı, hangi derste, ne kadar ve kurumun ne yaptığı bilgisi olmadan zarar üretir (§6.4).
Bildirimler, üretken modelle serbest metin olarak üretilmez; şablon temelli ve deterministiktir.
Bu noktada üretim gerçekleşmediği için, bir bildirim doğrulanmamış içerik taşıyamaz. Bu ifadenin kapsamı dar okunmalıdır; halüsinasyonun ortadan kaldırıldığı iddiası değildir.
Dışlanan şey, bildirim metni içinde doğrulanmamış içeriğin üretilmesidir — çünkü üretim yoktur; bildirim, şablonun içine koymadığı bir şeyi öne süremez. Bundan, bildirimin zorunlu olarak doğru olduğu sonucu çıkmaz: hatalı bir sinyalle beslenen deterministik bir şablon, akıcı ve kendinden emin bir yanlış üretir.
Gölge mod ve §8.4.3’teki olgunlaşma protokolü tam da bu artık riski ele almak için vardır. Bu tercih, ifade zenginliğinden feragat etmek anlamına gelir.
Yüksek riskli bir iletişim kanalında bu değiş tokuş bilinçli olarak kabul edilmiştir.
Katman Mekanizma Hedef Temellendirme Yanıtın kurumsal içerik havuzuna ve yetkili dış kaynaklara demirlenmesi (§4.4, §4B.5) Uydurma olgu Sembolik doğrulama Kesin hesabın deterministik motora yönlendirilmesi (§4B.4) Hesap hatası Erişim kalitesi Yeniden sıralama ile ilgisiz kaynak elenmesi (§4.4.2) Yanlış kaynağa dayalı açıklama Vaat–eylem tutarlılığı Veri çekme vaadi verip araç çağırmama durumunun tespiti (§4.5.3) Uydurulmuş veri Veri yorum kuralları Kapsayıcı iddiaların tarihsel sorgu olmadan üretilememesi Aşırı genelleme Katman Mekanizma Hedef Çapraz doğrulama Araç çıktısı ile veritabanı durumu arasındaki tutarsızlık denetimi Tutarsız yorum Kaynak sadakati Tanımlayıcı bilgilerin yeniden adlandırılamaması Bilgi kayması Eksiklik beyanı Beklenen–alınan karşılaştırması ve açık uyarı (§4.7.4) Eksik veri üzerinden yorum
Sistemde yapılan bir denetimde, üretilen iddialardan dördünün veri desteğinden yoksun olduğu tespit edilmiştir; bunlar dört ayrı kusur türüne karşılık gelmektedir: sayısal bir değerin yanlış aktarılması, bir zaman penceresinin aşılarak “dönem boyunca” biçiminde genelleme yapılması, bayat verinin güncel gibi sunulması ve bir listenin eksik bırakılması.
Bu tespit sonrası, her kusur türüne karşılık gelmek üzere dört kural eklenmiştir: zaman penceresi aşımı yasağı, bayat verinin etiketlenmesi, araç çıktısı ile veritabanı arasında çapraz doğrulama ve liste bütünlüğü denetimi. Vakanın kaydedilmesi bilinçlidir.
Halüsinasyon savunmalarının etkinliği, ancak gerçek başarısızlıklar üzerinden gösterilebilir; savunmaların varlığını iddia etmek ile denetimde yakalanan hataları raporlamak farklı güvenilirlik düzeylerindedir (§9.8).
Düzenleyici çerçeveler, eğitimde kullanılan yapay zekâ sistemlerini yüksek riskli kategoride değerlendirme eğilimindedir. Bu kategori; risk yönetimi, veri yönetişimi ve insan gözetimi yükümlülükleri getirir. Küçüklerle etkileşen sistemler için kriz protokolleri ve hesap verebilirlik beklentisi ayrıca artmaktadır.
İz Kapsam Erişim izi Hangi rol, hangi veriye, ne zaman erişti Karar izi Bir yanıtın hangi katmanlardan geçtiği, hangi kaynaklara dayandığı Onay izi Hangi eylem, kim tarafından, ne zaman onaylandı İz Kapsam Değişiklik izi Sistemde yapılan her değişiklik, sürüm kontrolünde (§7.3) Bildirim izi Gölge modda üretilen bildirimlerin kaydı (§8.4.3)
Mimarinin yüksek riskli kategori yükümlülüklerini sonradan karşılamak üzere değil, baştan bu ilkelerle kurulmuş olması önemlidir: pedagojik sonuç doğuran her eylemde insan onayı (D1), varsayılan kapalı otomatik erişim, rol bazlı veri sıyırma ve denetim izi. Bu nedenle çalışmanın iddiası “uyumluyuz” demenin ötesindedir: yüksek riskli eğitim yapay zekâsının yönetişiminin pratikte nasıl kurulabileceğine dair bir referans uygulama sunulmaktadır.
Geliştirici-sahip kimliğinin yarattığı yanlılık riski (§3.5.6, §11.2), yalnızca iç denetimle giderilemez. Çalışma, bu nedenle bağımsız değerlendirmeye açık bir davet içermektedir (§11.4): mimarinin, yönetişim kararlarının ve değerlendirme protokollerinin dış inceleme için erişilebilir kılınması.
Bu bölümde — ve çalışmanın tamamında — güvenlik mekanizmaları mimari düzeyde anlatılmış, uygulama ayrıntıları verilmemiştir.
Eşik değerleri, kural kalıpları, yapılandırma adları ve dosya yolları paylaşılmamaktadır. Bunun iki gerekçesi vardır.
Güvenlik: bir savunma mekanizmasının tam uygulama ayrıntısının yayımlanması, o savunmanın atlatılmasını kolaylaştırabilir. Akademik norm: hakemli sistem literatüründe zaten kaynak kod veya yapılandırma değil, tasarım gerekçesi ve ödünleşimler paylaşılır.
Bu tercih, kavramsal replikasyonu engellemez: EK A’da, uygulama ayrıntısı olmadan aynı mimarinin kurulabilmesi için gereken arayüz sözleşmeleri ve tasarım ilkeleri verilmiştir.
Bu çalışmadaki değerlendirmenin temel ilkesi, farklı türdeki iddiaların farklı kanıt standartlarına tabi tutulmasıdır. Üç tür ayrılmıştır: Tür Örnek Gerekli kanıt Bölüm A — Sistem iddiaları “Şu mekanizma kuruldu ve şöyle çalışıyor” Belgeleme + ölçüm §9.2–§9.4 B — Güvenilirlik iddiaları “Şu kısıt her koşulda uygulanıyor” Denetim + test
Ölçülenler: erişim kalitesi, tanıma doğruluğu, yönlendirme dağılımı ve eskalasyon, gecikme ve kapasite, test kapsamı ve regresyon, sistem güvenilirliği, erişim denetimi bütünlüğü, simge verimliliği. Ölçülmeyenler: öğrenme çıktısı, akademik başarı etkisi, öğretmen verimliliği, öğrenci motivasyonu, uzun vadeli davranış değişimi. Bu ayrım bir eksiklik itirafı değil, bir kapsam beyanıdır: ölçülmemiş şeyler hakkında iddia üretilmemiştir.
Sistem sürekli değiştiğinden, tüm ölçümler bir zaman kesitine aittir. Raporlanan her değer, ait olduğu ölçüm bağlamıyla birlikte ilgili alt bölümde verilmiştir; metin gövdesinde tekrar edilen sayılar bağımsız birer bulgu olarak değil, ilk raporlandıkları alt bölümün değeri olarak okunmalıdır.
Bu sayfa, kurumun kendi sistemini belgeleyen açık erişimli araştırma monografisinin KISIM VIII bölümünden aktarılmıştır. Metin yazarın kendi ifadeleriyle verilmiştir.