İddia türleri, mühendislik değerlendirmeleri, sinyal kalitesi ve pedagojik değerlendirme tasarımı.
Çalışma nedensel etki iddiası taşımaz. Bu bölüm hangi iddianın hangi kanıt türüyle desteklendiğini ayırır.
Bu çalışmadaki değerlendirmenin temel ilkesi, farklı türdeki iddiaların farklı kanıt standartlarına tabi tutulmasıdır. Üç tür ayrılmıştır: Tür Örnek Gerekli kanıt Bölüm A — Sistem iddiaları “Şu mekanizma kuruldu ve şöyle çalışıyor” Belgeleme + ölçüm §9.2–§9.4 B — Güvenilirlik iddiaları “Şu kısıt her koşulda uygulanıyor” Denetim + test
Ölçülenler: erişim kalitesi, tanıma doğruluğu, yönlendirme dağılımı ve eskalasyon, gecikme ve kapasite, test kapsamı ve regresyon, sistem güvenilirliği, erişim denetimi bütünlüğü, simge verimliliği. Ölçülmeyenler: öğrenme çıktısı, akademik başarı etkisi, öğretmen verimliliği, öğrenci motivasyonu, uzun vadeli davranış değişimi. Bu ayrım bir eksiklik itirafı değil, bir kapsam beyanıdır: ölçülmemiş şeyler hakkında iddia üretilmemiştir.
Sistem sürekli değiştiğinden, tüm ölçümler bir zaman kesitine aittir. Raporlanan her değer, ait olduğu ölçüm bağlamıyla birlikte ilgili alt bölümde verilmiştir; metin gövdesinde tekrar edilen sayılar bağımsız birer bulgu olarak değil, ilk raporlandıkları alt bölümün değeri olarak okunmalıdır.
Ölçüm sorusu: Anlamsal arama sonuçlarının yeniden sıralanması, doğru kaynağa erişimi iyileştiriyor mu?
Yöntem: Ayrı bir değerlendirme koşum takımı ile A/B karşılaştırması. Aynı sorgu kümesi, yeniden sıralama katmanı kapalı ve açık durumda çalıştırılmış; ilk sonucun isabetliliği (hit@1) ölçülmüştür.
Sonuç: Yeniden sıralama kapalıyken belirli bir isabet düzeyi elde edilmiş; açıkken bu düzey on puan yükselmiştir. Mutlak taban değer burada raporlanmamıştır; dolayısıyla bu artış, kurumun kendi değerlendirme kümesi üzerinde göreli bir iyileşme olarak okunmalıdır ve ulaşılan mutlak isabet düzeyine dair bir iddia taşımaz.
Yorum: Bu, halüsinasyon riskiyle doğrudan ilişkili bir iyileşmedir. Yanlış kaynağa dayanan bir açıklama, dilbilgisel olarak kusursuz ancak pedagojik olarak zararlı olabilir.
İsabet oranındaki artış, bu risk sınıfını azaltır. Sınır: Ölçüm, kurumun kendi içerik havuzu ve sorgu kümesi üzerinde yapılmıştır; genel bir erişim başarımı iddiası değildir.
Ölçüm sorusu: Hangi tanıma motoru, kurumun kullanım koşullarında daha düşük hata üretiyor?
Yöntem: Aynı ses örnekleri üzerinde kelime hata oranı (WER) karşılaştırması. Sonuç: Seçilen motor, alternatife kıyasla belirgin biçimde düşük hata oranı vermiştir (0,024’e karşı 0,190 mertebesinde).
Yorum: Bu fark, sesli etkileşimin pedagojik olarak kullanılabilir olup olmamasını belirler. Yüksek hata oranı, sistemin öğrenciyi yanlış anlaması ve yanlış konuya yönelmesi anlamına gelir — yani hata, transkripsiyon katmanında kalmaz, pedagojik zincire yayılır.
Ölçüm sorusu: Görüntüden soru ve formül okumada hangi motor daha güvenilir?
Yöntem: Kontrollü bir örnek kümesi üzerinde doğruluk karşılaştırması. Sonuç: Test kümesinde tam doğruluk elde eden motor birincil sıraya yerleştirilmiş; diğerleri maliyet ve gecikme avantajları nedeniyle ön işleme ve yedek konumunda tutulmuştur.
Yorum: Tanıma hatası zincirleme etki üretir: yanlış okunan bir soru, doğru çözülse bile yanlış sonuç verir. Bu nedenle bu katmanda doğruluk, maliyetin önüne konmuştur.
Sınır: Test kümesi küçüktür. Küçük bir küme üzerinde tam isabet, motorun doğruluğunu kanıtlamaz; yalnızca gözlemlenebilir hata oranını o kümenin büyüklüğü ölçüsünde sınırlar.
Bulgu, sıralamayı gerekçelendirmek için yeterlidir; hiçbir sıfır-hata iddiası taşımaz.
Ölçüm sorusu: Yönlendirme kararları optimal mi; talepler doğru motorlara mı gidiyor?
Yöntem: Üretim trafiğinde rol ve niyet bazlı dağılım izleme; ayrıca eskalasyon olaylarının (düşük gecikmeli motordan güçlü motora aktarım) ayrı kaydı. Sonuç: Öğrenci trafiğinin çoğunluğu, güçlü modele gitmeden karşılanmaktadır; güçlü modele yönlendirilen taleplerin büyük bölümü meşru gerekçelerle (araç çağırma, kurumsal veri, karmaşık analiz) yönlendirilmiştir.
Yorum: Bu, hem maliyet hem gecikme açısından anlamlıdır; ancak asıl önemi doğruluk korunarak elde edilmiş olmasıdır. Agresif maliyet optimizasyonu yapılmamış, ayrım noktası ölçümlere göre belirlenmiştir (§4.2.2).
Metodolojik not: Eskalasyon oranının ayrıca ölçülmesi, yönlendirme kalitesini değerlendirmenin en doğrudan yoludur ve bu tür sistemlerde standart bir uygulama olarak önerilmektedir.
Ölçüm sorusu: İçerik kapsamı genişlerken bağlam maliyeti nasıl değişiyor?
Sonuç: Pedagojik içerik havuzu birkaç kat genişletilirken, mesaj başına ortalama simge maliyeti belirgin biçimde azaltılmıştır (§5.8.2). Yorum: Bu, §7.6.3’te tanımlanan bileşik gelişmenin ölçülmüş bir imzasıdır: kapsam ve verimlilik aynı anda iyileşmiştir.
Yazılım sistemlerinde bu ikisi genellikle ters yönde hareket eder.
Ölçüm sorusu: Sistem, eşzamanlı kullanım altında hangi başarımı sürdürüyor?
Yöntem: Kademeli yük testi (artan eşzamanlı kullanıcı sayısıyla), yanıt süresi dağılımı ve hata oranı ölçümü. Sonuç: İki yüz eşzamanlı kullanıcı düzeyinde, saniyede yaklaşık yetmiş istek işlenmiş; %99’luk dilim yanıt süresi üç saniyenin altında kalmış ve hata gözlenmemiştir.
Yorum: Bu değer, kurumun mevcut kullanıcı sayısının kat kat üzerinde bir yükü temsil eder. Ölçek iddiası burada kullanıcı sayısıyla değil, doğrulanmış kapasiteyle ifade edilmektedir (§9.4).
Sistem, altı yüz kırk dokuz otomatik testten oluşan bir pakete sahiptir; raporlama anında tamamı geçmektedir. Test paketinin kapsamı yalnızca birim davranışları değil, kritik güvenlik ve mahremiyet kısıtlarını da içerir: erişim denetimi bütünlüğü, eşzamanlılık güvenliği, öz-gelişim kapıları ve nmektedir.
Belirtilmeye değer bir deneyim: test paketi bir dönem tümüyle çalışmaz hâle gelmiştir.
Kök nedenler altyapısaldı — test yalıtımı, çıktı akışı yapılandırması ve toplama kapsamı. Bu üç sorun giderildikten sonra paket yeniden işler hâle gelmiştir.
Bu vakadan çıkarılan ders, testin varlığının yeterli olmadığıdır: test altyapısının kendisi düzenli olarak denetlenmelidir. Çalışmayan bir test paketi, olmayan bir test paketinden daha tehlikelidir, çünkü yanlış güven verir.
Ayrıca bu süreçte, davranışı bilinçli olarak değiştirilmiş bileşenlere ait bayat testler tespit edilmiştir. Bunlar regresyon olarak değil kasıtlı evrim olarak sınıflandırılmış ve kanıtla doğrulanarak güncellenmiştir.
Bu ayrımın yapılması önemlidir: her başarısız test bir hata değildir; bazıları güncellenmemiş beklentidir.
Konuşma kalitesi, gerçek kullanım örneklerinden türetilmiş beş yüz yirmi iki soruluk bir korpusla değerlendirilmiştir. Değerlendirme, bir dil modelinin hakem olarak kullanıldığı bir protokolle yapılmış; yanıtlar derecelendirilmiş ve iyileştirme önerileri toplanmıştır.
Korpus temelli iyileştirmenin bilinen riski, sistemin değerlendirme kümesine aşırı uyum sağlamasıdır.
Bu risk, korpusa dahil olmayan yüz iki soruluk bir kör küme ile denetlenmiştir. Sonuç: Kör kümedeki başarım, ana korpustaki başarıma yakın çıkmış; aradaki fark birkaç puanla sınırlı kalmıştır.
Yorum: Bu, iyileştirmelerin korpusa özgü olmadığını, genel kaliteye yansıdığını gösterir. Kör küme kullanımı, bu tür yinelemeli iyileştirme süreçlerinde metodolojik olarak zorunlu görülmelidir.
Dil modeli hakemliği, ölçeklenebilir bir değerlendirme yöntemidir ancak sınırları vardır: hakem modelin kendi yanlılıkları, uzun yanıtları tercih etme eğilimi ve pedagojik uygunluğu tam değerlendirememesi. Bu nedenle hakem sonuçları, insan denetimiyle birlikte kullanılmış; özellikle düşük dereceli yanıtlar elle incelenmiştir. Yöntem, mutlak kalite ölçüsü olarak değil göreli iyileşme göstergesi olarak yorumlanmalıdır.
Sistem sağlığı sürekli izlenmektedir: hizmet erişilebilirliği, hata ve istisna sayısı, kaynak kullanımı, zamanlanmış işlerin başarımı ve kaynak sistemlerle senkronizasyon durumu.
Raporlama anındaki durum: hizmet etkin, sağlık denetimi başarılı, kaynak kullanımı normal aralıkta, izlenen dönemde hata veya istisna kaydı bulunmamaktadır; tüm zamanlanmış işler beklenen ritimde çalışmaktadır. İzleme penceresi burada kayan bir penceredir: geriye dönük sabit uzunlukta bir aralığı kapsar ve zamanla ilerler.
Dolayısıyla sınırlı bir pencerede hata kaydı bulunmaması, yalnızca o pencere hakkında bir ifadedir; sistemin genel olarak hatasız çalıştığına ya da pencere dışında kalan dönemlerde hata üretmediğine dair bir iddia değildir.
Model sağlayıcılarının erişilebilirliği günlük olarak sınanmaktadır. Bu mekanizma, sessiz model emekliliğini tespit etmek için kurulmuş ve ilk çalıştırılmasında halihazırda erişilemez hâle gelmiş bir modeli yakalamıştır (§4.3.4). Bu, üretim sistemleri için genellenebilir bir öneri içerir: dış bağımlılıkların sağlığı, hata beklemeden proaktif olarak sınanmalıdır.
Ölçüm sorusu: Rol bazlı erişim kısıtları her koşulda uygulanıyor mu?
Yöntem: Otomatik testlerle rol × araç matrisinin bütünlüğü denetlenmiş; ayrıca eşzamanlılık koşullarında kimlik sızıntısı testleri yapılmıştır. Sonuç: Raporlama anında gerçek bir erişim ihlali tespit edilmemiştir.
Eşzamanlılık testleri başarıyla geçmektedir. Bulgu: Denetim sırasında, hiçbir role tanımlanmamış bir araç grubu tespit edilmiştir — bunlar erişim hatası üretmekteydi.
Vaka, matrisin eksiksizliğinin ayrıca denetlenmesi gerektiğini göstermiştir (§4B.7.2). Bu bir sızıntı değil, tersine bir erişim engeliydi; ancak matris bütünlüğünün otomatik denetime tabi tutulması gerektiğini kanıtlamıştır.
Ölçüm sorusu: Öğrenciye otomatik mesaj gönderilmediği garanti edilebilir mi?
Yöntem: Kod tabanında ilgili yolların taranması ve gönderim katmanı denetimi. Sonuç: Denetim, ilgili dönemde öğrenciye yönelik hiçbir otomatik iletişim gerçekleşmediğini doğrulamıştır.
Yorum: Bu, bir yeteneğin varlığı ile kullanımı arasındaki farkın denetlenebilir olduğunu gösterir. Yönetişim iddiaları, ancak bu tür doğrulamalarla anlam kazanır.
Kriz yanıtının güvenlik bileşeni deterministik olduğundan, denetlenmesi üretim istatistiğiyle değil tasarım doğrulamasıyla yapılır: modelin ürettiği yönlendirme bilgisi kategorik olarak devre dışı bırakılır ve yerine, insan tarafından bakımı yapılan küratörlü kaynaktan gelen bilgi sunulur.
Doğrulanabilir olan, bu yolun kendisidir — bilginin içeriğinin doğruluğu ise küratörlük sürecinin ve onu yürüten insanların bir özelliğidir (§8.2.3). Bu, model çıktısının doğruluğuna ilişkin olasılıksal bir başarım iddiası değil, akışın yapısına ilişkin bir iddiadır ve o hâliyle test edilebilir.
İçeriğin doğruluğu hakkında hiçbir garanti verilmemektedir.
Sinyal altyapısı gölge modda çalışmakta ve sicil biriktirmektedir. Raporlama anı itibarıyla, sinyal sınıflarının çoğu için istatistiksel olarak anlamlı bir kesinlik tahmini üretecek hacim henüz oluşmamıştır. Bu, dürüstlük gereği açıkça belirtilmelidir: protokol kurulmuş ve işletilmektedir; ampirik doldurulması ise devam eden bir çalışmadır (§11.4.2).
Öğrenme çıktısı üzerindeki etkinin ölçülmesi, kontrol grubu, randomizasyon veya en azından uygun bir yarı-deneysel tasarım gerektirir. Mevcut çalışma bu tasarıma sahip değildir; Bu, bir eksiklik olarak değil, kapsam kararı olarak sunulmaktadır: ölçülmemiş bir etkiyi iddia etmek, çalışmanın tüm diğer iddialarının güvenilirliğini zedelerdi.
Böyle bir çalışma yapıldığında, sonuçların hangi çerçevede yorumlanacağı önceden belirtilmelidir.
İlgili literatür, insan birebir öğretimin ve adım düzeyinde geri bildirim veren sistemlerin etki büyüklüklerine dair karşılaştırma noktaları sunmaktadır (§1.2.2). Ayrıca mesajlaşma temelli destek sistemlerinin saha denemelerinde elde edilen etki büyüklükleri, gerçekçi bir beklenti aralığı sağlar.
Bu çerçeve önceden belirtilmezse, elde edilen herhangi bir sonucun olumlu yorumlanması riski doğar.
Ne oldu: Başarı yüzdesi tutan bir veri alanı, çok sayıda okuma noktasında hata yüzdesi olarak yorumlanmıştır.
Sonuç: öğrencinin güçlü olduğu dersler zayıf gibi görünmüştür. Etki: Binlerce veri satırı etkilenmiş; düzeltme için ayrı bir veri göçü gerekmiştir.
Hata bir süre fark edilmeden sürmüştür. Nasıl yakalandı: Kurumsal gömülülük sayesinde.
Öğrencileri tanıyan insan, güçlü bir dersin “kör nokta” olarak işaretlenmesinin anlamsız olduğunu fark etmiştir. Alınan önlem: Anlamsal sözleşmenin tek noktadan tanımlanması, tüm okuma noktalarının bu sözleşmeye bağlanması ve ustalık kestirimi ile ham performans arasında çapraz doğrulama kuralı.
Ders: Alan adları anlamı garanti etmez. Ayrıca bu vaka, tezin kendisi için bir kanıttır: uzaktaki bir sistem bu tutarsızlığı yakalayamazdı.
Ne oldu: Belirli bir motora yönlendirme yapılırken, o motora özgü hazırlık yolu ana bağlam derlemesini atlamıştır.
Pedagojik zenginleştirme, erişim sonuçları ve rol farkındalığı kullanılmadan çalışılmıştır. Etki: Çıktı kalitesi, fark edilmeden düşük kalmıştır.
Alınan önlem: Ortak bağlam derleme toplayıcısı; motora özgü talimatların derlemeye eklenmesi, onun yerine geçmemesi. Ders: Çok-sağlayıcılı mimarilerde bağlam derleme tek noktadan yapılmalıdır (§4.3.5).
Ne oldu: Simge tasarrufu için tasarlanan modüler derleme mekanizması, ana talimat metni değiştiğinde modül eşleşmesini kaybetmiş ve orijinalinden daha büyük bir bağlam üretmiştir.
Alınan önlem: Emniyet kapısı — derlenen bağlam orijinalinden büyükse modüler yol otomatik devre dışı kalır. Mekanizmanın yeniden yapılandırılması, dikkatli bir doğrulama gerektirdiği için ertelenmiştir.
Ders: Optimizasyon mekanizmaları, doğrulanabilir bir güvenlik kapısı olmadan üretime alınmamalıdır. Ayrıca: bazı düzeltmelerin ertelenmesi meşru bir mühendislik kararıdır.
Ne oldu: Yedek zincire, rolü için uygun olmayan bir motor dahil edilmiştir.
Sonuç: geçersiz yanıtlar ve gürültülü hata kayıtları. Alınan önlem: Zincirin rol uygunluğuna göre kısıtlanması; ilgili motorun yalnızca uygun olduğu görevle sınırlandırılması.
Ders: Yedeklilik, “eldeki her motoru sırayla dene” demek değildir (§4.3.3).
Ne oldu: Belirli bir sağlayıcıda araç çağırma etkinleştirilmek istenmiş; ancak kullanılan katmanın kota sınırları, tek bir isteğin gereksinimini dahi karşılayamamıştır.
Sonuç: her denemede başarısızlık ve boşa gecikme. Alınan önlem: Yetenek devre dışı bırakılmış; sağlayıcı chat yedeği olarak korunmuştur.
Ders: Bir yeteneğin teknik olarak mümkün olması, mevcut kısıtlar altında kullanılabilir olduğu anlamına gelmez. Negatif sonucun kaydedilmesi, ileride aynı denemenin tekrarlanmasını önler.
Ne oldu: Bir kullanıcı arayüzü sorununun çözümü için ardışık birkaç hipotez denenmiş; her biri başarısız olmuş veya yeni sorun üretmiştir.
Kesin teşhis, ancak doğrudan tarayıcı incelemesiyle konulmuştur. Ders: Tahmine dayalı ardışık düzeltme, hem zaman kaybı hem regresyon kaynağıdır.
Kanıt toplanmadan düzeltme yapılmamalıdır. Bu ilke, sonrasında bir çalışma normu hâline getirilmiştir.
Ne oldu: Bir denetimde, sistemin ürettiği iddialardan dördünün veri desteğinden yoksun olduğu tespit edilmiştir; bunlar dört ayrı kusur türüne karşılık gelmektedir: sayısal yanlış aktarım, zaman penceresi aşarak genelleme, bayat verinin güncel gibi sunulması ve liste eksikliği. Alınan önlem: Her kusur türüne karşılık gelen dört yeni kural — zaman penceresi yasağı, bayat veri etiketleme, çapraz doğrulama ve liste bütünlüğü denetimi (§8.5.3). Ders: Halüsinasyon savunmaları, gerçek denetimlerle sınanmadıkça varsayımdır.
Dürüstlük gereği, tamamlanmamış işler de kaydedilmelidir: bazı optimizasyonlar düşük değer nedeniyle ertelenmiş, bazı görsel iyileştirmeler öncelik dışı bırakılmış, bazı öneriler kod tabanında zaten mevcut olduğu için reddedilmiştir. Bir sistemin olgunluğu, yapılan işlerin yanında bilinçli olarak yapılmayan işlerle de ölçülür.
Yukarıdaki vakalar, iki genel örüntüye işaret eder: (1) Sessiz hatalar en tehlikelileridir.
Sistem çökmez, çalışmaya devam eder, ancak yanlış çalışır. Vaka 1, 2 ve 3 bu sınıftandır.
Bu, izleme ve çapraz doğrulama mekanizmalarının neden zorunlu olduğunu gösterir. (2) Kurumsal gömülülük bir hata yakalama mekanizmasıdır. Birden çok vakada hatayı yakalayan şey otomatik izleme değil, sonucu anlamsız bulan insan olmuştur.
Bu, §3.4’teki insan-döngüde tezinin beklenmedik bir sonucudur: insan yalnızca denetim sinyali üretmez, aynı zamanda bir doğruluk denetçisidir.
Eğitim teknolojisi ürünlerinin kalitesi, sağlayıcıların mühendislik yetkinliğiyle açıklanamayan bir tavana çarpar. Aynı sağlayıcılar başka alanlarda ileri düzey sistemler kurabilmekte, eğitim ürünlerinde ise benzer derinliğe ulaşılamamaktadır. Bu bölüm, bu tavanın yapısal olduğunu ve iş modelinin matematiğinden kaynaklandığını savunur.
Bir eğitim yapay zekâsının kalitesi, öğrenci başına harcanabilecek hesaplama bütçesiyle doğrudan ilişkilidir: daha güçlü modeller, daha zengin bağlam, daha fazla araç çağrısı ve daha sık analiz — hepsi maliyetlidir. İki modelde bu bütçenin çıpası farklıdır: Üçüncü-parti satıcı Kurum-içi işletmeci Bütçe çıpası Öğrencinin/kurumun abonelik ödeme isteği İkame edilen insan emeğinin değeri Marj zorunluluğu Var (şirket kâr
jenerik Tek kurum
yerel ve keskin Abonelik ödeme isteği ile personel ikame değeri arasında büyüklük mertebesi farkı vardır. Erişilebilir kalite tavanı da bu farkla ölçeklenir
Ö8 — Üçüncü-parti kalite tavanı. Dışarıdan satılan bir eğitim yapay zekâsının kalitesi, sağlayıcının mühendislik yetkinliğinden bağımsız olarak, öğrenci başına marj zorunluluğuyla yukarıdan sınırlanır. Bu tavan aşılamaz; aşılması iş modelini geçersiz kılar.
Bu sayfa, kurumun kendi sistemini belgeleyen açık erişimli araştırma monografisinin KISIM IX bölümünden aktarılmıştır. Metin yazarın kendi ifadeleriyle verilmiştir.