Tartışma, Sınırlılıklar ve Sonuç

Ortaya çıkan tablo, üç birbirine bağlı iddia etrafında toplanabilir. Birincisi, konum meselesi.

Genel amaçlı asistanların eğitim kurumlarında yetersiz kalması, model kapasitesinin değil konumun sonucudur (§1.1.2). Kurumsal bağlam, kalıcı durum ve eylem yeteneği, kurumun dışından erişilemeyen niteliklerdir.

IEPA tanımı (§3.1) bu üç boşluğa yapısal bir yanıt önerir. İkincisi, kalibrasyon meselesi.

Sistemin zaman içindeki keskinleşmesi, model ağırlıklarının değişmesinden değil kanıt yakınlığından doğar (§3.2). Kurum, tahminlerin doğruluğuna dair geri bildirimin sürekli ve düşük maliyetle aktığı ortamdır; bu, makine öğrenmesinin en pahalı kaynağını — etiketi — kurumsal rutinin doğal yan ürünü hâline getirir.

Bu sistem sınıfının nadirliği teknik imkânsızlıktan değil, geliştiriciişletmeci birliğinin yapısal nadirliğinden kaynaklanır (§3.5). Bu tespit, eğitimde yapay zekâ benimsenmesindeki gecikmeye, araç yetersizliğinden farklı bir açıklama sunar.

Aksine: bilinen ve etkililiği belgelenmiş bir modelin uygulanabilirlik engelini kaldırmaktır (§5.1.2). Ustalık öğrenmesi on yıllardır etkili bilinir; yaygınlaşmamasının nedeni öğretmen için aşırı emek-yoğun olmasıdır.

Düzelticiyi hazırlamak, paralel bir ikinci ölçüm üretmek, sonucu izlemek ve başarısızlıkta farklı bir yol denemek — bir sınıf mevcudunda sürdürülemez. Otomatikleştirilen tam olarak bu emek bileşenleridir; pedagojik kararın kendisi insanda kalmıştır.

Bu konumlandırma, alanın birikimine saygılıdır ve icat iddiasından daha savunulabilirdir.

Ancak iki karşılık vardır. Birincisi, aktarılabilir olan sistem değil desendir; çalışmanın amacı bir ürün önermek değil bir yöntem belgelemektir.

İkincisi, §10.6’daki kısıt kayması doğruysa, bu modelin uygulanabilirliği zamanla genişleyecektir — bugün nadir olan koşullar, yazılım üretim maliyeti düştükçe daha az nadir hâle gelmektedir. Karşı görüş 2: “Geliştirici-sahip kimliği, bulguları güvenilmez kılar.” Bu itiraz ciddiye alınmalıdır ve §11.2’de ayrıntılı ele alınmaktadır.

Kısa yanıt şudur: bu kimlik, incelenen olgunun kurucu koşuludur — kaldırıldığında incelenecek olgu da ortadan kalkar. Metodolojik gelenekler (tasarım-temelli araştırma, uygulayıcı-araştırmacı) bu konumu meşru sayar; ancak yanlılık riskleri karşı-önlemlerle yönetilmelidir.

Çalışma bunu üç yolla yapmaktadır: nedensellik iddiasından kaçınma, negatif sonuçların raporlanması ve bağımsız değerlendirmeye açık davet. Karşı görüş 3: “Anlatılan yetenekler, mevcut ticari ürünlerde de bulunmaktadır.” Bileşen düzeyinde büyük ölçüde doğrudur ve §4B.9.1’de açıkça kabul edilmiştir: kullanılan hizmetlerin tamamı piyasadan erişilebilirdir.

Ayrım bileşenlerde değil, üç noktadadır: bileşenlerin tek bir kurumun dokusuna gömülmesi, kanıt akışıyla kalibre olması ve insan onayının öğrenme döngüsünün parçası hâline gelmesi. Bu üçü, ürün olarak sağlanamaz (§10.5).

Karşı görüş 4: “İnsan onayı zorunluluğu, sistemi yavaşlatır ve ölçeklenmesini engeller.” Doğrudur ve §3.4.4 ile §7.7.4’te bir sınır olarak kabul edilmiştir. Ancak bu, tasarımın bir kusuru değil bilinçli bir ödünleşimidir: yüksek riskli bir alanda hız, güvenliğin önüne konmamıştır.

Ayrıca onayın ikili işlevi hatırlanmalıdır (§3.4.2) — onay yalnızca bir fren değil, denetim sinyalinin kaynağıdır. Kaldırılması hızı artırır ama öğrenme döngüsünü de bozar.

Karşı görüş 5: “Sonuçlar tek bir kuruma özgüdür; genellenemez.” Doğrudur ve iddia edilmemektedir (§10.7). Genellenmesi hedeflenen şey sonuçlar değil, tasarım deseni ve kuramsal çerçevedir.

Bir vakadan çıkarılan kuramsal önermeler (Ö1–Ö13), başka bağlamlarda sınanmaya açıktır — nitekim bu, çalışmanın davet ettiği şeydir.

En az üç alternatif açıklama makuldür ve dışlanamaz: (1) Kurumsal ilgi etkisi. Sistemin varlığı, kurumun öğrenci takibine daha fazla dikkat ayırmasına yol açmış olabilir; iyileşme sistemin kendisinden değil, artan ilgiden kaynaklanabilir. (2) Ölçüm etkisi.

Ölçülen davranışın değişmesi bilinen bir olgudur; öğrenciler izlendiklerini bildikleri için farklı davranmış olabilirler. (3) Seçilim etkisi. Kurumun öğrenci profili, kadro niteliği ve çalışma kültürü, sistemden bağımsız olarak sonuçları etkilemektedir.

Bu alternatiflerin ayrıştırılması, kontrollü bir tasarım gerektirir ve bu çalışmanın kapsamı dışındadır (§9.7).

Bulguların başka kurumsal bağlamlarda tekrarlanıp tekrarlanmayacağı bilinmemektedir. Üstelik §2.7’de tartışıldığı üzere, eğitim müdahalelerinin bağlama bağımlılığı yerleşik bir bulgudur — dolayısıyla bu sınırlılık, alanın genel bir özelliğidir.

Karşılaştırma grubu bulunmadığından, gözlemlenen değişimlerin sistemden kaynaklandığı gösterilememektedir. Geliştirici-sahip kimliği.

Araştırmacı, incelenen sistemin geliştiricisi, kurumun kurucu ortağı ve verilerin sahibidir. Bu, aşağıdaki yanlılık risklerini taşır: Risk Niteliği Doğrulama yanlılığı Beklentiyi doğrulayan kanıta daha fazla ağırlık verme eğilimi Raporlama yanlılığı Olumlu sonuçları öne çıkarma, olumsuzları eksik raporlama Yorum yanlılığı Belirsiz bulguları sistem lehine yorumlama Bağımsız doğrulama yokluğu Bulgul

Çalışma bu riskleri şu yollarla sınırlandırmaya çalışmıştır: (i) nedensellik gerektiren iddialardan sistematik kaçınma; (ii) negatif sonuçların, başarısızlıkların ve geri alınan kararların ayrı bir bölümde raporlanması (§9.8); (iii) sistemin çözemediği problemlerin açıkça listelenmesi (§1B.8); (iv) bağımsız değerlendirmeye açık davet (§11.4). Bu önlemler yanlılığı ortadan kaldırmaz, yalnızca görün

Raporlanan değerlendirmeler mühendislik ve güvenilirlik düzeyindedir (KISIM IX). Öğrenme çıktısı üzerindeki etki, uygun bir tasarımla ayrıca çalışılmalıdır.

Öğrenci verisi, veri koruma yükümlülükleri ve kurumsal gizlilik nedeniyle paylaşılamamaktadır. Bu, dış doğrulamayı sınırlar.

Karşılık olarak toplulaştırılmış metrikler ve kavramsal replikasyon rehberi sunulmuştur (EK A). Sistem sürekli değiştiğinden, raporlanan ölçümler belirli bir zaman kesitine aittir ve tarihlendirilmiştir.

Tasarımda bu, Sokratik yanıt ilkesiyle (§5.4.3) ele alınmıştır: sistem cevabı doğrudan vermez. Ancak bu önlem tam değildir.

Öğrencinin, çabayı sistemin yönlendirmesine bırakması — yani “ne çalışacağıma sistem karar versin” tutumu — öz-düzenleme becerisinin gelişimini engelleyebilir. Bu risk, öğrencinin kendi verisini görmesi (§6.6.2) ve planlama sürecine katılımıyla dengelenmeye çalışılmaktadır; ancak uzun vadeli etkisi bilinmemektedir.

Bir öğrencinin çalışma saatleri, etkileşim örüntüleri ve duygusal tonu izleniyorsa, bu ilişkinin doğasını değiştirir. Tasarım kısıtları (rol bazlı görünürlük, risk verisinin öğrenciden gizlenmesi, otomatik erişimin kapalılığı) riski sınırlar ancak ortadan kaldırmaz.

Etik açıdan belirleyici olan, izlemenin amacıdır: sistemde izleme, disiplin veya değerlendirme için değil, destek için tasarlanmıştır. Bu ayrımın korunması, teknik değil kurumsal bir sorumluluktur.

Kademeli seçenekler: (1) Uzunlamasına gözlemsel çalışma. Aynı öğrencinin sistem öncesi ve sonrası ustalık ve performans eğilimleri.

Zayıf ama şeffaf bir tasarım. (2) Kesikli zaman serisi analizi. Belirli bir modülün devreye alındığı tarih etrafında eğilim kırılması incelemesi.

Nedenselliğe daha yakın. (3) Özellik düzeyinde randomize deneme. Etik ve veri koruma sınırları içinde, belirli bir özelliğin (örneğin aralıklı tekrar hatırlatmaları) randomize açılıp kapatılması.

En güçlü tasarım; uygulanabilirliği kurumsal ve etik onaya bağlıdır.

Kurumun içinde bu geri bildirim, kurumsal rutinin doğal yan ürünü olarak akar. Kurum, bu anlamda etiketleme aygıtının kendisidir.

İkincisi: İnsan onayı, bu mimaride bir yavaşlatıcı değil, öğrenme döngüsünün kapanma noktasıdır. Öğretmenin ve rehberin her kararı, sistem için bir denetim sinyali üretir.

Bu, sistemi bir yazılımdan çok bir insan-düğümlü öğrenme ağına dönüştürür. Üçüncüsü: Bu sistem sınıfı, tanımı gereği devredilemezdir.

Satıldığında tanımlayıcı özelliğini yitirir ve alıcı için üçüncü-parti bir araca dönüşür. Aktarılabilir olan sistem değil, yöntemdir.

Bu sistemi satamayız; çünkü satıldığı anda tanımı gereği başka bir şeye dönüşür. Paylaşabileceğimiz tek şey yöntemdir — bu çalışmanın varlık nedeni de budur.

Bir eğitim kurumunun kendi pedagojik geleneğini terk etmeden, çağın araçlarını ciddi bir mühendislik disipliniyle bünyesine katabileceği gösterilmeye çalışıldı. Anlatılan mimarinin merkezinde bir kod değil, bir eğitimci kararı vardır: teknolojinin görüş alanını genişletmesine izin vermek, ancak kararı insanda bırakmak.

Yapay zekânın eğitimdeki geleceği, muhtemelen daha güçlü modellerle değil, o modellerin kurumsal gerçekliğe ne kadar yaklaştırılabildiğiyle belirlenecektir. Bu çalışma, o yaklaştırmanın bir biçimini ve bedelini belgeledi.

Sonraki bölümler: KISIM VI-B, VI-C · KISIM IV-C · EK’ler 188 EKLER 189