Tartışma, Sınırlılıklar ve Sonuç

Bu çalışma, bir eğitim kurumunun kendi pedagojik ajanını inşa etmesi, işletmesi ve kalibre etmesi vakasını belgeledi.

Ortaya çıkan tablo, üç birbirine bağlı iddia etrafında toplanabilir. Birincisi, konum meselesi. Genel amaçlı asistanların eğitim kurumlarında yetersiz kalması, model kapasitesinin değil konumun sonucudur (§1.1.2). Kurumsal bağlam, kalıcı durum ve eylem yeteneği, kurumun dışından erişilemeyen niteliklerdir. IEPA tanımı (§3.1) bu üç boşluğa yapısal bir yanıt önerir.

İkincisi, kalibrasyon meselesi. Sistemin zaman içindeki keskinleşmesi, model ağırlıklarının değişmesinden değil kanıt yakınlığından doğar (§3.2). Kurum, tahminlerin doğruluğuna dair geri bildirimin sürekli ve düşük maliyetle aktığı ortamdır; bu, makine öğrenmesinin en pahalı kaynağını — etiketi — kurumsal rutinin doğal yan ürünü hâline getirir. Bu sistem sınıfının nadirliği teknik imkânsızlıktan değil, geliştiriciişletmeci birliğinin yapısal nadirliğinden kaynaklanır (§3.5). Bu tespit, eğitimde yapay zekâ benimsenmesindeki gecikmeye, araç yetersizliğinden farklı bir açıklama sunar.

Çalışmanın pedagojik katkısı, yeni bir öğretim modeli önermek değildir.

Aksine: bilinen ve etkililiği belgelenmiş bir modelin uygulanabilirlik engelini kaldırmaktır (§5.1.2). Ustalık öğrenmesi on yıllardır etkili bilinir; yaygınlaşmamasının nedeni öğretmen için aşırı emek-yoğun olmasıdır. Düzelticiyi hazırlamak, paralel bir ikinci ölçüm üretmek, sonucu izlemek ve başarısızlıkta farklı bir yol denemek — bir sınıf mevcudunda sürdürülemez.

Otomatikleştirilen tam olarak bu emek bileşenleridir; pedagojik kararın kendisi insanda kalmıştır. Bu konumlandırma, alanın birikimine saygılıdır ve icat iddiasından daha savunulabilirdir.

Karşı görüş 1: “Bu, ölçeklenemeyen bir çözümdür; dolayısıyla alan için değeri sınırlıdır.” Kısmen doğrudur ve §10.7.3’te kabul edilmiştir.

Ancak iki karşılık vardır. Birincisi, aktarılabilir olan sistem değil desendir; çalışmanın amacı bir ürün önermek değil bir yöntem belgelemektir. İkincisi, §10.6’daki kısıt kayması doğruysa, bu modelin uygulanabilirliği zamanla genişleyecektir — bugün nadir olan koşullar, yazılım üretim maliyeti düştükçe daha az nadir hâle gelmektedir. Karşı görüş 2: “Geliştirici-sahip kimliği, bulguları güvenilmez kılar.” Bu itiraz ciddiye alınmalıdır ve §11.2’de ayrıntılı ele alınmaktadır. Kısa yanıt şudur: bu kimlik, incelenen olgunun kurucu koşuludur — kaldırıldığında incelenecek olgu da ortadan kalkar. Metodolojik gelenekler (tasarım-temelli araştırma, uygulayıcı-araştırmacı) bu konumu meşru sayar; ancak yanlılık riskleri karşı-önlemlerle yönetilmelidir. Çalışma bunu üç yolla yapmaktadır: nedensellik iddiasından kaçınma, negatif sonuçların raporlanması ve bağımsız değerlendirmeye açık davet. Karşı görüş 3: “Anlatılan yetenekler, mevcut ticari ürünlerde de bulunmaktadır.” Bileşen düzeyinde büyük ölçüde doğrudur ve §4B.9.1’de açıkça kabul edilmiştir: kullanılan hizmetlerin tamamı piyasadan erişilebilirdir. Ayrım bileşenlerde değil, üç noktadadır: bileşenlerin tek bir kurumun dokusuna gömülmesi, kanıt akışıyla kalibre olması ve insan onayının öğrenme döngüsünün parçası hâline gelmesi.

Bu üçü, ürün olarak sağlanamaz (§10.5). Karşı görüş 4: “İnsan onayı zorunluluğu, sistemi yavaşlatır ve ölçeklenmesini engeller.” Doğrudur ve §3.4.4 ile §7.7.4’te bir sınır olarak kabul edilmiştir. Ancak bu, tasarımın bir kusuru değil bilinçli bir ödünleşimidir: yüksek riskli bir alanda hız, güvenliğin önüne konmamıştır. Ayrıca onayın ikili işlevi hatırlanmalıdır (§3.4.2) — onay yalnızca bir fren değil, denetim sinyalinin kaynağıdır. Kaldırılması hızı artırır ama öğrenme döngüsünü de bozar. Karşı görüş 5: “Sonuçlar tek bir kuruma özgüdür; genellenemez.” Doğrudur ve iddia edilmemektedir (§10.7). Genellenmesi hedeflenen şey sonuçlar değil, tasarım deseni ve kuramsal çerçevedir. Bir vakadan çıkarılan kuramsal önermeler (Ö1–Ö13), başka bağlamlarda sınanmaya açıktır — nitekim bu, çalışmanın davet ettiği şeydir.

Gözlemlenen kurumsal iyileşmelerin sistemden kaynaklandığı iddia edilmemektedir.

En az üç alternatif açıklama makuldür ve dışlanamaz: (1) Kurumsal ilgi etkisi. Sistemin varlığı, kurumun öğrenci takibine daha fazla dikkat ayırmasına yol açmış olabilir; iyileşme sistemin kendisinden değil, artan ilgiden kaynaklanabilir. (2) Ölçüm etkisi. Ölçülen davranışın değişmesi bilinen bir olgudur; öğrenciler izlendiklerini bildikleri için farklı davranmış olabilirler. (3) Seçilim etkisi.

Kurumun öğrenci profili, kadro niteliği ve çalışma kültürü, sistemden bağımsız olarak sonuçları etkilemektedir. Bu alternatiflerin ayrıştırılması, kontrollü bir tasarım gerektirir ve bu çalışmanın kapsamı dışındadır (§9.7).

Tüm gözlemler tek bir kurumdan gelmektedir.

Bulguların başka kurumsal bağlamlarda tekrarlanıp tekrarlanmayacağı bilinmemektedir. Üstelik §2.7’de tartışıldığı üzere, eğitim müdahalelerinin bağlama bağımlılığı yerleşik bir bulgudur — dolayısıyla bu sınırlılık, alanın genel bir özelliğidir. Karşılaştırma grubu bulunmadığından, gözlemlenen değişimlerin sistemden kaynaklandığı gösterilememektedir. Geliştirici-sahip kimliği.

Araştırmacı, incelenen sistemin geliştiricisi, kurumun kurucu ortağı ve verilerin sahibidir. Bu, aşağıdaki yanlılık risklerini taşır: Risk Niteliği Doğrulama yanlılığı Beklentiyi doğrulayan kanıta daha fazla ağırlık verme eğilimi Raporlama yanlılığı Olumlu sonuçları öne çıkarma, olumsuzları eksik raporlama Yorum yanlılığı Belirsiz bulguları sistem lehine yorumlama Bağımsız doğrulama yokluğu Bulguların dış bir taraf tarafından sınanmamış olması Karşı-önlemler. Çalışma bu riskleri şu yollarla sınırlandırmaya çalışmıştır: (i) nedensellik gerektiren iddialardan sistematik kaçınma; (ii) negatif sonuçların, başarısızlıkların ve geri alınan kararların ayrı bir bölümde raporlanması (§9.8); (iii) sistemin çözemediği problemlerin açıkça listelenmesi (§1B.8); (iv) bağımsız değerlendirmeye açık davet (§11.4). Bu önlemler yanlılığı ortadan kaldırmaz, yalnızca görünür kılar.

Pedagojik etki ölçülmemiştir.

Raporlanan değerlendirmeler mühendislik ve güvenilirlik düzeyindedir (KISIM IX). Öğrenme çıktısı üzerindeki etki, uygun bir tasarımla ayrıca çalışılmalıdır. Öğrenci verisi, veri koruma yükümlülükleri ve kurumsal gizlilik nedeniyle paylaşılamamaktadır.

Bu, dış doğrulamayı sınırlar. Karşılık olarak toplulaştırılmış metrikler ve kavramsal replikasyon rehberi sunulmuştur (EK A). Sistem sürekli değiştiğinden, raporlanan ölçümler belirli bir zaman kesitine aittir ve tarihlendirilmiştir.

Sistemin öğrenciye sürekli erişilebilir olması, bilişsel çabanın sisteme devredilmesi riskini taşır (Z6, §8.1.2).

Tasarımda bu, Sokratik yanıt ilkesiyle (§5.4.3) ele alınmıştır: sistem cevabı doğrudan vermez. Ancak bu önlem tam değildir.

Öğrencinin, çabayı sistemin yönlendirmesine bırakması — yani “ne çalışacağıma sistem karar versin” tutumu — öz-düzenleme becerisinin gelişimini engelleyebilir. Bu risk, öğrencinin kendi verisini görmesi (§6.6.2) ve planlama sürecine katılımıyla dengelenmeye çalışılmaktadır; ancak uzun vadeli etkisi bilinmemektedir.

Ölçülebilirliğin gölge yüzü gözetimdir (§6.6.4).

Bir öğrencinin çalışma saatleri, etkileşim örüntüleri ve duygusal tonu izleniyorsa, bu ilişkinin doğasını değiştirir. Tasarım kısıtları (rol bazlı görünürlük, risk verisinin öğrenciden gizlenmesi, otomatik erişimin kapalılığı) riski sınırlar ancak ortadan kaldırmaz.

Etik açıdan belirleyici olan, izlemenin amacıdır: sistemde izleme, disiplin veya değerlendirme için değil, destek için tasarlanmıştır. Bu ayrımın korunması, teknik değil kurumsal bir sorumluluktur.

Bu model, uygulandığı kurumdaki öğrenciler için bir avantaj üretiyorsa, uygulanmadığı kurumlardaki öğrenciler açısından göreli bir dezavantaj anlamına gelir. Bu, §1B.8’de belirtildiği gibi çalışmanın çözemeyeceği bir yapısal problemdir; ancak görmezden gelinemeyecek bir etik boyuttur. Bu risk, çalışmanın açık erişimli yayımlanması ve yöntemin paylaşılması tercihinin gerekçelerinden biridir (§10.5.4): eğer avantaj yöntemden kaynaklanıyorsa, yöntemin paylaşılması eşitsizliği azaltıcı yönde işler.

Sistemin kullanıcılarının önemli bölümü reşit değildir. Bu, tüm tasarım kararlarında ek bir sorumluluk katmanı doğurur ve KISIM VIII’deki yönetişim yapısının temel gerekçesidir: deterministik kriz güvenlik ağı, varsayılan kapalı dışa erişim, insan onayı zorunluluğu ve rol bazlı veri kısıtları. Bu kararların hiçbiri “yeterli” ilan edilemez; sürekli gözden geçirmeye tabidir.

Öğrenci ve velinin, sistemin ne yaptığını ve hangi verinin nasıl kullanıldığını bilme hakkı vardır. Kurumsal iletişimde bu, sistemin varlığının ve işleyişinin açıkça anlatılmasıyla sağlanmaktadır. Bu çalışmanın kamuya açık yayımlanması da bu yükümlülüğün bir parçasıdır.

En öncelikli ihtiyaç, öğrenme çıktısı üzerindeki etkinin uygun bir tasarımla incelenmesidir.

Kademeli seçenekler: (1) Uzunlamasına gözlemsel çalışma. Aynı öğrencinin sistem öncesi ve sonrası ustalık ve performans eğilimleri. Zayıf ama şeffaf bir tasarım. (2) Kesikli zaman serisi analizi. Belirli bir modülün devreye alındığı tarih etrafında eğilim kırılması incelemesi.

Nedenselliğe daha yakın. (3) Özellik düzeyinde randomize deneme. Etik ve veri koruma sınırları içinde, belirli bir özelliğin (örneğin aralıklı tekrar hatırlatmaları) randomize açılıp kapatılması. En güçlü tasarım; uygulanabilirliği kurumsal ve etik onaya bağlıdır.

Bu çalışma, bir eğitim kurumunun kendi dikey yapay zekâ sistemini inşa etme, işletme ve kalibre etme deneyimini belgeledi. Sistem sınıfı Kuruma-Gömülü Pedagojik Ajan olarak tanımlandı; biçimsel çerçevesi, referans mimarisi, pedagojik motoru, insan katmanı, öz-gelişim döngüsü ve yönetişim yapısı ayrıntılandırıldı.

Birincisi: Bir eğitim yapay zekâsının kalibrasyon kapasitesi, kullandığı modellerin gücünden çok, tahminlerinin doğruluğuna dair geri bildirime olan yakınlığına bağlıdır.

Kurumun içinde bu geri bildirim, kurumsal rutinin doğal yan ürünü olarak akar. Kurum, bu anlamda etiketleme aygıtının kendisidir. İkincisi: İnsan onayı, bu mimaride bir yavaşlatıcı değil, öğrenme döngüsünün kapanma noktasıdır. Öğretmenin ve rehberin her kararı, sistem için bir denetim sinyali üretir.

Bu, sistemi bir yazılımdan çok bir insan-düğümlü öğrenme ağına dönüştürür. Üçüncüsü: Bu sistem sınıfı, tanımı gereği devredilemezdir. Satıldığında tanımlayıcı özelliğini yitirir ve alıcı için üçüncü-parti bir araca dönüşür. Aktarılabilir olan sistem değil, yöntemdir.

Bu çalışmanın yayımlanma gerekçesi, doğrudan yukarıdaki üçüncü bulgudan çıkmaktadır.

Bu sistemi satamayız; çünkü satıldığı anda tanımı gereği başka bir şeye dönüşür. Paylaşabileceğimiz tek şey yöntemdir — bu çalışmanın varlık nedeni de budur. Bir eğitim kurumunun kendi pedagojik geleneğini terk etmeden, çağın araçlarını ciddi bir mühendislik disipliniyle bünyesine katabileceği gösterilmeye çalışıldı. Anlatılan mimarinin merkezinde bir kod değil, bir eğitimci kararı vardır: teknolojinin görüş alanını genişletmesine izin vermek, ancak kararı insanda bırakmak.

Yapay zekânın eğitimdeki geleceği, muhtemelen daha güçlü modellerle değil, o modellerin kurumsal gerçekliğe ne kadar yaklaştırılabildiğiyle belirlenecektir. Bu çalışma, o yaklaştırmanın bir biçimini ve bedelini belgeledi. Sonraki bölümler: KISIM VI-B, VI-C · KISIM IV-C · EK’ler EKLER 189