Kapasite ve Teknoloji Yığını

KISIM IV mimariyi — yani bileşenlerin nasıl örgütlendiğini — anlattı.

Bu bölüm ise yetenek yüzeyini anlatır: sistemin eriştiği hesaplama gücü, model portföyü, canlı veri kaynakları ve temsil araçları. Ayrı bir bölüm gerektirmesinin nedeni kuramsaldır. §4B.3.4’te biçimselleştirilen benchmark devralma tezine göre, sağlayıcı-bağımsız bir mimaride sistemin yetenek profili tek bir modelin profili değil, görev sınıfları üzerinde alınan üst-zarftır.

Bu tezin kanıtı, erişilen yeteneklerin envanterinde yatar. Envanter olmadan tez soyut kalır.

Bu bölümde iki tür ifade kesin olarak ayrılmıştır: Kapasite ifadeleri (“sistem şunu yapabilir”) — cömertçe ve ayrıntılı olarak verilir.

Bir yeteneğin varlığı, kullanım sıklığından bağımsız olarak sistemin tasarım yüzeyine aittir. Başarı iddiaları (“şunu başardık”) — yalnızca ölçülmüş olanlarla sınırlıdır ve KISIM IX’da raporlanır.

Bu ayrım korunduğu sürece bölüm hem kapsamlı hem savunulabilirdir.

Sistemin yüksek hacimli diyalog yükü, geleneksel grafik işlemci kümelerinden farklı bir donanım mimarisi üzerinde çalışır: tek bir silikon plaka üzerine kurulmuş, model ağırlıklarının tamamını çip üzerinde tutabilen dalga-ölçekli bir çıkarım işlemcisi.

Bu mimarinin çözdüğü darboğaz bellek bant genişliğidir. Üretken modellerde çıkarım hızını sınırlayan asıl etken hesaplama gücü değil, model ağırlıklarının belleğe erişim hızıdır. Ağırlıkların çip üzerinde tutulması bu darboğazı artımlı değil yapısal olarak ortadan kaldırır: ağırlıklar yonga üzerinde ikamet ettiği için üretim, simge başına bir yonga-dışı bellek turu gerektirmez.

Bu mimariyi, ağırlıkların ekli bellekte tutulup hesaplama birimlerine akıtıldığı bir kümeden ayıran özellik budur. Bu, mimariye ilişkin bir tespittir; bir ölçüt sonucu değildir. Gerçekleşen verime dair her karşılaştırma, kurumun kendi yük profiliyle — istek karması, bağlam uzunlukları ve eşzamanlılık örüntüsü — sınırlıdır; bu profil üzerinde elde edilen gözlemler §9.2’de raporlanmıştır ve genel bir donanım sıralaması olarak sunulmamaktadır.

Bu bölümün merkezî iddiası, hızın bir konfor unsuru değil mimari bir olanak olduğudur.

Üç ayrı mekanizmayla: (1) Bilişsel akışın korunması. Öğrenci bir soruda takıldığında, yardımın gelme süresi öğrenme deneyiminin niteliğini belirler. Uzun gecikme, öğrencinin dikkatini dağıtır, konuyu bırakmasına veya başka kaynağa yönelmesine yol açar. Anlık yanıt, takılma anı ile açıklama anı arasındaki bilişsel bağı korur. (2) Her etkileşimin işlenebilir olması. §3.2’de tanımlanan kanıt yakınlığı, yalnızca veri akışının varlığına değil, o akışın işlenebilir olmasına bağlıdır. Etkileşim başına maliyet yüksek olduğunda, kurum ancak seçili etkileşimleri analiz edebilir; bu, kalibrasyonun temelini zayıflatır.

Düşük birim maliyet, “her etkileşim bir ölçüm noktasıdır” ilkesini (§1B.4-C1) ekonomik olarak mümkün kılar. (3) Gece döngüsünün fizibilitesi. Toplu analiz, içerik üretimi, kalibrasyon ve gözlem işleri belirli bir zaman penceresinde tamamlanmalıdır. Yavaş çıkarım, bu pencerenin taşmasına ve döngünün günlük ritmini kaybetmesine yol açar. §7.6’da tanımlanan bileşik gelişme, ancak günlük döngü sürdürülebilir olduğunda gerçekleşir. Sonuç: Hız olmadan kapalı-döngü kalibrasyon ekonomik ve operasyonel olarak sürdürülemez. Bu, donanım seçiminin pedagojik bir tasarım kararı olduğunun göstergesidir.

Dikkat çekici bir ekonomik ayrıntı: kurum, bu hesaplama kapasitesine hiçbir donanım satın almadan erişmektedir.

Ne işlemci kümesi, ne veri merkezi, ne de bakım kadrosu gerekmektedir; kapasite hizmet olarak tüketilmektedir. Bu, §10.1’deki maliyet argümanının teknik ayağıdır: kuruma-gömülü bir sistem, sermaye yoğun bir altyapı yatırımı olmaksızın, bu verim ve genişlikte bir teknoloji yığınını işletebilir.

Bu olanak, on yıl önce mevcut değildi; bugün mevcut olması, §10.6’da tartışılan yapısal kaymanın somut bir göstergesidir.

Portföy seçimleri gerekçelendirilmiş ve ölçülmüştür.

İki örnek: Konuşma tanıma. İki alternatif motor, aynı ses örnekleri üzerinde kelime hata oranıyla karşılaştırılmıştır; seçilen motor belirgin biçimde düşük hata oranı vermiştir (0,024’e karşı 0,190 mertebesinde). Bu, sesli etkileşimin pedagojik olarak kullanılabilir olup olmamasını belirleyen bir farktır: yüksek hata oranı, sistemin öğrenciyi yanlış anlaması ve yanlış konuya yönelmesi demektir. Görüntüden matematik tanıma.

Alternatif motorlar, kontrollü bir doğruluk testinde karşılaştırılmış; sıralama buna göre kurulmuştur. Burada kritik olan, tanıma hatasının zincirleme etki üretmesidir: yanlış okunan bir soru, doğru çözülse bile yanlış sonuç verir. Yeniden sıralama katmanının etkisi A/B ölçümüyle belirlenmiş, ilk-sonuç isabet oranında on yüzde puanlık artış tespit edilmiştir (§4.4.2).

Portföy yaklaşımının sonucu şudur: sistem, her görev sınıfında o sınıfın sınır düzeyine yakın bir yetkinliğe erişir.

Örneğin lisansüstü düzey fen muhakemesi gerektiren bir kavram sorusu, o alanda en yüksek başarımı gösteren motora yönlendirilebilir; olimpiyat düzeyi bir matematik problemi, matematiksel akıl yürütmede öne çıkan motora. Burada bir metodolojik uyarı gereklidir: yaygın genel ölçütlerin bir bölümü doygunluğa ulaşmıştır — üst düzey modeller birbirine çok yakın skorlar aldığından, bu ölçütler ayırt edici değildir. Bu nedenle karşılaştırmada ayırt edici ölçütler (lisansüstü düzey fen soruları, olimpiyat matematiği, soyut akıl yürütme, araştırma düzeyi matematik) esas alınmalıdır.

Daha önemlisi, her ölçütün pedagojik karşılığı verilmelidir. Bir modelin lisansüstü düzey fen sorularında yüksek başarım göstermesi, pedagojik olarak şu anlama gelir: öğrencinin müfredat dışına taşan bir merak sorusu sorduğunda (“bu denklem kuantum mekaniğinde nasıl kullanılıyor?”), sistem yüzeysel bir yanıt yerine alan-doğru bir açıklama üretebilir. Ölçüt, kendi başına değil, bu karşılık üzerinden anlamlıdır.

Portföy yaklaşımının en az fark edilen özelliği, kod değişmeden iyileşmesidir. Sağlayıcılar modellerini güncellediğinde veya yeni bir motor öne çıktığında, sistemin yetenek tavanı yükselir; gereken tek şey yönlendirme yapılandırmasının güncellenmesidir. Bu, §7.6’da tanımlanan dört gelişme vektöründen birincisidir ve tek modele bağlı bir mimaride elde edilemez: kilitli bir sistemde sağlayıcı ilerlemesi, ancak sağlayıcının kendi ürün yol haritasına bağlı olarak ve gecikmeli biçimde içeri girer.

Üretken modeller, dil ve muhakeme görevlerinde güçlüdür ancak kesin hesap gerektiren görevlerde yapısal bir risk taşır: makul görünen ancak yanlış bir sonuç üretebilirler. Eğitim bağlamında bu risk özellikle ciddidir, çünkü öğrenci sonucu doğrulayacak yetkinlikte değildir — zaten öğrenmek için sormaktadır.

Bu risk, üretken modelin çıktısını deterministik bir arka uçla temellendirerek ele alınır.

Yaklaşım, literatürde nöro-sembolik entegrasyon olarak adlandırılır ve iki bileşenin güçlü yanlarını birleştirir: modelin doğal dil anlama ve problem çerçeveleme yeteneği ile sembolik motorun deterministik ve bağımsız olarak denetlenebilir hesaplaması. Buradaki iddia hatasızlık değildir: bir bilgisayar cebir sisteminin de tanım kümesi sınırları ve sayısal duyarlık hataları vardır.

İddia, sonucun aynı girdi için her defasında aynı biçimde üretilmesi ve dışarıdan yeniden hesaplanarak denetlenebilmesidir — olasılıksal üretimin sağlayamadığı özellik budur. Sistemde bu ilke şu görev sınıflarında uygulanır: kesin sayısal hesap, sembolik manipülasyon, birim tutarlılığı denetimi, fiziksel ve kimyasal sabitlerin doğrulanması, sayı dizisi tanıma.

Buradan genel bir kural türetilir ve tüm sistemde uygulanır: Kesinlik gerektiren yerde olasılıksal üretime güvenilmez. Bu kural yalnızca matematiksel hesapla sınırlı değildir; §8.2’de görüleceği üzere kriz güvenlik bilgisi için de geçerlidir. İki alan arasındaki ortak nokta, hatanın maliyetinin geri döndürülemez olmasıdır.

Sistem, yirmi dört canlı dış veri kaynağına bağlıdır.

Bu bağlantıların amacı “daha çok özellik” değil, iki spesifik pedagojik işlevdir: (1) Temellendirme. Bir sayısal değer, sabit veya olgu sorulduğunda, yanıt modelin belleğinden değil yetkili kaynaktan gelir. Bu, halüsinasyon riskini yapısal olarak azaltır. (2) Akademik köprü.

Öğrencinin merakı müfredat sınırında durmaz. Bir öğrenci parçacık fiziğine, protein yapısına veya iklim verisine ilgi duyduğunda, sistem onu gerçek bilimsel veriyle buluşturabilir. Bu, §4B.8’de tartışılan “sınava hazırlar ama bilimi bilir” ilkesinin somut karşılığıdır.

Dış kaynakların kendi sınırları vardır ve bu sınırlar kullanıcıya açıkça bildirilir.

Örnek olarak, yükseköğretim yerleştirme verisinin resmî kaynağı sınırlı sayıda geçmiş yılı kapsamaktadır. Sistem, bu sınırın ötesinde veri üretmek yerine kapsamı açıklar.

Bu tasarım kararının gerekçesi §4.5.3’teki halüsinasyon savunmalarıyla aynıdır: eksikliği gizlemek, eksikliği beyan etmekten daha zararlıdır. Ayrıca kurumsal güven açısından da belirleyicidir — sistemin “bilmiyorum” veya “bu veri kaynakta yok” diyebilmesi, güvenilirliğinin bir bileşenidir.

Hangi verinin hangi temsille sunulacağı modelin tercihine bırakılmaz; veri tipi–temsil eşlemesi kural tabanlıdır. Bunun iki gerekçesi vardır: tutarlılık (aynı tür veri her zaman aynı biçimde sunulur, kullanıcı öğrenir) ve pedagojik uygunluk (yanlış temsil, bilişsel yükü artırır).

Görselleştirme, otomatik olarak pedagojik değer üretmez. Çoklu temsil kuramı, farklı temsillerin anlamayı derinleştirdiğini gösterir; ancak aynı literatür, amaçsız görselleştirmenin bilişsel yükü artırdığını da belirtir. Bu nedenle sistemde görselleştirme, gösteriş amaçlı değil veri tipine bağlı olarak tetiklenir ve ham sayı sunumu yasağı (§4.6.3) burada da geçerlidir.

Sistem yüz seksen mertebesinde araca sahiptir. Bunlar işlevsel gruplara ayrılır:

Her araç, her rol için ayrı ayrı tanımlıdır.

Bu matris, mimarinin mahremiyet omurgasıdır (§8.3) ve iki ilkeye dayanır: İlke 1 — Varsayılan kapalılık. Bir araç, açıkça tanımlanmadıkça hiçbir role açık değildir. İlke 2 — Kapsam zorlaması. Öğrenci rolündeki bir kullanıcının sorguları, kendi kaydına kilitlenir.

Bu kilit arayüzde değil, erişim katmanında uygulanır. Uygulamada karşılaşılan bir bulgu, matrisin eksiksizliğinin ayrıca denetlenmesi gerektiğidir: bir grup araç, hiçbir role tanımlanmadan sisteme eklenmiş ve yetki hatası üretmiştir. Bu, matrisin otomatik bütünlük denetimine tabi tutulması gerektiğini göstermiştir.

Bu bölüm bir derinlik ölçümü sunmaz; derinliğin öğrenciye hangi koşullarda açıldığına dair bir erişilebilirlik politikasını tanımlar. Sınav hazırlığı yapan bir sistemin, müfredat düzeyiyle sınırlı bilgi sunması makul bir tasarım tercihi gibi görünebilir; bu sistemde bilinçli olarak tersi tercih edilmiştir: sistem, sınav müfredatına hazırlar ancak bilgi derinliği müfredatla sınırlı değildir.

Üç gerekçe vardır. (1) Merak müfredat sınırında durmaz.

Bir öğrenci, türev öğrenirken “bu gerçekte nerede kullanılıyor?” diye sorabilir. Bu soruya yüzeysel bir yanıt vermek, merakı kapatır. Alan-doğru bir yanıt vermek ise onu akademik dünyaya bağlar. (2) Kavramsal derinlik, sınav başarısını da destekler. Yeni nesil ölçme yaklaşımları, ezber yerine kavramsal anlama ve transfer becerisi ölçmektedir.

Kavramı yalnızca sınav formatında bilen öğrenci, bağlam değiştiğinde zorlanır. (3) Kurumsal misyon. Bir eğitim kurumunun amacı sınav puanı üretmek değil, öğrenciyi yükseköğretime hazırlamaktır. Öğrencinin akademik dünyayla erken temas kurması bu amaca hizmet eder.

Bu derinlik, üç mekanizmayla sağlanır: sınır muhakeme modellerine erişim (§4B.3), canlı bilimsel veri kaynakları (§4B.5) ve simülasyon evreni (KISIM IV-C).

Ancak bir pedagojik kısıt uygulanır: derinlik, öğrencinin isteğine bağlı olarak açılır. Sistem, temel bir soruya lisansüstü düzey bir yanıt vererek öğrenciyi bunaltmaz; bilişsel yük yönetimi (§1B.5-D) burada da geçerlidir.

Derinlik bir varsayılan değil, bir erişilebilirliktir.

Bu bölümde sayılan bileşenlerin tamamı — hesaplama kapasitesi, model portföyü, veri kaynakları, temsil motorları — piyasadan erişilebilir hizmetlerdir.

Hiçbiri kuruma özgü bir icat değildir; herhangi bir aktör aynı hizmetlere abone olabilir. Bu, bir zayıflık değil tezin merkezindeki noktadır. §10.4.3’te ifade edildiği gibi: sağlayıcılar hücreleri üretir, bu mimari sinapsları üretir.

Değer bileşenlerde değil, bileşenler arasındaki ilişkilerde ve o ilişkilerin kurumsal kanıtla kalibre edilmesindedir.

Aynı hizmetlere erişen bir aktörün elde edemeyeceği üç şey vardır: (1) Kanıt akışı (§3.2).

Yönlendirme kararlarının, sinyal eşiklerinin ve müdahale tercihlerinin hangi yönde ayarlanacağı, kurumun kendi sonuç verisinden öğrenilir. Bu veri satın alınamaz. (2) Kurumsal eşleşme (§4.9.2).

Niyet taksonomisi, onay hiyerarşisi, brifing biçimleri ve entegrasyon noktaları belirli bir kurumun işleyişine göre tanımlanmıştır. (3) İnsan ağı (§3.4.3). Sinyalin doğrulandığı düğümler — öğretmen, rehber, yönetim, veli — sistemin parçasıdır ve devredilemez.

Yığın envanteri, tek başına bir üstünlük iddiası değildir. Anlamı, KISIM V’te açılacak olan pedagojik motoru mümkün kılmasıdır: bu kapasite olmadan, sonraki bölümde anlatılan kapalı-döngü ustalık çevrimi, sürekli ölçüm ve kazanım düzeyi teşhis operasyonel olarak yürütülemez. Yani bu bölüm bir yetenek gösterisi değil, bir ön koşul beyanıdır.

Sınav hazırlığında en sık gözlenen güçlüklerden biri, öğrencinin bir kavramı işlem düzeyinde bilip anlam düzeyinde bilmemesidir.

Formül uygulanabilir, ancak formülün neyi tarif ettiği zihinde bir karşılık bulmaz. Bu, yeni nesil ölçme yaklaşımlarının doğrudan hedef aldığı zayıflıktır: bağlam değiştiğinde bilgi transfer edilemez.

Soyut kavramların (alan, dalga, olasılık dağılımı, türevin geometrisi, moleküler etkileşim, jeolojik zaman) statik temsillerle aktarılması yapısal olarak zordur. Kitap sayfası ve tahta, dinamik bir olguyu donmuş bir kesitle temsil eder.

Çoklu temsil kuramı, bir kavramın farklı temsil biçimlerinde (sembolik, görsel, sayısal, sözel) sunulmasının kavramsal anlamayı derinleştirdiğini öne sürer.

Özellikle soyut kavramlarda, sembolik gösterimden önce kurulan görsel-sezgisel temasın öğrenmeyi kolaylaştırdığı belirtilmektedir. Ancak aynı literatür bir uyarı da içerir: temsil zenginliği kendi başına iyi değildir.

Amaçsız veya kavramla ilişkisiz görselleştirme, bilişsel yükü artırarak öğrenmeyi engeller. Bu uyarı, bu bölümdeki tüm tasarım kararlarının sınırlayıcısıdır.

Simülasyon, eğitim teknolojisinin en eski vaatlerinden biridir ve ticari örnekleri mevcuttur.

Kurum-içi geliştirmenin gerekçesi üç noktada toplanır: (1) Müfredat hizalaması. Hazır simülasyonlar genellikle belirli bir müfredata göre değil, genel kavramlara göre üretilir. Kurum-içi üretim, kazanım düzeyinde hizalamayı mümkün kılar (§1B.3-B6). (2) Bağlam entegrasyonu.

Simülasyonun, öğrencinin o anki konusuna ve ustalık durumuna göre çağrılabilmesi, ancak sistemin geri kalanıyla aynı bağlamı paylaşmasıyla mümkündür. (3) Talep anında üretim. İçerik üretim maliyetinin düşmesi (§10.6), önceden hazırlanmış bir kütüphaneye bağlı kalmadan, öğrencinin o anki sorusuna özel simülasyon üretilmesini mümkün kılmıştır.