Yapay zekâ ile soru hazırlamanın yedi tuzağı

Yapay zekâya soru yazdırmanın zor tarafı soruyu üretmek değil, üretileni elemek. Model her seferinde akıcı, düzgün Türkçe, ilk bakışta kusursuz görünen bir soru veriyor; kusurlar okurken göze çarpmayan yerlerde saklanıyor. Bu yazıda, beş derste soru üretip her çıktıyı MEB ölçütlerine göre denetlerken karşımıza çıkan yedi tuzağı anlatıyoruz.

Aşağıdakiler bizim ölçümlerimizdir, MEB kılavuzunun ifadeleri değildir. Kılavuzun kendi kurallarını ayrı bir yazıda derledik: Bağlam temelli soru nedir?

1. Figür cevabı söylüyor

En sinsi tuzak buydu. Bir serbest düşme sorusunun şemasında, köşede küçük bir kutu vardı: "→ ivme sabit (g), kütleden bağımsız". Soru metni kusursuzdu, şıklar dengeliydi, çeldiriciler gerçek yanılgılara dayanıyordu. Ama öğrencinin düşünmesi gereken sonuç figürün içine yazılmıştı.

Bu hata iki nedenle kolay kaçar. Birincisi, soruyu okurken figüre "resim" gözüyle bakarsınız, metin gibi okumazsınız. İkincisi, figürü çizen ile soruyu yazan farklı adımlarsa — bizde öyleydi — çizim adımına çözüm metni referans olarak verildiğinde model sonucu "faydalı bir açıklama" sanıp görselin içine yazıyor.

Nasıl yakalanır: Figürdeki bütün yazıları tek tek listeleyin ve her birine tek soru sorun: bu etiket sorunun cevabını ima ediyor mu? Biz bunu otomatikleştirdik — denetim adımına artık figürün yazı envanteri ayrıca veriliyor, çünkü denetleyen model de görseli "görmüyor", yalnız yazılarını okuyor.

2. Doğru şık kendini ele veriyor

Üç bağımsız incelemenin üçünde de aynı desen çıktı: doğru şık, çeldiricilerden belirgin biçimde uzundu. Bir coğrafya sorusunda doğru şık diğerlerinden %36 uzundu; birkaç veri okuma sorusunda ise doğru şık hem en uzun hem de içinde "resmî kaynaktan alınmış", "güncel", "doğrulanabilir" gibi güven veren nitelemeleri taşıyan tek şıktı.

Sonuç şu: konuyu hiç bilmeyen ama test tekniği bilen bir öğrenci "en özenli duran şıkkı" seçerek doğruyu bulabiliyor. Madde artık coğrafya bilgisini değil, test çözme becerisini ölçüyor.

Bunun neden olduğu anlaşılabilir. Modele "doğru şıkkı eksiksiz ve doğru yaz" dediğinizde doğru şıkka özen gösteriyor; çeldiriciler ise "yanlış oldukları belli olsun" diye üstünkörü kalıyor.

Nasıl yakalanır: Şıkları kapatıp yalnız uzunluklarına bakın. En uzun şık doğruysa şüphelenin. Çözüm, doğru şıkkı kısaltmak değil — çeldiricileri aynı ciddiyette yazmak. Bir çeldirici yanlışlığını özensiz görünmesinden değil, içeriğinden almalı.

3. Grafiğin ekseni ters

Yayımlanmış bir fizik sorusunun grafiğinde dikey eksen yukarıdan aşağıya 60-120-180 diye etiketlenmişti; yani değerler yukarı doğru azalıyordu. Soru metninden bunu anlamak mümkün değil. Şık listesinden de değil. Hatta figürün yazılarını okusanız bile göremezsiniz — etiketler doğru sayılar, yalnız yerleri ters.

Bu hata yalnız koordinatlara bakınca görülüyor. Biz sonunda dil modeline hiç sormayan, tamamen aritmetik bir tarama yazdık: eksen etiketlerinin ekrandaki konumlarıyla değerlerinin aynı yönde artıp artmadığına bakıyor.

Nasıl yakalanır: Grafikli soru üretiyorsanız eksen yönünü ayrıca ve elle kontrol edin. Bu, dil modelinin doğal olarak iyi olmadığı bir iş; çünkü sorun anlamda değil geometride.

4. Bağlam süs, soru bağlamsız da çözülüyor

En sık ve en zararsız görünen tuzak. Model "günlük hayatla ilişkilendir" talimatını alınca soruyu bir sahneyle çevreliyor: öğrenci mutfakta, öğrenci çarşıda, öğrenci laboratuvarda. Ama sahneyi silip soruyu okuduğunuzda hiçbir şey değişmiyor.

Ölçtüğümüz bir yan etki daha var: bağlamsız üretimde sahneler de birbirine benziyor. Bağlam çeşitliliğini zorlamadan yaptığımız bir denemede, sekiz sorunun sekizi de aynı "öğrenci mutfakta" iskeletindeydi. Sahne havuzunu üretim isteğine bağladığımızda iskelet benzerliği %12,7'den %3,7'ye indi.

Nasıl yakalanır: MEB kılavuzunun testi burada birebir işe yarıyor: bağlamı silin, soru yine çözülüyorsa bağlam dekordur. Dekor bağlam zararsız değildir — okuma yükü ekler, yani ölçtüğünüz beceriyi okuma hızıyla karıştırır.

5. Okuma yükü sessizce büyüyor

Kalite panomuzda "okuma yükü" ölçütü, değerlendirildiği ilk dört koşunun dördünde de zayıf çıktı. Sebebi şuydu: "zengin bağlam" istediğinizde model yalnız bağlamı değil şıkları da uzatıyor. Toplam okuma iki katına çıkıyor ve 40 dakikalık bir yazılıda bu, konuyu bilen ama yavaş okuyan öğrencinin aleyhine işliyor.

Okuma yükü, ÖSYM çalıştaylarında da incelenen sorulardaki en belirgin ortak zorluk olarak raporlanmıştı. Yani bu, yapay zekâya özgü bir kusur değil; yapay zekâ yalnız onu hızlandırıyor.

Nasıl yakalanır: Kuralı ikiye ayırın: bağlam uzayabilir, şıklar kısa kalır. Bunu üretim talimatına açıkça yazmak ölçülebilir fark yarattı.

6. Model sınıra çarpınca sessizce boş dönüyor

Bu teknik bir tuzak ama sonucu pedagojik. Yapılandırılmış çıktı isteyen bir çağrı, belirlenen çıktı sınırına çarptığında JSON yarım kalıyor; arayüz bunu "sonuç yok" diye yorumluyor ve hata vermeden boş dönüyor. Bizde bir adım tam da böyle 18 tohumluk bir üretimden sıfır sonuç döndürdü ve bunu ancak sayıları elle karşılaştırınca fark ettik.

Daha pahalı bir varyantı da yaşandı: kırpılma deterministik bir hataydı ama iki katman birden yeniden deniyordu; her deneme sınıra kadar token yakarak. Tek bir sınır hatası yaklaşık 14 dolara mal oldu.

Nasıl yakalanır: Modelin durma sebebini kontrol edin. "Sınıra çarptı" ile "bitirdi" farklı şeylerdir ve ilkini sessizce yutan her sistem, günün birinde eksik içerik üretip haber vermez.

7. Puana güvenip rapora bakmamak

Denetim katmanı kurunca rahatlıyorsunuz: soru 88 aldıysa iyidir. Kendi verimize bakınca bunun yanıltıcı olduğunu gördük. Aynı sayıda zayıf ölçüt farklı puanlara gidebiliyordu; denetleyen model bir koşuda iki zayıf ölçüte "kabul", başka bir koşuda aynı tabloya "düzelt" diyordu.

İkinci bir sürpriz: bankamızdaki en yüksek puanlı yedi sorunun puanı hiçbir dil modelinden gelmiyordu — bir test betiğinin doğrudan veritabanına yazdığı sabit değerlerdi. Puan alanına bakan bir pano, bu satırları gerçek denetim sanıyordu.

Nasıl yakalanır: Puanı tek başına ölçüt saymayın; hangi ölçütlerin tam geçmediğine bakın. Biz sonunda kararı koda bağladık: bir ölçüt "kaldı" ise soru yeniden üretilir, birden fazla "zayıf" varsa "kabul" kararı verilemez.

Toparlarsak

Yapay zekâ soru yazımında iyi olduğu yerlerde gerçekten iyi: bağlam üretmek, çeldiriciyi bir kavram yanılgısına oturtmak, aynı kazanımı farklı sahnelerde yoklamak. Kötü olduğu yerler ise şaşırtıcı biçimde dar ve tekrar eden yerler: geometri (eksen yönü, şekil tutarlılığı), kendi çıktısının biçimsel dengesi (şık uzunlukları) ve sızıntı (cevabı bir yerde söyleyiverme).

Bu üçü de gözle taranabilir. Bir kontrol listeniz varsa yapay zekâ ile soru hazırlamak elle yazmaktan hızlıdır; listeniz yoksa, akıcı ve kusurlu soruları daha hızlı üretmiş olursunuz.

Sıkça sorulan sorular

Yapay zekânın yazdığı soru sınavda kullanılabilir mi?

Kullanılabilir, ancak sorumluluk soruyu sınava koyan öğretmendedir. Bizim yaklaşımımız, üretimi hızlandırıp kararı öğretmende bırakmak: her sorunun gerekçesi ve denetim raporu görünür, beğenilmeyen soru bankaya girmez.

Denetimi de yapay zekâ yapıyorsa ne kadar güvenilir?

Denetim, üretimden bağımsız bir çağrıdır ve elinde MEB ölçütlerinden türetilmiş bir liste vardır; bu yüzden üreticinin körü olduğu şeyleri görebiliyor. Ama sınırı var: yukarıdaki 3. maddedeki ters eksen hatasını hiçbir dil modeli yakalayamadı, onu aritmetik bir tarama yakaladı. Kural şu: dil işini modele, geometri ve sayı tutarlılığını koda verin.

Bu tuzaklar yalnız yapay zekâda mı var?

Hayır. Doğru şıkkın uzun olması, dekor bağlam ve okuma yükü, elle yazılmış sorularda da yıllardır bilinen kusurlar. Yapay zekânın yaptığı, bu kusurları çok daha hızlı ve çok daha tutarlı biçimde üretmek. Bu yüzden kontrol listesi, üretim hızıyla birlikte önem kazanıyor.

Hangi model daha iyi soru yazıyor?

Ölçtüğümüz kadarıyla fark, model markasından çok modele verdiğiniz dayanakta. Aynı modeli ders kitabı temelli bir üretim paketiyle beslediğimizde çeldirici kalitesi belirgin yükseldi; paketi zayıf olan kazanımlarda ise aynı model sıradan sorular yazdı. Yöntemimizin ayrıntısı Hakkımızda sayfasında.