{
  "baslik": "Yapay Zeka Uygulamaları — 5. Hafta",
  "aciklama": "Model değerlendirme: doğruluğun tuzağı, kesinlik ve duyarlılık, eşik, taban çizgisi, dengesiz veri, MAE/RMSE, aşırı öğrenme",
  "sorular": [
    {
      "soru": "Bir hastanede 1000 kişilik tarama yapıldı ve **100 kişi gerçekten hasta.** Üç model denendi: **A** hiç kimseye \"hasta\" demedi (doğruluk %90,0); **B** 50 kişiyi işaretledi, 45'i hastaydı (doğruluk %94,0); **C** 212 kişiyi işaretledi, 92'si hastaydı (doğruluk %87,2). Tarama testi olarak hangisi kullanılmalıdır?",
      "secenekler": [
        "B, çünkü doğruluğu en yüksek olan modeldir.",
        "A, çünkü hiç yanlış alarm vermiyor ve kimseyi boşuna telaşlandırmıyor.",
        "C, çünkü 100 hastanın 92'sini yakalıyor; taramada kaçırma, yanlış alarmdan çok daha pahalıdır.",
        "Üçü de kullanılabilir, doğrulukları birbirine yakın.",
        "Hiçbiri; tarama için en az %95 doğruluk şarttır."
      ],
      "dogru": "C",
      "aciklama": "Doğruluğa göre sıralama **B > A > C**, ama doğru karar tam tersi. Sebep: 900 sağlam kişiye \"sağlam\" demek bedava puandır; doğruluk kalabalık tarafın hatırına şişer. Model A, 100 hastanın **100'ünü** eve göndermesine rağmen %90 alıyor. Tarama testinde kaçırılan hasta geri dönüşü olmayan bir zarar; yanlış alarmı ise ikinci aşamadaki doktor incelemesi zaten eliyor. **Metrik seçimi modelden önemlidir.**"
    },
    {
      "soru": "**\"'Hasta' dediklerimin kaçı gerçekten hastaydı?\"** sorusunun cevabı hangi metriktir?",
      "secenekler": [
        "Doğruluk (accuracy)",
        "Kesinlik (precision)",
        "Duyarlılık (recall)",
        "Seçicilik (specificity)",
        "F1 skoru"
      ],
      "dogru": "B",
      "aciklama": "Ayrımı tutturan cümle: **kesinlik modelin kendi listesine bakar**, duyarlılık gerçeğe bakar. Kesinlik \"dediklerimin kaçı doğruydu?\" diye sorar ve paydaya modelin iddiasını (TP + FP) koyar. Duyarlılık ise \"gerçek hastaların kaçını yakaladım?\" diye sorar, paydaya dünyanın gerçeğini (TP + FN) koyar. Her alarm bir maliyet doğuruyorsa kesinliğe, kaçırmanın bedeli ağırsa duyarlılığa bakılır."
    },
    {
      "soru": "Yukarıdaki Model B (temkinli) ile Model C (atılgan) **aslında aynı model olabilir.** Bu nasıl mümkündür?",
      "secenekler": [
        "İkisi de aynı veri kümesiyle eğitildiği için sonuçları eşdeğerdir.",
        "Doğrulukları birbirine yakın olduğu için istatistiksel olarak aynı sayılırlar.",
        "Aynı kütüphane kullanıldığında modeller aynı çıktıyı üretir.",
        "Model karar değil **skor** üretir; aynı skorları farklı bir eşikten kesmek farklı kararlar doğurur.",
        "Karmaşıklık matrisleri aynı olduğu için aynı modeldirler."
      ],
      "dogru": "D",
      "aciklama": "Haftanın merkez fikri: **model karar vermez, skor üretir; kararı eşik verir.** Model her kişi için 0–1 arası bir sayı söyler (\"hasta olma ihtimali 0,73\"). Eşiği 0,85'e koyarsanız temkinli, 0,25'e koyarsanız atılgan bir model elde edersiniz — **model hiç değişmeden.** Eşik bir model özelliği değil, sizin verdiğiniz bir karardır; seçmezseniz çoğu kütüphanede 0,5 olarak sizin yerinize seçilir."
    },
    {
      "soru": "Bir e-posta servisinin spam filtresinde **spam klasörüne kullanıcılar neredeyse hiç bakmıyor.** Bu sistemde öncelikle hangi hatadan kaçınılmalı ve hangi metriğe bakılmalıdır?",
      "secenekler": [
        "Yanlış alarmdan kaçınılmalı; **kesinliğe** bakılmalı.",
        "Kaçırmadan kaçınılmalı; **duyarlılığa** bakılmalı.",
        "İki hata eşit önemdedir; **F1** yeterlidir.",
        "Sınıflar dengesiz olduğu için **doğruluğa** bakılmalı.",
        "Kullanıcı davranışı ölçülemeyeceği için metrik seçilemez."
      ],
      "dogru": "A",
      "aciklama": "Burada yanlış alarm = kullanıcının **asla göremeyeceği** bir iş teklifi, fatura ya da sınav duyurusu. Kaçırma ise gelen kutusunda görünen bir reklam: kullanıcı siler, üç saniye. Yani spam filtresi kanser taramasının **tam tersidir** — orada kaçırma, burada yanlış alarm felakettir. Aynı model, aynı sayılar, farklı problem, farklı metrik."
    },
    {
      "soru": "Bir ekip kanser tarama modelini geliştirirken **F1 skorunu en iyilemeye** karar veriyor. Bu yaklaşımın taşıdığı risk nedir?",
      "secenekler": [
        "F1 tüm problemlerde doğru metriktir, bir risk taşımaz.",
        "F1 hesaplanırken model aşırı öğrenmeye başlar.",
        "F1 kullanıldığında taban çizgisi hesaplanamaz.",
        "F1 mutlaka veri sızıntısına yol açar.",
        "F1 iki hatayı **eşit pahalı** sayar; kesinliği korumak uğruna hasta kaçırılabilir."
      ],
      "dogru": "E",
      "aciklama": "F1, kesinlik ile duyarlılığın harmonik ortalamasıdır ve **ikisine eşit ağırlık verir.** Kanser taramasında bu varsayım yanlıştır: kaçırma, yanlış alarmdan kat kat pahalıdır. F1'i yükseltmeye çalışan ekip farkında olmadan kesinliği korumak için duyarlılıktan feda edebilir. Bedeller eşit değilse ya duyarlılığa bir alt sınır koyup (\"%95'in altına inmesin\") kesinliği en iyilersiniz, ya da hataların **parasal maliyetini** hesaplayıp toplamı en küçükleyen eşiği seçersiniz."
    },
    {
      "soru": "Bir ekip müşteri kaybı (churn) tahmini için **%96 doğruluk** sunuyor. Müşterilerin yalnızca **%4'ü** ayrılıyor. Toplantıda sorulması gereken ilk soru nedir?",
      "secenekler": [
        "Hangi algoritma kullanıldı ve kaç parametresi var?",
        "\"Hiç kimse ayrılmayacak\" diyen taban çizgisi kaç alıyor?",
        "Veri kümesi kaç satırdan oluşuyor?",
        "Model eğitimi kaç saat sürdü?",
        "Eksik veriler hangi yöntemle dolduruldu?"
      ],
      "dogru": "B",
      "aciklama": "\"Hiç kimse ayrılmayacak\" diyen tek satırlık bir kural da **%96** alır. Model taban çizgisini geçmiyorsa ortada model yoktur — haftalarca süren iş, düşünmeyen tahminle aynı yerdedir. **Kural: bir model sonucunu taban çizgisi olmadan asla sunmayın.** \"%85 doğruluk\" cümlesi tek başına değerlendirilemez; \"%85 doğruluk, taban çizgisi %62\" cümlesi değerlendirilebilir."
    },
    {
      "soru": "Kart dolandırıcılığı verisinde işlemlerin yalnızca **binde biri** dolandırıcılıktır. Bu projenin raporunda doğruluk yerine ne bulunmalıdır?",
      "secenekler": [
        "Daha yüksek bir doğruluk hedefi (%99,95 gibi).",
        "Yalnızca AUC değeri; diğer metrikler gereksizdir.",
        "Modelin algoritması, parametreleri ve eğitim süresi.",
        "Azınlık sınıfın duyarlılık ve kesinliği, **ham sayılarla** karmaşıklık matrisi ve taban çizgisi.",
        "Eğitim verisinde ölçülen skor, çünkü test verisi çok küçük kalır."
      ],
      "dogru": "D",
      "aciklama": "Bu veride hiçbir şey yapmayan model **%99,9** doğruluk alır — rakam yüksek olduğu için iyi haber gibi görünür, tehlikeli olan da budur. Doğruluğu rapordan çıkarıp yerine azınlık sınıfın metriklerini koyun, taban çizgisini raporun başına yazın ve matrisi **yüzde değil adet** olarak gösterin: \"92 yakalandı, 8 kaçtı, 120 yanlış alarm\". Yüzdeler büyüyü bozmaz, ham sayılar bozar."
    },
    {
      "soru": "Bir teslimat süresi tahmin modelinde **9 tahminden 8'i 5'er dakika, 1'i 90 dakika** şaşıyor. Buna göre MAE ≈ 14 dakika, RMSE ≈ 30 dakika. Müşteriler küçük sapmalara aldırmıyor ama çok geciken teslimat şikâyet üretiyor. Hangi ölçü bu probleme daha uygundur?",
      "secenekler": [
        "MAE, çünkü değeri daha küçük olduğu için modeli daha başarılı gösterir.",
        "İkisi de aynı bilgiyi verir, hangisinin seçildiği fark etmez.",
        "RMSE, çünkü hataları kareleyerek büyük sapmayı öne çıkarır — şikâyeti üreten de o tek gecikmedir.",
        "Doğruluk (accuracy), çünkü tahminlerin çoğu doğruya yakındır.",
        "Hiçbiri; sayı tahmini problemlerinde hata ölçüsü kullanılmaz."
      ],
      "dogru": "C",
      "aciklama": "MAE bütün hataları aynı ağırlıkta sayar: 10 kez 5 dakikalık sapma ile 1 kez 50 dakikalık sapma onun için aynıdır. RMSE ise hataları karelediği için **büyük sapmaları orantısız cezalandırır** — tam olarak müşterinin tepkisi gibi. Seçimi yapan soru şudur: *bir büyük hata mı daha kötü, çok sayıda küçük hata mı?* Mağaza stok tahmininde cevap tersine döner ve MAE uygun olur. Ayrıca \"RMSE 30\" tek başına iyi ya da kötü değildir; verinin ölçeğiyle ve bir taban çizgisiyle birlikte okunur."
    },
    {
      "soru": "Bir modelin **eğitim verisindeki hatası %2**, hiç görmediği **test verisindeki hatası %38** ve karmaşıklık arttıkça aradaki fark açılıyor. Durum nedir?",
      "secenekler": [
        "Aşırı öğrenme (overfitting); model basitleştirilmeli ya da daha çok veri toplanmalıdır.",
        "Eksik öğrenme (underfitting); model daha da karmaşıklaştırılmalıdır.",
        "Veri sızıntısı vardır; test verisi eğitime karışmıştır.",
        "Taban çizgisi yanlış hesaplanmıştır.",
        "Normal bir durumdur; eğitim hatası düşükse model başarılı sayılır."
      ],
      "dogru": "A",
      "aciklama": "Aşırı öğrenmenin işareti nettir: **eğitim skoru çok yüksek, test skoru düşük ve fark açılıyor.** Model genel kuralları değil, eğitim verisindeki tesadüfleri öğrenmiştir; yeni veriyle karşılaşınca çöker. Dikkat: ters durumda (model çok basitse) hem eğitimde hem testte kötü olur — buna eksik öğrenme denir. İki uç arasındaki tatlı nokta **test skoruna** bakılarak bulunur, eğitim skoruna değil."
    },
    {
      "soru": "Bir öneri sistemi **\"tıklanma oranı\"** hedeflenerek aylarca iyileştirildi. Tıklanma yükseldi, ama kullanıcı şikâyetleri arttı ve uygulamada geçirilen süre düştü. Bu durum neyin örneğidir ve çaresi nedir?",
      "secenekler": [
        "Aşırı öğrenmedir; test kümesi büyütülmelidir.",
        "Veri sızıntısıdır; sızdıran sütun modelden çıkarılmalıdır.",
        "Dengesiz veri sorunudur; azınlık sınıf çoğaltılmalıdır.",
        "Eksik öğrenmedir; daha karmaşık bir model kurulmalıdır.",
        "Ölçü hedef hâline gelince bozulur (**Goodhart yasası**); ana metriğin yanına koruma metrikleri konmalıdır."
      ],
      "dogru": "E",
      "aciklama": "Seçilen metrik asıl amacın yalnızca **yaklaşık bir temsilcisiydi**; üzerine baskı binince temsilci ile asıl amaç ayrıştı. Sistem tıklanacak başlıkları öğrendi: abartılı ve kışkırtıcı içerik. Aynı örüntü çağrı merkezinde (görüşme süresi hedeflenince sorun çözülmeden telefon kapanır) ve spam filtresinde de görülür. Çare tek metrik hedeflememektir: bir ana metrik seçip yanına **bozulmasını istemediğiniz** koruma metrikleri koyarsınız — burada şikâyet sayısı ve uygulamada geçirilen süre. Bütün metrikler bir şeyin vekilidir; asıl soru hep aynıdır: *bu model gerçek dünyada daha iyi karar almamızı sağlıyor mu?*"
    }
  ]
}
