Model Değerlendirme
Bir model kurdunuz ve ekrana bir sayı geldi: %90 doğruluk. İyi mi? Bu hafta göreceğiz ki bu sorunun cevabı sayıda değil. Aynı sayıyı veren iki model birbirinin tam zıttı olabilir; daha yüksek sayı alan model daha kötü olabilir. Bu hafta kod yazmıyoruz — örneklere bakıyoruz ve bir sayının ne zaman yalan söylediğini öğreniyoruz.
"%90 doğruluk aldım" ne anlatır?
Kısa cevap: neredeyse hiçbir şey. Uzun cevabı görmek için üç modele bakalım. Üçü de aynı hastanede, aynı 1000 kişilik taramada çalıştı.
Elimizde 1000 kişi var. Bunların 100'ü gerçekten hasta, 900'ü sağlam. Üç farklı model bu 1000 kişiyi inceledi ve her biri için "hasta" ya da "sağlam" dedi.
Tembel
Hiç kimseye "hasta" demiyor. Herkese "sağlam" diyor. Tek bir hastayı bile bulmuyor.
Doğruluk: %90,0
Temkinli
Çok emin olmadıkça "hasta" demiyor. 50 kişiyi işaretledi, 45'i gerçekten hastaydı.
Doğruluk: %94,0
Atılgan
Şüphelendiği herkesi işaretliyor. 212 kişiyi işaretledi, 92'si gerçekten hastaydı.
Doğruluk: %87,2
Doğruluğa göre sıralarsak: B (94) > A (90) > C (87).
Sebep basit: 900 sağlam kişiye "sağlam" demek bedava puan. Doğruluk, kolay soruların çokluğundan beslenir. Hastaların oranı düştükçe bu puan şişer — nüfusun %1'i hastaysa hiçbir şey yapmayan bir model %99 doğruluk alır.
Bir modele tıkla; dört kutusunu ve gerçek davranışını gör. Sonra alttaki soruyu cevapla: bu üçünden hangisini hastanede kullanırsın?
İki hata aynı şey değildir
3. haftada karmaşıklık matrisini görmüştük: doğru bildiklerimiz iki kutuda, hatalarımız iki kutuda. Şimdi asıl meseleye geliyoruz — o iki hatanın fiyatı farklıdır.
Bir model "evet" ya da "hayır" derken iki farklı şekilde yanılabilir:
Yanlış alarm
Olmayan bir şeye "var" dedik. Sağlam kişiye "hasta", normal e-postaya "spam", dürüst müşteriye "dolandırıcı".
İngilizcesi false positive, kısaca FP.
Kaçırma
Olan bir şeye "yok" dedik. Hasta kişiye "sağlam", spam'e "normal", dolandırıcılığa "temiz işlem".
İngilizcesi false negative, kısaca FN.
Şimdi dört gerçek duruma bakalım ve her birinde hangi hatanın daha pahalı olduğunu soralım. Cevaplar birbirinden çok farklı çıkacak — işte bütün mesele bu.
Dört kutudan dört soru çıkar
Metrik isimleri (precision, recall, specificity) korkutucu geliyor. Oysa her biri Türkçe tek bir sorunun cevabı. İsimleri ezberlemeyin, soruları aklınızda tutun.
Model C'nin (Atılgan) rakamlarıyla gidelim: 92 doğru yakalama, 120 yanlış alarm, 8 kaçırma, 780 doğru "sağlam".
"Toplamda kaçta kaçını doğru bildim?"
Tek başına en yanıltıcı metrik. Kalabalık taraf kim ise onun hatırına şişer. Sınıflar dengeliyse (yarı yarıya) işe yarar; dengesizse bakmayın bile.
"'Hasta' dediklerimin kaçı gerçekten hastaydı?"
Modelin alarmına ne kadar güvenilir onu söyler. Her alarm bir maliyet doğuruyorsa (kullanıcıyı rahatsız etmek, kartı bloke etmek, parçayı çöpe atmak) buna bakarsınız.
"Gerçek hastaların kaçını yakalayabildim?"
Modelin ne kadarını kaçırdığını söyler. Kaçırmanın bedeli ağırsa (kanser, yangın, dolandırıcılık) asıl bakacağınız sayı budur.
"Gerçek sağlamların kaçını rahat bıraktım?"
Duyarlılığın aynadaki görüntüsü. Sağlam tarafın çoğunluk olduğu taramalarda, kaç kişiyi boşuna telaşlandırdığınızı gösterir.
Model A'ya (Tembel) aynı soruları soralım, çünkü asıl ders orada:
Doğruluk
%90,0
Harika görünüyor.
Duyarlılık
%0,0
Tek bir hasta bile bulamadı.
Kesinlik
tanımsız
Hiç "hasta" demediği için hesaplanamıyor.
Model karar vermez, skor üretir
Şimdi bu haftanın en önemli fikri geliyor. Model aslında "hasta" ya da "sağlam" demiyor. Model her kişi için 0 ile 1 arasında bir skor üretiyor — "bence bu kişinin hasta olma ihtimali 0,73". Kararı veren o skor değil, skorun nereden kesildiği.
O kesme noktasına eşik diyoruz. Eşiği 0,5'e koyarsanız 0,5'in üstündeki herkese "hasta" denir. 0,9'a koyarsanız yalnızca en emin olunanlara. 0,2'ye koyarsanız şüphelenilen herkese.
Aşağıda tek bir modelin 1000 kişiye verdiği skorlar var. ● yeşil noktalar gerçek hastalar, ● kırmızı noktalar sağlamlar. Eşiği kaydır ve dört kutunun, metriklerin ve toplam maliyetin nasıl değiştiğine bak.
← skor düşük (model "sağlam" diyor) · skor yüksek (model "hasta" diyor) →
Hataların bedeli
Neden ikisi birden olmuyor?
Lab 2'de muhtemelen şunu denediniz: eşiği oynatıp hem kesinliği hem duyarlılığı yükseltmeye çalıştınız. Olmadı. Biri çıkarken diğeri düşüyor. Bu bir kusur değil, mantıksal bir zorunluluk.
Düşünelim. Eşiği düşürmek, "hasta" deme konusunda cömertleşmek demek:
Eşiği düşürürsen
Daha çok kişiye "hasta" dersin → gerçek hastaların daha çoğunu yakalarsın (duyarlılık ↑) ama listene daha çok sağlam kişi karışır (kesinlik ↓).
Uç nokta: eşik 0 → herkese "hasta" → duyarlılık %100, kesinlik %10.
Eşiği yükseltirsen
Yalnızca en emin olduklarına "hasta" dersin → listen temizlenir (kesinlik ↑) ama birçok hastayı kaçırırsın (duyarlılık ↓).
Uç nokta: eşik 1 → kimseye "hasta" demezsin → kesinlik tanımsız, duyarlılık %0.
Bu ayrım pratikte çok işe yarar. Ekipteki biri "duyarlılığımız düşük" dediğinde iki ayrı iş vardır ve bunları karıştırmamak gerekir:
| Durum | Ne yapılır | Bedeli |
|---|---|---|
| Dengeyi değiştirmek istiyoruz | Eşiği kaydır | Bedava ve anında. Ama diğer metrik düşer. |
| İkisini birden yükseltmek istiyoruz | Daha iyi öznitelik, daha çok veri, daha iyi algoritma | Zaman ve emek. Asıl iş budur. |
F1: ortalama değil, uzlaşma
İki sayıyı birden takip etmek yorucu olduğu için insanlar tek sayı ister. F1 skoru bu isteğin cevabı: kesinlik ile duyarlılığı tek sayıda birleştirir.
Ama düz ortalama almaz, harmonik ortalama alır. Farkı bir örnekle görelim — kesinlik %100, duyarlılık %2 olan bir model düşünün (yani "hasta" dediği 2 kişi de gerçekten hastaydı, ama 98 hastayı kaçırdı):
Düz ortalama olsaydı
%51
"Fena değil" gibi görünürdü. Oysa model 100 hastanın 98'ini kaçırmış.
F1 (harmonik ortalama)
%3,9
Gerçeği söylüyor. Harmonik ortalama küçük olana yakın durur — bir taraf çökmüşse sonuç da çöker.
Peki her zaman F1'e mi bakalım? Hayır — ve nedeni önemli:
Not: F1'in ağırlıklı akrabaları da var (F0.5 kesinliğe, F2 duyarlılığa ağırlık verir). Adını bilmeniz yeter; mantık aynı — hangi tarafın daha önemli olduğunu siz söylersiniz.
Eğri okumak: ROC ve PR
Eşiğin her değeri bir sonuç veriyorsa, bütün eşikleri aynı anda görebilir miyiz? Eğriler tam olarak bunu yapar: her nokta bir eşiktir.
Kaggle'da, makalelerde ve kütüphane çıktılarında sürekli AUC diye bir sayı görürsünüz. Nereden geldiğini anlamak için iki eğriyi tanımak yeter.
Lab 2'deki modelin tüm eşikleri. Kaydırıcıyı oynat; iki eğri üzerindeki nokta birlikte hareket eder.
ROC eğrisi
Yatay: boşuna telaşlandırılan sağlamların oranı · Dikey: yakalanan hastaların oranı
PR eğrisi
Yatay: duyarlılık (yakalananlar) · Dikey: kesinlik (alarmın güvenilirliği)
ROC ve AUC
Eğrinin altında kalan alana AUC denir. 1,0 kusursuz, 0,5 yazı tura atmakla aynı. Tek bir sayıyla "bu model sınıfları ayırabiliyor mu?" sorusunu cevaplar.
Güzel yanı: eşikten bağımsızdır. İki modeli karşılaştırmak için pratiktir.
PR eğrisi
Aynı modelin kesinlik–duyarlılık dengesini gösterir. Dengesiz veride ROC'tan daha dürüsttür, çünkü ROC'un yatay ekseni 900 sağlam kişiye bölündüğü için yanlış alarmların ağırlığını küçük gösterir.
Pozitifler azınlıksa (dolandırıcılık, nadir hastalık) PR'a bakın.
Hangi metrik? Dört senaryo
Teoriyi bırakıp karar verelim. Aşağıdaki dört durumda hangi sayıya bakardınız? Seçin, sonra gerekçeyi okuyun.
Her senaryoda tek bir seçim yap. Yanlış seçimde de açıklama gelir — asıl öğretici olan orası.
Taban çizgisi olmadan sayı yoktur
3. haftada "taban çizgisi" kavramına değinmiştik. Burada asıl işini görüyoruz: bir sayı ancak neyle karşılaştırıldığı belliyse anlam taşır.
Taban çizgisi, düşünmeyen en basit çözümdür. Model kurmadan önce hesaplanır ve sonra modelin onu geçip geçmediğine bakılır. Üç klasik taban çizgisi:
Hep çoğunluk
Her zaman en kalabalık sınıfı söyle. Sınıflandırmada.
Hep ortalama
Her zaman geçmişin ortalamasını tahmin et. Sayı tahmininde.
Dünkü değer
Yarın bugünle aynı olacak de. Zaman serilerinde şaşırtıcı derecede güçlü.
Bir problem seç; modelin skoru ile düşünmeyen taban çizgilerinin skorunu yan yana gör.
Azınlık sınıf ve doğruluğun yalanı
2. haftada "sınıflar dengesizse doğruluk yalan söyler" demiştik. Şimdi yerine ne koyacağımıza bakıyoruz.
İlginç olan şu: gerçek hayatta önemsediğimiz şeyler genelde azınlıktır.
| Problem | Aradığımız şeyin oranı | Hiçbir şey yapmayan modelin doğruluğu |
|---|---|---|
| Kart dolandırıcılığı | ~%0,1 | %99,9 |
| Nadir hastalık taraması | ~%1 | %99 |
| Üretim hattı kusurlu parça | ~%2 | %98 |
| Reklama tıklama | ~%3 | %97 |
Peki ne yapmalı? Üç şey, sırayla:
Veri tarafında da yapılabilecekler var (azınlığı çoğaltmak, çoğunluğu seyreltmek, sınıflara ağırlık vermek) — bunlar modeli değiştirir, 2. haftanın konusudur. Bu hafta ölçmeyi düzeltiyoruz. İkisi karıştırılmamalı: yanlış ölçerken veriyi düzeltmek, yanlış terazide tartarken malı değiştirmeye benzer.
Peki ya sınıf değil sayı tahmin ediyorsak?
Şimdiye kadar "evet/hayır" modellerine baktık. Ya model bir sayı tahmin ediyorsa — ev fiyatı, yarınki sıcaklık, teslimat süresi? Dört kutu yok; onun yerine hata büyüklüğü var.
İki ölçü kullanılır ve aralarındaki fark göründüğünden önemlidir:
MAE — ortalama mutlak hata
Her tahminin kaç birim şaştığını bul, ortalamasını al. "Ortalama 12 bin TL yanılıyoruz."
Büyük hatayı da küçük hatayı da aynı ağırlıkta sayar. Okunması kolaydır: birimi verinin birimidir.
RMSE — karekök ortalama kare hata
Hataları kareleyip ortalamasını alır, sonra kökünü. Kareleme büyük hataları orantısız şişirir.
Büyük hatalardan çok rahatsız olur. Tek bir felaket tahmin, RMSE'yi tek başına yukarı çeker.
Ev fiyatı tahmini. Noktalar gerçek fiyatlar, çizgi modelin tahmini. Kırmızı noktayı yukarı aşağı sürükleyin ve iki ölçünün nasıl ayrıştığına bakın.
· Teslimat süresi tahmininde 10 kez 5'er dakika şaşmak, 1 kez 50 dakika şaşmaktan iyidir → RMSE (büyük hatayı cezalandırsın).
· Mağaza stok tahmininde hataların toplamı önemlidir, biri diğerini dengeler → MAE.
Sıralama, öneri ve kümeleme
Her model "evet/hayır" ya da "şu sayı" demez. Üç yaygın durumda değerlendirme nasıl değişir, kısaca görelim.
Sıralama ve öneri: "ilk beşte var mı?"
Bir öneri sistemi size 10.000 ürünü sıralar, ama siz yalnızca ilk birkaçını görürsünüz. O yüzden 9.000. sıradaki ürünün doğru yerde olması kimsenin umurunda değildir. Buradaki metrikler hep "ilk K" üzerinedir:
İlk-K kesinliği
"Gösterdiğim ilk 5 üründen kaçı kullanıcının ilgisini çekti?" Ekranda 5 yer varsa ölçülecek şey budur.
İlk-K duyarlılığı
"Kullanıcının beğeneceği ürünlerin kaçı ilk 5'e girdi?" Katalog büyükse bu sayı doğal olarak küçük kalır — paniğe gerek yok.
Kümeleme: doğru cevabın olmadığı yer
Kümelemede etiket yoktur — model müşterileri gruplara ayırır ama "doğru grup" diye bir cevap anahtarı yoktur. O zaman neyi ölçeriz?
Matematiksel ölçüler
"Aynı kümedekiler birbirine yakın mı, farklı kümedekiler uzak mı?" Bunu ölçen sayılar var (silhouette gibi). Kümelerin derli toplu olup olmadığını söyler.
Ama derli toplu olması işe yaraması anlamına gelmez.
İnsan yargısı
Asıl soru: bu gruplar bir işe yarıyor mu? Pazarlama ekibi bu beş gruba beş farklı kampanya yazabiliyor mu? Yazamıyorsa matematiksel skor ne olursa olsun kümeleme başarısızdır.
Tek bir sayıya güvenme
Son bir incelik: test setiniz 200 kişiyse, ölçtüğünüz skor o 200 kişiye bağlıdır. Başka 200 kişi seçseydiniz başka bir sayı çıkardı.
Bu yüzden "%87 doğruluk" demek yerine "%87 ± 4" demek daha dürüsttür. İki modeli karşılaştırırken bu fark belirleyici olur:
Sanılan
"A modeli %87, B modeli %85. A daha iyi, onu seçelim."
Gerçek
"A modeli %87 ± 4, B modeli %85 ± 4. Bu iki model ayırt edilemez. Aradaki 2 puan gürültü olabilir."
Çapraz doğrulama (cross-validation) tam olarak bunun için var: veriyi birkaç parçaya bölüp sırayla her parçayı test seti yapar, kalanıyla eğitir. Sonunda tek sayı değil birkaç sayı elinizde olur; ortalaması kadar yayılımı da bilgi verir.
Ölçtüğün şey hedefin olur
Bu haftanın en kalıcı dersi teknik değil. Bir metriği hedef hâline getirdiğin anda, ekip o metriği yükseltmeye başlar — bazen asıl amacın aleyhine.
Üç örnek, üçü de tanıdık:
"Tıklanma"yı hedefle
Sistem tıklanacak başlıkları öğrenir: abartılı, kışkırtıcı içerik. Tıklanma yükselir, kullanıcı memnuniyeti düşer.
"Görüşme süresi"ni hedefle
Temsilciler konuşmayı kısa keser. Süre düşer, sorun çözülmediği için müşteri tekrar arar.
"Yakalanan spam"i hedefle
Filtre cömertleşir, spam oranı düşer, önemli e-postalar da spam klasörüne gider — ve bu sayıda görünmez.
Korunma yolu basit ve ucuz: tek bir metriği hedeflemeyin. Bir ana metrik seçin, yanına bozulmasını istemediğiniz koruma metrikleri koyun:
| Sistem | Ana metrik | Koruma metriği |
|---|---|---|
| Spam filtresi | Yakalanan spam oranı | Yanlışlıkla silinen önemli e-posta sayısı sıfıra yakın kalmalı |
| Kanser taraması | Duyarlılık | İleri tetkike gönderilen kişi sayısı kapasiteyi aşmamalı |
| Öneri sistemi | Tıklanma | Uygulamada geçirilen süre ve şikâyet sayısı |
Özet, kontrol listesi ve ödev
Bu haftanın zihinsel modeli
Bir model sonucunu sunarken kontrol listesi
Ödev
3. haftada Kaggle'da kurduğunuz modele geri dönün. Kod yazmanız gerekmiyor; mevcut sonucunuzu bu haftanın gözüyle yeniden okuyun ve tek sayfalık bir değerlendirme notu yazın:
- Modelinizin karmaşıklık matrisini ham sayılarla yazın.
- Doğruluk, kesinlik ve duyarlılığı hesaplayın. Üçü aynı hikâyeyi mi anlatıyor?
- Taban çizgisini hesaplayın ("hep çoğunluk" modeli kaç alırdı?). Modeliniz onu ne kadar geçiyor?
- Probleminizde hangi hata daha pahalı — yanlış alarm mı, kaçırma mı? Bir paragrafta gerekçelendirin.
- Bu gerekçeye göre eşiği hangi yöne kaydırırdınız ve bunun bedeli ne olurdu?
- Son satır: "Bu projede başarı, ___ metriğinin ___ değerinin üstünde olmasıdır."
Değerlendirme kodunuza değil, gerekçelerinize bakılacak. 4. ve 5. maddede "çünkü" ile başlayan cümleler görmek istiyorum.
Gelecek hafta
Karar ağaçları ve topluluk yöntemleri. Bu hafta modelleri ölçmeyi öğrendik; gelecek hafta ölçtüğümüz sayıyı yükseltmenin en pratik yollarından birine bakacağız. İlk yarıda kararını cümleyle yazabilen tek model var: ağaç soruyu nasıl seçiyor, nerede durmalı, verdiği “öznitelik önemi” raporu neden yanlış okunuyor? İkinci yarıda tek ağacın kırılganlığından topluluğa geçiyoruz — torbalama, random forest ve boosting.
Dersin sonunda Kaggle'da Titanic'te dört modeli aynı ölçüyle yarıştıracağız ve bu haftanın kontrol listesi orada da geçerli olacak: taban çizgisi, ham karmaşıklık matrisi, eğitim ile sınav skorunun arası. Yeni bir algoritma öğrenmek, değerlendirme disiplininden muaf olmak değildir — her yeni modelde aynı soruları soracağız.