Yapay Zeka Uygulamaları · 5. Hafta

Model Değerlendirme

Bir model kurdunuz ve ekrana bir sayı geldi: %90 doğruluk. İyi mi? Bu hafta göreceğiz ki bu sorunun cevabı sayıda değil. Aynı sayıyı veren iki model birbirinin tam zıttı olabilir; daha yüksek sayı alan model daha kötü olabilir. Bu hafta kod yazmıyoruz — örneklere bakıyoruz ve bir sayının ne zaman yalan söylediğini öğreniyoruz.

“Her model bir sayı üretir. Zor olan sayıyı üretmek değil, hangi sayıya bakacağına karar vermektir — çünkü yanlış sayıya bakan bir ekip, bozuk bir modeli aylarca mükemmel sanabilir.”
🎯Doğruluğun tuzağıNeden tek başına hiçbir şey anlatmaz?
⚖️İki tür hataYanlış alarm mı, kaçırma mı daha pahalı?
🎚️EşikTek model, yüzlerce farklı karar
💸BedeliYanlış metrik ne kadara mal olur?
01 · Büyük resim

"%90 doğruluk aldım" ne anlatır?

Kısa cevap: neredeyse hiçbir şey. Uzun cevabı görmek için üç modele bakalım. Üçü de aynı hastanede, aynı 1000 kişilik taramada çalıştı.

Elimizde 1000 kişi var. Bunların 100'ü gerçekten hasta, 900'ü sağlam. Üç farklı model bu 1000 kişiyi inceledi ve her biri için "hasta" ya da "sağlam" dedi.

Model A

Tembel

Hiç kimseye "hasta" demiyor. Herkese "sağlam" diyor. Tek bir hastayı bile bulmuyor.

Doğruluk: %90,0

Model B

Temkinli

Çok emin olmadıkça "hasta" demiyor. 50 kişiyi işaretledi, 45'i gerçekten hastaydı.

Doğruluk: %94,0

Model C

Atılgan

Şüphelendiği herkesi işaretliyor. 212 kişiyi işaretledi, 92'si gerçekten hastaydı.

Doğruluk: %87,2

Doğruluğa göre sıralarsak: B (94) > A (90) > C (87).

Ama bu sıralama tam tersi olmalı. Model A hiçbir hastayı bulmadı — 100 hastanın 100'ü evine "sağlamsın" denilerek gönderildi. Buna rağmen doğruluğu %90. Model C ise 100 hastanın 92'sini yakaladı ve doğruluk tablosunda sonuncu.

Sebep basit: 900 sağlam kişiye "sağlam" demek bedava puan. Doğruluk, kolay soruların çokluğundan beslenir. Hastaların oranı düştükçe bu puan şişer — nüfusun %1'i hastaysa hiçbir şey yapmayan bir model %99 doğruluk alır.

Lab 1Üç model, bir karar

Bir modele tıkla; dört kutusunu ve gerçek davranışını gör. Sonra alttaki soruyu cevapla: bu üçünden hangisini hastanede kullanırsın?

Bu haftanın tek cümlesi: bir modeli değerlendirmek, bir sayı okumak değil, hangi hatayı yapmasına razı olduğuna karar vermektir.
02 · Hataların bedeli

İki hata aynı şey değildir

3. haftada karmaşıklık matrisini görmüştük: doğru bildiklerimiz iki kutuda, hatalarımız iki kutuda. Şimdi asıl meseleye geliyoruz — o iki hatanın fiyatı farklıdır.

Bir model "evet" ya da "hayır" derken iki farklı şekilde yanılabilir:

Yanlış alarm

Olmayan bir şeye "var" dedik. Sağlam kişiye "hasta", normal e-postaya "spam", dürüst müşteriye "dolandırıcı".

İngilizcesi false positive, kısaca FP.

Kaçırma

Olan bir şeye "yok" dedik. Hasta kişiye "sağlam", spam'e "normal", dolandırıcılığa "temiz işlem".

İngilizcesi false negative, kısaca FN.

Şimdi dört gerçek duruma bakalım ve her birinde hangi hatanın daha pahalı olduğunu soralım. Cevaplar birbirinden çok farklı çıkacak — işte bütün mesele bu.

Kanser taraması
Tarama testi, sonrasında doktor incelemesi var
Yanlış alarmSağlam kişi gereksiz yere ileri tetkike gider. Birkaç gün kaygı, biraz para.
KaçırmaHasta kişi evine gönderilir. Hastalık aylarca ilerler. Geri dönüşü olmayabilir.
Kaçırma kat kat pahalı. Yanlış alarmı göze alıp mümkün olduğunca çok hastayı yakalamak isteriz.
Spam filtresi
Spam klasörüne kimse bakmıyor
Yanlış alarmİş teklifi, fatura ya da sınav duyurusu spam'e düşer. Kullanıcı asla görmez.
KaçırmaBir reklam gelen kutusunda görünür. Kullanıcı siler, üç saniye.
Yanlış alarm kat kat pahalı. Kanserin tam tersi. Emin olmadıkça spam demeyiz.
Kart dolandırıcılığı
Şüpheli işlem anında bloke edilir
Yanlış alarmMüşterinin kartı markette çalışmaz. Utanç, öfke, bazen bankayı değiştirme.
KaçırmaDolandırıcılık geçer. Zarar genelde banka tarafından karşılanır.
İkisi de pahalı, ölçülebilir. Burada hataları paraya çevirip toplamı en küçükleyen ayarı aramak gerekir. 4. bölümde tam olarak bunu yapacağız.
Üretim hattı kalite kontrolü
Kusurlu parça hatta işaretlenir
Yanlış alarmSağlam parça çöpe gider. Malzeme maliyeti — bellidir, hesaplanabilir.
KaçırmaKusurlu parça müşteriye gider. Geri çağırma, itibar, garanti.
Parçanın fiyatına bağlı. Vida ise yanlış alarm ucuz; uçak motoru parçasıysa kaçırma felaket.
Dikkat: dört senaryoda da model aynı olabilir. Değişen model değil, modelden ne istediğimiz. O yüzden "en iyi model hangisi?" sorusunun problemden bağımsız bir cevabı yoktur.
03 · Metrikler

Dört kutudan dört soru çıkar

Metrik isimleri (precision, recall, specificity) korkutucu geliyor. Oysa her biri Türkçe tek bir sorunun cevabı. İsimleri ezberlemeyin, soruları aklınızda tutun.

Model C'nin (Atılgan) rakamlarıyla gidelim: 92 doğru yakalama, 120 yanlış alarm, 8 kaçırma, 780 doğru "sağlam".

Doğruluk · accuracy

"Toplamda kaçta kaçını doğru bildim?"

(92 + 780) / 1000 = %87,2

Tek başına en yanıltıcı metrik. Kalabalık taraf kim ise onun hatırına şişer. Sınıflar dengeliyse (yarı yarıya) işe yarar; dengesizse bakmayın bile.

Kesinlik · precision

"'Hasta' dediklerimin kaçı gerçekten hastaydı?"

92 / (92 + 120) = %43,4

Modelin alarmına ne kadar güvenilir onu söyler. Her alarm bir maliyet doğuruyorsa (kullanıcıyı rahatsız etmek, kartı bloke etmek, parçayı çöpe atmak) buna bakarsınız.

Duyarlılık · recall

"Gerçek hastaların kaçını yakalayabildim?"

92 / (92 + 8) = %92,0

Modelin ne kadarını kaçırdığını söyler. Kaçırmanın bedeli ağırsa (kanser, yangın, dolandırıcılık) asıl bakacağınız sayı budur.

Seçicilik · specificity

"Gerçek sağlamların kaçını rahat bıraktım?"

780 / (780 + 120) = %86,7

Duyarlılığın aynadaki görüntüsü. Sağlam tarafın çoğunluk olduğu taramalarda, kaç kişiyi boşuna telaşlandırdığınızı gösterir.

Kesinlik ve duyarlılık karışıyor mu? Şu ayrım işe yarar: kesinlik modelin kendi listesine bakar ("dediklerimin kaçı doğruydu?"), duyarlılık gerçeğe bakar ("olanların kaçını buldum?"). Biri modelin iddiasını, diğeri dünyanın gerçeğini paydaya koyar.

Model A'ya (Tembel) aynı soruları soralım, çünkü asıl ders orada:

Doğruluk

%90,0

Harika görünüyor.

Duyarlılık

%0,0

Tek bir hasta bile bulamadı.

Kesinlik

tanımsız

Hiç "hasta" demediği için hesaplanamıyor.

Üç sayı, üç ayrı hikâye. Aynı modelin aynı sonucu: doğruluk "mükemmel" diyor, duyarlılık "hiçbir işe yaramıyor" diyor, kesinlik cevap bile veremiyor. Hangisine bakacağınızı siz seçiyorsunuz — ve bu seçim modelden daha önemli.
04 · Eşik

Model karar vermez, skor üretir

Şimdi bu haftanın en önemli fikri geliyor. Model aslında "hasta" ya da "sağlam" demiyor. Model her kişi için 0 ile 1 arasında bir skor üretiyor — "bence bu kişinin hasta olma ihtimali 0,73". Kararı veren o skor değil, skorun nereden kesildiği.

O kesme noktasına eşik diyoruz. Eşiği 0,5'e koyarsanız 0,5'in üstündeki herkese "hasta" denir. 0,9'a koyarsanız yalnızca en emin olunanlara. 0,2'ye koyarsanız şüphelenilen herkese.

Kişinin verisi
Model
skor: 0,73
Eşik: 0,50
Karar: "hasta"
Buradan çıkan sonuç çok önemli: Model B (Temkinli) ile Model C (Atılgan) aynı model olabilir. Tek farkları eşik. Yani 1. bölümdeki üç modelden ikisi aslında bir modelin iki ayarı. Eşik bir model özelliği değil, sizin verdiğiniz bir karardır — ve çoğu kütüphanede varsayılanı 0,5'tir, yani siz seçmezseniz sizin yerinize seçilmiş olur.
Lab 2Eşik tezgâhı — tek model, yüzlerce karar

Aşağıda tek bir modelin 1000 kişiye verdiği skorlar var. ● yeşil noktalar gerçek hastalar, ● kırmızı noktalar sağlamlar. Eşiği kaydır ve dört kutunun, metriklerin ve toplam maliyetin nasıl değiştiğine bak.

← skor düşük (model "sağlam" diyor) · skor yüksek (model "hasta" diyor) →

0,50
Hataların bedeli
5
100
Yanlış alarm maliyeti—
Kaçırma maliyeti—
Toplam—
—
Denedikten sonra fark edilen şey: "En ucuz eşiği bul" düğmesi, kaçırmanın bedelini yükselttikçe eşiği aşağı çeker, yanlış alarmın bedelini yükselttikçe yukarı iter. Yani doğru eşik modelden değil, problemden çıkar. Model aynı kaldı, siz fiyatları değiştirdiniz.
05 · Değiş tokuş

Neden ikisi birden olmuyor?

Lab 2'de muhtemelen şunu denediniz: eşiği oynatıp hem kesinliği hem duyarlılığı yükseltmeye çalıştınız. Olmadı. Biri çıkarken diğeri düşüyor. Bu bir kusur değil, mantıksal bir zorunluluk.

Düşünelim. Eşiği düşürmek, "hasta" deme konusunda cömertleşmek demek:

Eşiği düşürürsen

Daha çok kişiye "hasta" dersin → gerçek hastaların daha çoğunu yakalarsın (duyarlılık ↑) ama listene daha çok sağlam kişi karışır (kesinlik ↓).

Uç nokta: eşik 0 → herkese "hasta" → duyarlılık %100, kesinlik %10.

Eşiği yükseltirsen

Yalnızca en emin olduklarına "hasta" dersin → listen temizlenir (kesinlik ↑) ama birçok hastayı kaçırırsın (duyarlılık ↓).

Uç nokta: eşik 1 → kimseye "hasta" demezsin → kesinlik tanımsız, duyarlılık %0.

Bu bir tahterevallidir. Tek bir modelde kesinlik ve duyarlılığı aynı anda yükseltmenin tek yolu eşiği oynatmak değil — daha iyi bir model kurmaktır. Eşik tahterevallinin üzerinde kaydırır; daha iyi model tahterevallinin tamamını yukarı taşır.

Bu ayrım pratikte çok işe yarar. Ekipteki biri "duyarlılığımız düşük" dediğinde iki ayrı iş vardır ve bunları karıştırmamak gerekir:

DurumNe yapılırBedeli
Dengeyi değiştirmek istiyoruzEşiği kaydırBedava ve anında. Ama diğer metrik düşer.
İkisini birden yükseltmek istiyoruzDaha iyi öznitelik, daha çok veri, daha iyi algoritmaZaman ve emek. Asıl iş budur.
06 · F1

F1: ortalama değil, uzlaşma

İki sayıyı birden takip etmek yorucu olduğu için insanlar tek sayı ister. F1 skoru bu isteğin cevabı: kesinlik ile duyarlılığı tek sayıda birleştirir.

Ama düz ortalama almaz, harmonik ortalama alır. Farkı bir örnekle görelim — kesinlik %100, duyarlılık %2 olan bir model düşünün (yani "hasta" dediği 2 kişi de gerçekten hastaydı, ama 98 hastayı kaçırdı):

Düz ortalama olsaydı

%51

"Fena değil" gibi görünürdü. Oysa model 100 hastanın 98'ini kaçırmış.

F1 (harmonik ortalama)

%3,9

Gerçeği söylüyor. Harmonik ortalama küçük olana yakın durur — bir taraf çökmüşse sonuç da çöker.

F1'in işi şudur: "bir metriği yükseltmek için diğerini feda etme" demek. İki tarafın da makul olmasını zorlar.

Peki her zaman F1'e mi bakalım? Hayır — ve nedeni önemli:

F1, iki hatanın eşit pahalı olduğunu varsayar. Kanser taramasında bu varsayım yanlıştır: kaçırma yanlış alarmdan kat kat pahalıdır. F1'i yükseltmeye çalışan bir ekip, farkında olmadan kesinliği korumak için hasta kaçırabilir. Bedeller eşit değilse F1 yanlış pusuladır; o durumda ya duyarlılığa bir alt sınır koyup (“recall %95'in altına inmesin”) kesinliği en iyilersiniz, ya da Lab 2'deki gibi doğrudan maliyeti hesaplarsınız.

Not: F1'in ağırlıklı akrabaları da var (F0.5 kesinliğe, F2 duyarlılığa ağırlık verir). Adını bilmeniz yeter; mantık aynı — hangi tarafın daha önemli olduğunu siz söylersiniz.

07 · Eğriler

Eğri okumak: ROC ve PR

Eşiğin her değeri bir sonuç veriyorsa, bütün eşikleri aynı anda görebilir miyiz? Eğriler tam olarak bunu yapar: her nokta bir eşiktir.

Kaggle'da, makalelerde ve kütüphane çıktılarında sürekli AUC diye bir sayı görürsünüz. Nereden geldiğini anlamak için iki eğriyi tanımak yeter.

Lab 3Aynı model, iki eğri

Lab 2'deki modelin tüm eşikleri. Kaydırıcıyı oynat; iki eğri üzerindeki nokta birlikte hareket eder.

0,50
ROC eğrisi

Yatay: boşuna telaşlandırılan sağlamların oranı · Dikey: yakalanan hastaların oranı

PR eğrisi

Yatay: duyarlılık (yakalananlar) · Dikey: kesinlik (alarmın güvenilirliği)

ROC ve AUC

Eğrinin altında kalan alana AUC denir. 1,0 kusursuz, 0,5 yazı tura atmakla aynı. Tek bir sayıyla "bu model sınıfları ayırabiliyor mu?" sorusunu cevaplar.

Güzel yanı: eşikten bağımsızdır. İki modeli karşılaştırmak için pratiktir.

PR eğrisi

Aynı modelin kesinlik–duyarlılık dengesini gösterir. Dengesiz veride ROC'tan daha dürüsttür, çünkü ROC'un yatay ekseni 900 sağlam kişiye bölündüğü için yanlış alarmların ağırlığını küçük gösterir.

Pozitifler azınlıksa (dolandırıcılık, nadir hastalık) PR'a bakın.

Sık yapılan hata: "AUC 0,95, model harika" demek ve eşiği hiç seçmemek. AUC modelin potansiyelini ölçer, kullandığınız ayarı değil. Üretimde çalışan şey AUC değil, sizin seçtiğiniz tek bir eşiktir.
08 · Karar

Hangi metrik? Dört senaryo

Teoriyi bırakıp karar verelim. Aşağıdaki dört durumda hangi sayıya bakardınız? Seçin, sonra gerekçeyi okuyun.

Lab 4Metrik seçme alıştırması

Her senaryoda tek bir seçim yap. Yanlış seçimde de açıklama gelir — asıl öğretici olan orası.

Pratik bir alışkanlık: modeli kurmadan önce şu cümleyi yazın — "Bu projede başarı, ___ metriğinin ___ değerinin üstünde olmasıdır." Boşlukları dolduramıyorsanız problemi henüz yeterince anlamamışsınız demektir. Bu cümle, sonradan sonucu güzel gösterecek metriği seçme eğilimini de engeller.
09 · Taban çizgisi

Taban çizgisi olmadan sayı yoktur

3. haftada "taban çizgisi" kavramına değinmiştik. Burada asıl işini görüyoruz: bir sayı ancak neyle karşılaştırıldığı belliyse anlam taşır.

Taban çizgisi, düşünmeyen en basit çözümdür. Model kurmadan önce hesaplanır ve sonra modelin onu geçip geçmediğine bakılır. Üç klasik taban çizgisi:

Hep çoğunluk

Her zaman en kalabalık sınıfı söyle. Sınıflandırmada.

Hep ortalama

Her zaman geçmişin ortalamasını tahmin et. Sayı tahmininde.

Dünkü değer

Yarın bugünle aynı olacak de. Zaman serilerinde şaşırtıcı derecede güçlü.

Lab 5Modelin gerçekten bir şey öğrendi mi?

Bir problem seç; modelin skoru ile düşünmeyen taban çizgilerinin skorunu yan yana gör.

Gerçek hayattan: Bir ekip müşteri kaybı (churn) tahmini için haftalarca model geliştirdi ve %96 doğruluk ile sunum yaptı. Toplantıda biri sordu: "kaç müşteri ayrılıyor?" Cevap: "%4". Yani "hiç kimse ayrılmayacak" diyen bir satır kod da %96 alıyordu. Haftalarca süren iş, düşünmeyen tahminle aynı yerdeydi.
Kural: Bir model sonucunu taban çizgisi olmadan asla sunmayın. "%85 doğruluk" cümlesi tek başına değerlendirilemez; "%85 doğruluk, taban çizgisi %62" cümlesi değerlendirilebilir.
10 · Dengesiz veri

Azınlık sınıf ve doğruluğun yalanı

2. haftada "sınıflar dengesizse doğruluk yalan söyler" demiştik. Şimdi yerine ne koyacağımıza bakıyoruz.

İlginç olan şu: gerçek hayatta önemsediğimiz şeyler genelde azınlıktır.

ProblemAradığımız şeyin oranıHiçbir şey yapmayan modelin doğruluğu
Kart dolandırıcılığı~%0,1%99,9
Nadir hastalık taraması~%1%99
Üretim hattı kusurlu parça~%2%98
Reklama tıklama~%3%97
Dört satırın da ortak mesajı: bu problemlerde doğruluk raporlamak, hiçbir şey raporlamamaktır. Üstelik rakam yüksek olduğu için iyi haber gibi görünür — tehlikeli olan da bu.

Peki ne yapmalı? Üç şey, sırayla:

Doğruluğu rapordan çıkarın. Yerine duyarlılık + kesinlik ikilisini, ya da PR eğrisini koyun. Azınlık sınıfın metriklerini ayrı yazın.
Taban çizgisini yazın. "Hep çoğunluk" modelinin skoru raporun başında dursun ki kimse %99'u başarı sanmasın.
Karmaşıklık matrisinin ham sayılarını gösterin. Yüzde değil adet: "92 yakalandı, 8 kaçtı, 120 yanlış alarm". Yüzdeler büyüyü bozmaz, ham sayılar bozar.

Veri tarafında da yapılabilecekler var (azınlığı çoğaltmak, çoğunluğu seyreltmek, sınıflara ağırlık vermek) — bunlar modeli değiştirir, 2. haftanın konusudur. Bu hafta ölçmeyi düzeltiyoruz. İkisi karıştırılmamalı: yanlış ölçerken veriyi düzeltmek, yanlış terazide tartarken malı değiştirmeye benzer.

11 · Sayı tahmini

Peki ya sınıf değil sayı tahmin ediyorsak?

Şimdiye kadar "evet/hayır" modellerine baktık. Ya model bir sayı tahmin ediyorsa — ev fiyatı, yarınki sıcaklık, teslimat süresi? Dört kutu yok; onun yerine hata büyüklüğü var.

İki ölçü kullanılır ve aralarındaki fark göründüğünden önemlidir:

MAE — ortalama mutlak hata

Her tahminin kaç birim şaştığını bul, ortalamasını al. "Ortalama 12 bin TL yanılıyoruz."

Büyük hatayı da küçük hatayı da aynı ağırlıkta sayar. Okunması kolaydır: birimi verinin birimidir.

RMSE — karekök ortalama kare hata

Hataları kareleyip ortalamasını alır, sonra kökünü. Kareleme büyük hataları orantısız şişirir.

Büyük hatalardan çok rahatsız olur. Tek bir felaket tahmin, RMSE'yi tek başına yukarı çeker.

Lab 6Tek bir aykırı tahmin ne yapar?

Ev fiyatı tahmini. Noktalar gerçek fiyatlar, çizgi modelin tahmini. Kırmızı noktayı yukarı aşağı sürükleyin ve iki ölçünün nasıl ayrıştığına bakın.

MAE
—
ortalama kaç bin TL şaşıyoruz
RMSE
—
büyük hatalara duyarlı
Hangisini seçmeli? Soru şu: bir büyük hata mı daha kötü, çok sayıda küçük hata mı?
· Teslimat süresi tahmininde 10 kez 5'er dakika şaşmak, 1 kez 50 dakika şaşmaktan iyidir → RMSE (büyük hatayı cezalandırsın).
· Mağaza stok tahmininde hataların toplamı önemlidir, biri diğerini dengeler → MAE.
Bir uyarı: "RMSE 25" tek başına iyi mi kötü mü, bilinmez. Ev fiyatları milyonlarsa mükemmeldir, binlerse felakettir. Hata ölçülerini her zaman verinin ölçeğiyle birlikte okuyun — ve yine bir taban çizgisiyle: "hep ortalamayı söyleyen" modelin RMSE'si kaç?
12 · Diğer model türleri

Sıralama, öneri ve kümeleme

Her model "evet/hayır" ya da "şu sayı" demez. Üç yaygın durumda değerlendirme nasıl değişir, kısaca görelim.

Sıralama ve öneri: "ilk beşte var mı?"

Bir öneri sistemi size 10.000 ürünü sıralar, ama siz yalnızca ilk birkaçını görürsünüz. O yüzden 9.000. sıradaki ürünün doğru yerde olması kimsenin umurunda değildir. Buradaki metrikler hep "ilk K" üzerinedir:

İlk-K kesinliği

"Gösterdiğim ilk 5 üründen kaçı kullanıcının ilgisini çekti?" Ekranda 5 yer varsa ölçülecek şey budur.

İlk-K duyarlılığı

"Kullanıcının beğeneceği ürünlerin kaçı ilk 5'e girdi?" Katalog büyükse bu sayı doğal olarak küçük kalır — paniğe gerek yok.

Sıralamada sıra da önemlidir. Doğru ürünü 1. sıraya koymak ile 5. sıraya koymak aynı değildir, ama ilk-K kesinliği ikisini de aynı sayar. Sıralamanın kalitesini ölçen ayrı metrikler var (NDCG gibi); adını duymanız şimdilik yeterli.

Kümeleme: doğru cevabın olmadığı yer

Kümelemede etiket yoktur — model müşterileri gruplara ayırır ama "doğru grup" diye bir cevap anahtarı yoktur. O zaman neyi ölçeriz?

Matematiksel ölçüler

"Aynı kümedekiler birbirine yakın mı, farklı kümedekiler uzak mı?" Bunu ölçen sayılar var (silhouette gibi). Kümelerin derli toplu olup olmadığını söyler.

Ama derli toplu olması işe yaraması anlamına gelmez.

İnsan yargısı

Asıl soru: bu gruplar bir işe yarıyor mu? Pazarlama ekibi bu beş gruba beş farklı kampanya yazabiliyor mu? Yazamıyorsa matematiksel skor ne olursa olsun kümeleme başarısızdır.

Genel kural: model türü değiştikçe metrik değişir, ama sorulan soru hep aynıdır: "bu modelin çıktısıyla alacağım karar, onsuz alacağım karardan daha iyi mi?"
13 · Nerede ölçüyoruz

Gördüğü veriyle sınav olmaz

Şimdiye kadar hangi sayıya bakacağımızı konuştuk. Bir soru daha var ve en az onun kadar önemli: bu sayıyı hangi veride ölçtünüz?

2. haftada eğitim/test ayrımını görmüştük. Sebebi burada daha net: model eğitim verisini ezberleyebilir. Ezberlediği veriyle sınav yaparsanız 100 alır — ve bu sayı tamamen anlamsızdır.

Eğitim verisi
model burada öğrenir
Model
Test verisi
model burayı hiç görmedi
Gerçek skor
Lab 7Ne kadar karmaşık model?

Modeli karmaşıklaştırdıkça eğitim verisindeki hatası hep düşer. Asıl soru hiç görmediği veride ne olduğu. Kaydırıcıyı sağa doğru götürün.

4
—

Aşırı öğrenmenin (overfitting) işareti nettir: eğitim skoru çok yüksek, test skoru düşük ve aradaki fark açılıyor. Model genel kuralları değil, eğitim verisindeki tesadüfleri öğrenmiştir. Gerçek dünyada yeni veriyle karşılaşınca çöker.
Ters durumu da var: model çok basitse hem eğitimde hem testte kötüdür (underfitting, eksik öğrenme). İki uç arasındaki tatlı noktayı bulmak test skoruna bakarak yapılır — eğitim skoruna değil.

Ve 2. haftanın sinsi hatası burada da geçerli: veri sızıntısı. Test verisinden eğitime bilgi sızarsa test skoru da yalan söyler. Değerlendirmenin güvenilirliği, test setinin gerçekten dokunulmamış olmasına bağlıdır.

14 · Güven

Tek bir sayıya güvenme

Son bir incelik: test setiniz 200 kişiyse, ölçtüğünüz skor o 200 kişiye bağlıdır. Başka 200 kişi seçseydiniz başka bir sayı çıkardı.

Bu yüzden "%87 doğruluk" demek yerine "%87 ± 4" demek daha dürüsttür. İki modeli karşılaştırırken bu fark belirleyici olur:

Sanılan

"A modeli %87, B modeli %85. A daha iyi, onu seçelim."

Gerçek

"A modeli %87 ± 4, B modeli %85 ± 4. Bu iki model ayırt edilemez. Aradaki 2 puan gürültü olabilir."

Çapraz doğrulama (cross-validation) tam olarak bunun için var: veriyi birkaç parçaya bölüp sırayla her parçayı test seti yapar, kalanıyla eğitir. Sonunda tek sayı değil birkaç sayı elinizde olur; ortalaması kadar yayılımı da bilgi verir.

Pratik tavsiye: küçük veri setlerinde (birkaç yüz satır) tek bir eğitim/test ayrımına güvenmeyin — şanslı bir bölünme sizi kolayca aldatır. Çapraz doğrulama ucuzdur ve çok daha sağlam bir sayı verir.
15 · Sonuç

Ölçtüğün şey hedefin olur

Bu haftanın en kalıcı dersi teknik değil. Bir metriği hedef hâline getirdiğin anda, ekip o metriği yükseltmeye başlar — bazen asıl amacın aleyhine.

Üç örnek, üçü de tanıdık:

Öneri sistemi

"Tıklanma"yı hedefle

Sistem tıklanacak başlıkları öğrenir: abartılı, kışkırtıcı içerik. Tıklanma yükselir, kullanıcı memnuniyeti düşer.

Çağrı merkezi

"Görüşme süresi"ni hedefle

Temsilciler konuşmayı kısa keser. Süre düşer, sorun çözülmediği için müşteri tekrar arar.

Spam filtresi

"Yakalanan spam"i hedefle

Filtre cömertleşir, spam oranı düşer, önemli e-postalar da spam klasörüne gider — ve bu sayıda görünmez.

Ortak örüntü: seçilen metrik asıl amacın yaklaşık bir temsilcisiydi. Üzerine baskı binince temsilci ile asıl amaç ayrıştı. Buna Goodhart yasası deniyor: bir ölçü hedef hâline gelince iyi bir ölçü olmaktan çıkar.

Korunma yolu basit ve ucuz: tek bir metriği hedeflemeyin. Bir ana metrik seçin, yanına bozulmasını istemediğiniz koruma metrikleri koyun:

SistemAna metrikKoruma metriği
Spam filtresiYakalanan spam oranıYanlışlıkla silinen önemli e-posta sayısı sıfıra yakın kalmalı
Kanser taramasıDuyarlılıkİleri tetkike gönderilen kişi sayısı kapasiteyi aşmamalı
Öneri sistemiTıklanmaUygulamada geçirilen süre ve şikâyet sayısı
Ve en sonunda: bütün metrikler bir şeyin vekilidir. Asıl soru hep aynı — bu model, gerçek dünyada daha iyi bir karar almamızı sağlıyor mu? Sayılar bu sorunun cevabına yaklaşmak içindir, onun yerine geçmek için değil.
16 · Kapanış

Özet, kontrol listesi ve ödev

Bu haftanın zihinsel modeli

Tek sayı yalan söyler. Özellikle doğruluk. Her zaman en az iki metrik ve ham karmaşıklık matrisi.
İki hata eşit değildir. Hangisinin pahalı olduğuna problem karar verir, model değil.
Model skor üretir, kararı eşik verir. Eşik sizin seçiminizdir; seçmezseniz 0,5 olarak sizin yerinize seçilir.
Taban çizgisi olmadan sayı yoktur. Düşünmeyen modeli geçemiyorsanız model yok demektir.
Gördüğü veriyle sınav olmaz. Skor yalnızca dokunulmamış test verisinde anlamlıdır.
Ölçtüğünüz şey hedefiniz olur. Ana metriğin yanına koruma metriği koyun.

Bir model sonucunu sunarken kontrol listesi

Ödev

3. haftada Kaggle'da kurduğunuz modele geri dönün. Kod yazmanız gerekmiyor; mevcut sonucunuzu bu haftanın gözüyle yeniden okuyun ve tek sayfalık bir değerlendirme notu yazın:

  1. Modelinizin karmaşıklık matrisini ham sayılarla yazın.
  2. Doğruluk, kesinlik ve duyarlılığı hesaplayın. Üçü aynı hikâyeyi mi anlatıyor?
  3. Taban çizgisini hesaplayın ("hep çoğunluk" modeli kaç alırdı?). Modeliniz onu ne kadar geçiyor?
  4. Probleminizde hangi hata daha pahalı — yanlış alarm mı, kaçırma mı? Bir paragrafta gerekçelendirin.
  5. Bu gerekçeye göre eşiği hangi yöne kaydırırdınız ve bunun bedeli ne olurdu?
  6. Son satır: "Bu projede başarı, ___ metriğinin ___ değerinin üstünde olmasıdır."

Değerlendirme kodunuza değil, gerekçelerinize bakılacak. 4. ve 5. maddede "çünkü" ile başlayan cümleler görmek istiyorum.

Gelecek hafta

Karar ağaçları ve topluluk yöntemleri. Bu hafta modelleri ölçmeyi öğrendik; gelecek hafta ölçtüğümüz sayıyı yükseltmenin en pratik yollarından birine bakacağız. İlk yarıda kararını cümleyle yazabilen tek model var: ağaç soruyu nasıl seçiyor, nerede durmalı, verdiği “öznitelik önemi” raporu neden yanlış okunuyor? İkinci yarıda tek ağacın kırılganlığından topluluğa geçiyoruz — torbalama, random forest ve boosting.

Dersin sonunda Kaggle'da Titanic'te dört modeli aynı ölçüyle yarıştıracağız ve bu haftanın kontrol listesi orada da geçerli olacak: taban çizgisi, ham karmaşıklık matrisi, eğitim ile sınav skorunun arası. Yeni bir algoritma öğrenmek, değerlendirme disiplininden muaf olmak değildir — her yeni modelde aynı soruları soracağız.