← Tüm haftalar
Yapay Zeka Uygulamaları · 2. Hafta · Veri ve Ön İşleme
2. Hafta · Veri ve Ön İşleme

Model değil, veri karar verir.

Geçen hafta “bilgisayarın bazı kuralları veriden öğrenmesi”ni konuştuk. Bu hafta o cümlenin en çok atlanan ama en çok iş yapan kelimesine bakıyoruz: veri. Çünkü bir model, kendisine verilen veriden daha iyi olamaz.

Bu haftanın tek cümlesi:
Model, veride ne varsa onu öğrenir — öğrenmesini istediğimiz şeyi değil.
📋Veri nedir?Gerçek dünyadan ölçülüp kaydedilmiş gözlemler.
🧹Neden temizlenir?Ham veri eksik, hatalı ve tutarsız gelir.
🔧Öznitelik çıkarımıHam sütunlardan modele yarayan sütunlar üretmek.
✂️Eğitim / testBaşarıyı ölçebilmek için veriyi ikiye bölmek.
02 · Temel kavram

Veri tam olarak nedir?

Günlük dilde “bilgi” ile “veri”yi karıştırırız. Makine öğrenmesinde veri çok daha somut bir şeydir: gerçek dünyadaki bir olayın, ölçülüp kaydedilmiş hâli.

Gerçek dünya

Olay

Bir öğrenci sınava girdi, 73 aldı. Bir müşteri sepeti terk etti. Bir dairede 3 oda var ve 4,2 milyona satıldı.

Ölçüm

Kayıt

Bu olayın sayıya, metne veya görüntüye dönüştürülmüş hâli. Ölçmediğimiz hiçbir şey veri değildir.

Model için

Örnek

Tabloda bir satır. Modelin bakıp “buradan ne öğrenebilirim?” diye sorduğu tek bir gözlem.

Dikkat edilmesi gereken ayrım: Veri gerçeğin kendisi değil, gerçeğin bir temsilidir. Sıcaklığı ölçen termometre bozuksa veriniz “yanlış” değildir — veriniz bozuk termometrenin ölçtüğü şeydir. Model de tam olarak onu öğrenir.

Peki neden her şeyden önce gelir?

Çünkü makine öğrenmesinde bilgi akışının yönü tek taraflıdır. Kurallar veriden çıkar; veri kurallardan çıkmaz.

Klasik programlama ile makine öğrenmesinde bilginin yönü
KLASİK PROGRAMLAMA Kuralları insan yazar Program Sonuç MAKİNE ÖĞRENMESİ Veri + doğru cevaplar Eğitim Kurallar (model) Solda kuralı insan yazar. Sağda kuralı veri yazar — bu yüzden verinin kalitesi doğrudan modelin kalitesidir.
Meslekten bir gerçek: “%80 veri, %20 model”
Veri bilimiyle uğraşan ekiplerin sıkça tekrarladığı bir oran vardır: zamanın büyük kısmı veriyi bulmak, temizlemek ve biçimlendirmekle geçer; model kurmak görece kısa sürer. Öğrenciler genellikle bunun tersini bekleyerek derse gelir. Bu haftanın amacı o beklentiyi baştan düzeltmektir.
Garbage in, garbage out. Bilgisayar biliminin en eski kurallarından biri: çöp girerse çöp çıkar. Makine öğrenmesinde bu kuralın acı tarafı şudur — çöp girdiğinde çıktının çöp olduğu anlaşılmaz. Model yine bir sayı üretir, yine kendinden emin görünür.

Soru: “Yeterince güçlü bir model, kötü veriyi telafi eder.” Doğru mu?

Hayır. Güçlü model, kötü verideki hatalı örüntüyü daha iyi öğrenir. Model gücü, veri hatasını düzeltmez; onu pekiştirir.
03 · Gerçek hikâyeler

Veri yüzünden çöken sistemler

Aşağıdakilerin hiçbirinde “model kötüydü” denmedi. Hepsinde sorun veriydi.

1 · Amazon'un işe alım modeli (Reuters, 2018)
Amazon, CV'leri otomatik puanlayan bir model geliştirdi ve onu son on yılda şirkete gelen CV'lerle eğitti. Teknoloji sektöründe o CV'lerin büyük çoğunluğu erkeklere aitti. Model “iyi aday” tanımını bu geçmişten öğrendi ve içinde kadın geçen ifadeleri — örneğin bir kadın kulübünün adını — olumsuz sinyal saymaya başladı. Proje kullanıma alınmadan kapatıldı.

Dersi: Model “en iyi adayı” değil, geçmişte kimin işe alındığını öğrendi. Veri geçmişi anlatır; geçmiş adil değilse model de değildir.
2 · Google Flu Trends (2008–2015)
Google, grip belirtileriyle ilgili arama sorgularına bakarak salgının yayılımını resmî kurumlardan daha hızlı tahmin eden bir sistem kurdu. İlk yıllarda şaşırtıcı derecede isabetliydi. Sonraki yıllarda tahminler gerçek vaka sayılarının çok üzerine çıktı; sistem 2015'te kapatıldı.

Dersi: Veri dünyayla birlikte değişir. İnsanların arama alışkanlıkları değişti (haberler, otomatik tamamlama, merak kaynaklı aramalar), ama model eski alışkanlıklara göre kurulmuştu. Buna veri kayması (data drift) denir.
3 · Zillow Offers (2021)
ABD'li emlak şirketi Zillow, ev fiyatlarını tahmin eden modeline güvenerek gerçekten ev satın alan bir iş kolu kurdu. Model geçmiş yılların görece istikrarlı piyasasından öğrenmişti. Piyasa beklenmedik biçimde değişince model sistematik olarak fazla ödedi. İş kolu 2021 sonunda kapatıldı; şirket yüz milyonlarca dolarlık zarar açıkladı ve çalışanlarının önemli bir kısmını çıkardı.

Dersi: Geçmiş verinin bir varsayımı vardır: “yarın da bugüne benzeyecek.” Bu varsayım bozulduğunda model bunu size söylemez.
4 · Cetvel ile kanser tespiti
Cilt lezyonlarının fotoğraflarıyla eğitilen bazı modellerin, kötü huylu lezyonları şaşırtıcı başarıyla bulduğu görüldü. İncelendiğinde modelin öğrendiği şeyin lezyonun kendisi değil, karede duran cetvel olduğu anlaşıldı: doktorlar şüphelendikleri lezyonları ölçerken yanına cetvel koyuyordu. Model “cetvel varsa kanserdir” kuralını çıkarmıştı.

Dersi: Model, sonuçla birlikte görünen her şeyi ipucu sayar. Niyetinizi bilmez; sadece korelasyon arar.
5 · Dönen uçaklar (II. Dünya Savaşı)
Ordu, görevden dönen uçaklardaki kurşun deliklerini haritalandırdı ve en çok delik alan bölgelerin zırhlandırılmasını önerdi. İstatistikçi Abraham Wald itiraz etti: eldeki veri yalnızca geri dönebilen uçaklardan geliyordu. Zırh, deliklerin olmadığı yerlere konmalıydı — çünkü oralardan vurulan uçaklar hiç dönmemişti.

Dersi: En tehlikeli veri, elinizde olmayan veridir. Bugün buna hayatta kalma yanlılığı (survivorship bias) diyoruz.
Survivorship Bias
Eddie Woo · 6:09 · İngilizce (YouTube'dan Türkçe altyazı açılabilir)

Uçak hikâyesinin sınıfta anlatılmış hâli. Matematik öğretmeni Eddie Woo, kurşun delikli uçak diyagramını tahtaya koyup öğrencilerine aynı soruyu soruyor — ve yanlış cevabın neden bu kadar makul göründüğünü gösteriyor.

İzlerken şunu düşünün: Video istatistik dersi olarak anlatıyor, biz ise veri tablosuna bakıyoruz. Sizin elinizdeki tabloda “geri dönmeyen uçaklar” hangi satırlardır? Hiç kaydedilmemiş olanları tablodaki boş hücrelere bakarak bulamazsınız — bu yüzden 7. bölümde eksik veriye bir kez daha döneceğiz.
YouTube'da aç ↗
Bir de meşhur ama kaynağı doğrulanamamış bir anlatı var: Ordu, ağaçların arasındaki tankı bulan bir model eğitir. Model testlerde kusursuzdur, sahada işe yaramaz. Sebep: tanklı fotoğraflar güneşli bir günde, tanksızlar bulutlu bir günde çekilmiştir. Model tankı değil havayı öğrenmiştir. Hikâyenin gerçekliği tartışmalıdır ama anlattığı hata gerçektir — 4. maddedeki cetvel bunun belgelenmiş hâlidir.

Soru: Bu beş hikâyenin ortak noktası nedir?

Hiçbirinde model bozuk değildi. Hepsinde model, kendisine verilen veriyi doğru biçimde öğrendi — ama o veri, çözülmek istenen problemi doğru temsil etmiyordu.
04 · Yapı

Bir veri kümesinin anatomisi

Makine öğrenmesinde veri çoğu zaman bir tablodur. Bu tablonun üç parçasının adını bilmek, dersin kalanını kolaylaştırır.

Satır, sütun, etiket
m²odabina yaşıilçe fiyat 120412Çankaya4.200.000 9538Çankaya3.100.000 76325Mamak2.100.000 bir SATIR = örnek SÜTUNLAR = öznitelikler (features) — modelin bakacağı ipuçları ETİKET (label) doğru cevap
TerimTürkçeNe demek?Örnek
Sample / InstanceÖrnek, gözlemTablodaki bir satır. Tek bir gerçek olay.Çankaya'da satılan 120 m²'lik daire.
FeatureÖznitelik, özellikModelin tahmin yaparken bakacağı sütun.m², oda sayısı, bina yaşı, ilçe.
Label / TargetEtiket, hedefModelin tahmin etmesi istenen doğru cevap.Satış fiyatı.
DatasetVeri kümesiSatırların tamamı.Son 2 yılda satılan 5.000 daire.
🧩 Aynı tablo, farklı problem
  • Etiket fiyat ise problem regresyondur (sayı tahmini).
  • Etiket “6 ay içinde satıldı mı?” ise problem sınıflandırmadır (kategori tahmini).
  • Etiket hiç yoksa denetimli öğrenme yapılamaz; elde yalnızca gruplama (kümeleme) kalır.

Yani “hangi algoritmayı kullanacağım?” sorusunun cevabı modelde değil, etiket sütununda saklıdır.

Soru: Etiket sütunu boş olan satırları eğitimde kullanabilir miyiz?

Hayır. Denetimli öğrenmede model, tahminini doğru cevapla karşılaştırarak öğrenir. Doğru cevabı olmayan satır öğretemez — ancak model eğitildikten sonra tahmin edilecek satır olarak kullanılabilir.
05 · Veri toplama

Veri nereden gelir?

Veri gökten düşmez. Her kaynağın kendine özgü bir maliyeti, bir gecikmesi ve bir yanlılığı vardır.

En yaygın

Kurumun kendi kayıtları

Satış, stok, öğrenci, hasta, işlem kayıtları. Bedava ve bol; ama iş süreci için tutulduğundan model için eksik tasarlanmıştır.

Otomatik

Log ve sensör

Tıklama kayıtları, GPS, sıcaklık, kamera. Çok hızlı birikir; gürültülü ve ham gelir.

Hazır

Açık veri kümeleri

TÜİK, belediye açık veri portalları, Kaggle, UCI. Dersler ve prototipler için idealdir.

Pahalı

Etiketleme

İnsanın tek tek işaretlemesi: “bu fotoğrafta tümör var mı?”. En değerli ve en masraflı veri budur.

Dikkatli

Web'den toplama

Sitelerin kullanım şartları ve telif hakları bağlayıcıdır. “Açıkta duruyor” demek “serbest” demek değildir.

Yedek

Sentetik veri

Üretilmiş veri. Eksiği kapatır ama gerçekte olmayan bir düzeni öğretme riski taşır.

Kişisel veri topluyorsanız bu bir hukuk konusudur. Türkiye'de KVKK (6698 sayılı kanun) kapsamında kişisel veri; açık rıza olmadan, belirtilen amaç dışında ve süresiz biçimde işlenemez. Derste ve projelerde temel kural: kimliği gösteren alanları hiç toplamayın; mecbursanız anonimleştirin. Bir modelin başarısı, veriyi toplama biçimini meşru kılmaz.
Veri toplarken sorulacak dört soru:
  1. Kimi temsil ediyor? Veri yalnızca belli bir grubu kapsıyorsa model yalnızca onlar için çalışır.
  2. Ne zaman toplandı? Üç yıl önceki fiyat verisi bugünün piyasasını anlatmaz.
  3. Nasıl toplandı? Anket mi, otomatik kayıt mı? Gönüllü katılım her zaman yanlılık taşır.
  4. Ne eksik? Toplanamayanların sessizliği, toplananların gürültüsünden tehlikelidir.
Hikâye: 1936 ABD başkanlık anketi
Literary Digest dergisi, iki milyondan fazla kişiye ulaşan devasa bir anket yaptı ve seçimi Landon'ın kazanacağını duyurdu. Seçimi Roosevelt ezici farkla kazandı. Hata örneklem sayısında değildi — anket listeleri telefon abonelerinden ve otomobil sahiplerinden derlenmişti. 1936'nın ekonomik koşullarında bu, nüfusun yalnızca varlıklı kesimine ulaşmak demekti.

Dersi: Verinin çokluğu yanlılığı düzeltmez. İki milyon yanlış kişi, iki bin doğru kişiden daha kötüdür.

Soru: Üniversitenin kantin memnuniyetini ölçmek için anketi kantin kuyruğunda yapsak nasıl bir yanlılık doğar?

Kantini hiç kullanmayanlara — yani muhtemelen en memnuniyetsiz gruba — hiç ulaşamayız. Örneklem, ölçmek istediğimiz kitleyi değil, zaten memnun olan alt kümeyi temsil eder.
06 · Veri kalitesi

Ham veri her zaman kirlidir

Ders kitaplarındaki tablolar tertemizdir. Gerçek hayatta elinize geçen ilk dosya hiçbir zaman öyle değildir. Aşağıdaki canlandırma, gerçek bir ön işleme turunu adım adım gösteriyor.

Eksik değer

Hücre boş ya da “bilinmiyor” anlamında 0, −1, 999 gibi bir sayıyla doldurulmuş.

Hatalı değer

Fiziksel olarak imkânsız: negatif yaş, 400 yaşında bina, gelecekteki tarih.

Tutarsızlık

“Çankaya”, “çankaya ”, “ÇANKAYA” — insan için aynı, bilgisayar için üç ayrı kategori.

Yinelenen kayıt

Aynı satır birden çok kez. Model o örneği olduğundan önemli sanır.

Aykırı değer

Diğerlerinden çok uzak değer. Hata da olabilir, gerçek de.

Yanlış tip

Sayı sütununda metin: oda sayısı yerine “3+1”, fiyat yerine “pazarlıklı”.

Canlandırma 1Ham veriyi birlikte temizleyelim

Ankara'da ev fiyatı tahmini için toplanmış 8 satırlık ham veri. Her adımda tek bir sorunu ele alıyoruz.

#ilçem²odabina yaşıfiyat (TL)
hatalı / tutarsız eksik yinelenen düzeltildi
—kullanılabilir satır
—sorunlu hücre
—veri kaybı
En sinsi hata: sıfırla kodlanmış eksik veri. Boş hücre gözünüze çarpar, ama m² = 0 bir sayıdır; hiçbir uyarı vermez, hesaplara sessizce girer ve ortalamayı aşağı çeker. Bir sütunda olağandışı sıklıkta 0, −1, 999 veya 1900-01-01 görüyorsanız bunlar büyük olasılıkla ölçüm değil, “bilinmiyor”un kılık değiştirmiş hâlidir.

Soru: Yinelenen satırı silmek neden önemli? Aynı bilgiyi iki kez görmek modele zarar verir mi?

Evet. Model her satıra eşit ağırlık verir; iki kez geçen örnek iki kat etkili olur. Ayrıca aynı satır hem eğitim hem test kümesine düşerse, model o örneği “daha önce gördüğü için” bilir ve test sonucu olduğundan iyi çıkar. Bu, 13. bölümdeki veri sızıntısının en basit hâlidir.
07 · Eksik veri

Eksik hücreyi ne yapacağız?

Üç seçenek vardır ve üçü de bir bedel öder: sil, doldur ya da eksikliği bilgi say.

Seçenek 1

Satırı ya da sütunu sil

Eksik oranı çok düşükse satırı; bir sütunun yarısı boşsa sütunu silmek mantıklıdır.

Bedeli: veri kaybı. Küçük veri kümelerinde çok pahalıdır.

Seçenek 2

Bir değerle doldur

Sayısal sütunlarda ortalama veya medyan, kategorik sütunlarda en sık görülen değer.

Bedeli: uydurma değer. Sütunun çeşitliliğini azaltır.

Seçenek 3

Eksikliği öznitelik yap

gelir_bilinmiyor adında 0/1 sütunu ekleyin. Bazen eksikliğin kendisi bilgidir.

Bedeli: yok denecek kadar az; en çok atlanan seçenek budur.

Doldururken ortalama mı, medyan mı?

Bu, dersin en kolay unutulan ama en çok işe yarayan ayrıntılarından biri. Kaydıracı sürükleyip tek bir uç değerin ortalamayı nasıl sürüklediğini izleyin.

Canlandırma 2Tek bir aykırı değer ortalamayı nasıl kaçırır?

Elimizde 6 dairenin m² değeri var: 85, 92, 97, 104, 110 ve kaydıraçla değiştirdiğiniz altıncı daire.

110 m²
—ortalama (mean)
—medyan (median)
Hikâye: Dönen uçaklar, bir kez daha
3. bölümdeki Wald hikâyesi aslında bir eksik veri hikâyesidir. Eldeki tabloda hiçbir hücre boş görünmüyordu; boş olan şey, tabloya hiç girememiş uçaklardı. Bir sütundaki boşlukları saymak kolaydır — asıl soru şudur: “Bu tabloya hangi satırlar hiç giremedi?”

Öğrenci başarısını tahmin eden bir model, dersi bırakanların notlarını hiç göremez. Müşteri memnuniyeti modeli, çoktan ayrılmış müşterilere anket gönderemez.
Eksiklik rastgele olmayabilir. “Gelir” sütununu boş bırakanlar rastgele seçilmiş insanlar değildir; muhtemelen sistematik bir ortak yanları vardır. Bu boşlukları ortalama ile doldurmak, o grubun gerçeğini ortalamanın arkasına saklamak demektir.

Soru: Bir sütunun %70'i boşsa ne yapmalı?

Genellikle sütunu tamamen çıkarmak en doğrusudur: %70'i uydurulmuş bir sütun, bilgi değil gürültü taşır. Ancak önce şunu sorun — o sütunun dolu olduğu satırlarda bir ortak özellik var mı? Varsa “bu alan dolu mu?” bilgisini 0/1 sütunu olarak saklamak işe yarayabilir.
08 · Aykırı değerler

Aykırı değer: hata mı, gerçek mi?

Aykırı değer (outlier), diğerlerinden belirgin biçimde uzak duran gözlemdir. İlk refleks onu silmektir — çoğu zaman yanlış refleks.

🗑️ Sil — çünkü hata

290.000.000 TL'ye satılan 105 m²'lik Keçiören dairesi. Fazladan iki sıfır. Fiziksel olarak imkânsız ya da bağlamla açıkça çelişen değerler düzeltilir veya çıkarılır.

💎 Sakla — çünkü gerçek

Dolandırıcılık tespitinde aykırı değer zaten aradığınız şeydir. Olağandışı işlemleri temizlerseniz modeli tam da bulması gereken örneklerden mahrum bırakırsınız.

Karar kuralı: Aykırı değeri silmeden önce “bu değer mümkün mü?” diye sorun, “bu değer alışılmış mı?” diye değil. Mümkün ama alışılmadık değerler verinin en değerli kısmıdır.
Aykırı değer bir regresyon doğrusunu nasıl eğer?
m² fiyat aykırı değer (fazladan iki sıfır) aykırı değer olmadan tek bir noktayla eğilen doğru
Sekiz doğru gözlem bir yöne işaret ediyor; tek bir hatalı kayıt tahmini yukarı çekiyor.

Soru: Bir hastanenin kan tahlili verisinde çok yüksek bir değer gördünüz. Silmeli misiniz?

Hayır — önce sormalısınız. Tıbbi verilerde uç değerler çoğu zaman asıl ilgilenilen hastalardır. Silinecek olan yalnızca ölçüm/giriş hatası olduğu kanıtlanabilen değerlerdir. Karar istatistiksel değil, alan bilgisine dayalıdır.
09 · Öznitelik çıkarımı

Ham sütunlardan işe yarar sütunlar üretmek

Öznitelik çıkarımı (feature engineering), verideki bilgiyi modelin görebileceği biçime sokmaktır. Çoğu zaman model seçmekten daha çok fark yaratır.

Modelin elinde yalnızca sütunlar vardır. Bir sütunda bilgi “saklıysa” model onu kendiliğinden bulamayabilir; biz açığa çıkarırız.

Ham sütunSorunÇıkarılan öznitelik
oda = "3+1"Metin. Model üzerinde işlem yapamaz.oda_sayisi = 4 veya yatak_odasi = 3, salon = 1
tarih = 2025-11-29Tek başına anlamsız bir sayı dizisi.ay = 11, hafta_sonu = 1, tatil_mi = 0
adres = "...Çankaya/Ankara"Her satırda farklı; model genelleme yapamaz.ilce = Çankaya, merkeze_uzaklik_km = 4.2
dogum_tarihiZamanla anlamı kayar.yas
m2, fiyatİkisi de var ama asıl ilişki gizli.metrekare_fiyati = fiyat / m2
Altın örnek: Ev fiyatı tahmininde m² ve fiyat ayrı ayrı vardır, ama emlakçının kafasındaki asıl ölçü metrekare fiyatıdır. Bu sütunu siz eklemezseniz model onu dolaylı olarak bulmaya çalışır ve çoğu zaman beceremez. Alan bilgisi (domain knowledge) tam burada devreye girer.
Sınıf içi alıştırma: “Kantin kuyruğu ne kadar sürer?”
Elimizde yalnızca iki sütun var: zaman_damgasi ve bekleme_dakika. Bu hâliyle model işe yaramaz. Peki zaman damgasından hangi öznitelikleri çıkarabiliriz?

Saat · haftanın günü · ders arası mı · sınav haftası mı · ayın kaçı (burs günü) · hava durumu (dış kaynak). Tek bir sütundan altı öznitelik çıktı ve model ancak şimdi öğrenebilir.

Soru: Öznitelik çıkarımı yaparken veriye “bilgi eklemiş” oluyor muyuz?

Hayır — bilgi zaten oradaydı; biz onu modelin görebileceği biçime soktuk. İstisna dış kaynaktan veri eklemektir (hava durumu, nüfus, konum): o gerçekten yeni bilgidir.
10 · Kategorik veri

Kelimeleri sayıya çevirirken açılan tuzak

Modeller sayılarla çalışır. “Çankaya” bir sayı değildir — ama onu sayıya çevirme biçiminiz, modele yanlışlıkla bir sıralama öğretebilir.

Canlandırma 3Label encoding mi, one-hot mu?

Aynı şehir sütununu iki farklı yöntemle sayıya çevirip modelin ne “anladığına” bakalım.

Ne zaman hangisi?
  • Sıralı (ordinal) kategori — düşük / orta / yüksek, ilkokul / lise / üniversite: burada sıralama gerçekten vardır, label encoding doğrudur.
  • Sırasız (nominal) kategori — şehir, marka, renk, bölüm: sıralama yoktur, one-hot kullanılır.
  • Çok fazla kategori — 81 il, 10.000 ürün: one-hot tabloyu şişirir; başka yöntemler gerekir (sıklık kodlaması, gömme vektörleri).

Soru: Beden bilgisi (S, M, L, XL) için hangisini seçersiniz?

Label encoding — çünkü bedenler arasında gerçek bir sıralama vardır: S < M < L < XL. Burada 1, 2, 3, 4 vermek modele doğru bilgiyi öğretir. Yanlış olan, sıralaması olmayan kategorilere sıralama uydurmaktır.
11 · Ölçekleme

Sütunlar farklı birimlerdeyse en büyük sütun kazanır

Yaş 20–70 arasında, maaş 20.000–80.000 arasında değişir. İki sütunu ham hâliyle karşılaştırırsanız, maaş yaşı tamamen bastırır — model yaşı hiç görmez.

Canlandırma 4“Bu müşteriye en çok kim benziyor?”

Referans müşteri: 30 yaşında, 30.000 TL maaşlı. Aşağıdaki iki adaydan hangisi ona daha yakın? Çubuklar uzaklığı gösterir — kısa olan daha benzer demektir. Şu an ham değerler kullanılıyor.

KişiYaşMaaşYaş farkıMaaş farkı
Referans3030.000——
Aday A5830.20028 yıl200 TL
Aday B3134.0001 yıl4.000 TL

Min-Max (normalizasyon)

Her sütunu 0 ile 1 arasına sıkıştırır. Sınırların belli olduğu durumlarda (sınav notu, yüzde) doğaldır.

formül
yeni = (x − min) / (max − min)

Aykırı değerlere duyarlıdır: tek bir uç değer diğer her şeyi 0'a yapıştırır.

Standardizasyon (z-score)

Ortalamayı 0, standart sapmayı 1 yapar. Değerler belli bir aralığa sıkışmaz; uç değerlere daha dayanıklıdır.

formül
yeni = (x − ortalama) / standart_sapma

Pratikte en sık kullanılan yöntemdir.

Her model ölçekleme istemez. Uzaklık hesaplayan yöntemler (KNN, k-means) ve sinir ağları ölçeklemeye muhtaçtır. Karar ağaçları ve rastgele ormanlar ise her sütunu tek tek eşiklerle böldüğü için ölçeklemeden etkilenmez. Yani “her zaman ölçekle” diye bir kural yoktur; kullandığınız yöntemin ne yaptığını bilmek gerekir.

Soru: Ölçekleme verideki bilgiyi değiştirir mi?

Hayır. Sütun içindeki sıralama ve göreli mesafeler korunur; yalnızca birim değişir. Değişen tek şey, sütunların birbirine göre ağırlığıdır — zaten amaç da budur.
12 · Eğitim ve test

Veriyi neden ikiye bölüyoruz?

Çünkü bir modelin gerçekten öğrenip öğrenmediğini, ancak daha önce görmediği örneklerle sınayarak anlayabiliriz.

Hikâye: Çıkmış soruları ezberleyen öğrenci
Bir öğrenci geçen yılın sorularını ve cevaplarını ezberledi. Aynı soruları tekrar çözdüğünde 100 alıyor. Peki bu öğrenci konuyu öğrendi mi? Bilmiyoruz — çünkü onu hiç görmediği bir soruyla sınamadık.

Modeli eğittiği veriyle test etmek, tam olarak budur. Buna geçen hafta overfitting (aşırı öğrenme) demiştik; eğitim/test ayrımı, overfitting'i fark edebilmek için kurulmuş düzenektir.
Canlandırma 5Veriyi nasıl bölmeli?

100 örneklik bir veri kümeniz var. Kaydıracı oynatıp test oranını değiştirin; her oranın bir bedeli olduğunu göreceksiniz.

%20
—eğitim örneği
—test örneği

Bölmenin kuralları

Rastgele böl
Veri tarihe veya alfabeye göre sıralıysa ilk %80'i almak, test kümesine yalnızca son dönemi koyar.
Oranları koru (stratified split)
%5 dolandırıcılık varsa, hem eğitimde hem testte %5 olmalı. Aksi hâlde test kümesinde hiç dolandırıcılık kalmayabilir.
Zaman serisinde rastgele bölme
Gelecekten geçmişi tahmin etmek anlamsızdır. Zaman verisinde bölme tarihe göre yapılır: eski veriyle eğit, yeni veriyle test et.
Test kümesine bir kez bak
Test sonucuna bakıp modeli değiştirip tekrar test ederseniz, test kümesi yavaşça eğitim kümesine dönüşür.
Üçüncü küme: validation (doğrulama). Geliştirme sırasında ayar denemek için kullanılır; test kümesi ise en sonda, bir kez açılan kapalı zarftır. Geçen haftaki %70 / %15 / %15 görselinin sebebi budur.

Soru: Test kümesinde %95 doğruluk aldık ama gerçek kullanımda model berbat. İlk şüphelenilecek şey ne?

Test kümesinin gerçek kullanımı temsil etmemesi. En sık üç sebep: (1) veri sızıntısı, (2) test kümesinin eğitimle aynı dönemden/kaynaktan gelmesi, (3) gerçek dünyanın veri toplandığından beri değişmiş olması (data drift).
13 · Veri sızıntısı

En sinsi hata: veri sızıntısı (data leakage)

Modelin, gerçek kullanımda asla elinde olmayacak bir bilgiyi eğitim sırasında görmesidir. Belirtisi tanıdıktır: inanılmaz iyi test sonuçları.

Altın kural: Test sonucunuz beklediğinizden çok daha iyiyse sevinmeyin — sızıntı arayın. Tecrübeli ekiplerde %99 doğruluk bir başarı değil, bir alarm sinyalidir.

1 · Hedefi ele veren sütun

“Hasta mı?” tahmin ediyorsunuz ve veride verilen_ilac sütunu var. Model kusursuz çalışır — çünkü ilaç ancak teşhis konduktan sonra yazılır. Gerçek hastada o sütun boş olacaktır.

2 · Bölmeden önce işlem yapmak

Ölçekleme veya eksik doldurmayı tüm veri üzerinde yaptıysanız, test kümesinin ortalaması eğitim verisine karışmıştır. Doğrusu: önce böl, sonra yalnızca eğitim kümesinden hesapla, aynı değerleri teste uygula.

3 · Yinelenen kayıtlar

Aynı satır hem eğitimde hem testte varsa model onu ezberinden bilir. 6. bölümde yinelenenleri bu yüzden sildik.

4 · Zaman sızıntısı

Geleceğe ait bilgiyle geçmişi tahmin etmek. Kasım verisiyle eğitip ekim ayını test etmek, sınavdan sonra cevap anahtarını okumak gibidir.

Doğru sıra: önce böl, sonra işle
Ham veri
→
Temizlik
satır bazlı, güvenli
→
✂️ BÖL
→
Eğitim kümesinden
ortalama / ölçek hesapla
→
Aynı değerleri
teste uygula
Yinelenen satırı silmek bölmeden önce yapılır. Ortalama/medyan hesabı ise bölmeden sonra, yalnızca eğitim kümesinden.

Soru: Eksik değerleri tüm veri kümesinin ortalamasıyla doldurmak neden sızıntıdır?

Çünkü o ortalamanın içinde test satırlarının değerleri de vardır. Model, görmemesi gereken örneklerden hesaplanmış bir sayıyı eğitim sırasında kullanmış olur. Etkisi küçük görünebilir ama test sonucunu sistematik olarak iyimser gösterir.
14 · Dengesiz veri

Sınıflar dengesizse doğruluk yalan söyler

Dolandırıcılık, nadir hastalık, makine arızası… Aradığınız şey ne kadar nadirse, “doğruluk” ölçüsü o kadar işe yaramaz hâle gelir.

Canlandırma 6Hiçbir şey öğrenmeyen modelin yüksek notu

300 banka işlemi var; bir kısmı dolandırıcılık (kırmızı). Tembel model tek bir kural kullanıyor: “her işleme normal de.” Hiçbir şey öğrenmiyor. Dolandırıcılık sayısını değiştirip notuna bakın.

6 / 300
—doğruluk (accuracy)
—yakalanan dolandırıcılık
—kaçan dolandırıcılık
Dengesizlikle ne yapılır?
  • Ölçüyü değiştir: doğruluk yerine precision, recall, F1. (5. haftanın konusu.)
  • Azınlığı çoğalt / çoğunluğu azalt: oversampling, undersampling.
  • Hata maliyetini ağırlıklandır: modele “bir dolandırıcılığı kaçırmak, bir normali yanlış işaretlemekten 100 kat pahalı” demek.
  • Daha çok azınlık örneği topla: en zoru ve en etkilisi.

Soru: Bir kanser tarama modeli %99 doğruluk alıyor. Bu iyi bir haber mi?

Tek başına hiçbir şey ifade etmez. Toplumda kanser görülme oranı %1 ise, “kimsede yok” diyen model de %99 alır. Sorulması gereken: gerçek hastaların kaçını yakaladı? (recall) ve hasta dediklerinin kaçı gerçekten hastaydı? (precision)
15 · Önyargı ve temsil

Veri kimi temsil ediyor?

Teknik olarak kusursuz, tek bir boş hücresi olmayan bir veri kümesi de yanlı olabilir. Önyargı bir veri kalitesi sorunu değil, bir veri kapsamı sorunudur.

Örneklem yanlılığı

Veri, kullanılacak kitlenin bir alt kümesinden toplanmıştır. 1936 anketi, kantin kuyruğu anketi.

Tarihsel yanlılık

Veri geçmişi doğru yansıtır ama geçmiş adaletsizdir. Amazon'un işe alım modeli.

Ölçüm yanlılığı

Ölçme biçimi sonucu etkiler. Cetvelli fotoğraflar, bozuk termometre.

Hayatta kalma yanlılığı

Yalnızca “başaranlar” veriye girer. Dönen uçaklar, dersi bırakmayan öğrenciler.

Etiketleyici yanlılığı

Etiketleri koyan insanların kendi yargıları veriye sinmiştir.

Dağılım kayması

Veri doğruydu ama dünya değişti. Google Flu Trends, Zillow.

Bir modeli “tarafsız” yapan şey algoritma değildir. Aynı algoritma, farklı veriyle farklı davranır. Bu yüzden “model önyargılı mı?” sorusu her zaman “veri kimi görmüş, kimi hiç görmemiş?” sorusuna indirgenir.
🧭 Projeye başlamadan sorulacak üç soru
  • Kim eksik? Bu modelin karar vereceği insanların hangi grubu veride az temsil ediliyor?
  • Geçmiş tekrarlanmalı mı? Veri geçmişi anlatıyor. Geçmişteki kararlar doğru muydu?
  • Yanlış karar kime zarar verir? Krediyi reddetmek, teşhisi kaçırmak, adayı elemek — bedeli kim öder?

Soru: Veri kümesine daha fazla satır eklemek önyargıyı azaltır mı?

Aynı kaynaktan geliyorsa hayır — yalnızca aynı yanlılığı daha güvenle öğretir. Önyargıyı azaltan şey veri miktarı değil, veri çeşitliliği ve kapsamıdır. 1936 anketinde dört milyon kişiye ulaşılsaydı sonuç yine yanlış olurdu.
16 · Toparlama

Özet, kontrol listesi ve görevler

Bir ön işleme turunun tamamı
1 · Veriyi anla
sütunlar, etiket
→
2 · Temizle
eksik, hatalı, yinelenen
→
3 · Öznitelik çıkar
tarih → gün, adres → ilçe
→
4 · Kategoriyi kodla
one-hot
→
5 · BÖL
eğitim / test
→
6 · Ölçekle
yalnızca eğitimden
5. adımın yeri tesadüf değildir: ölçekleme ve doldurma bölmeden sonra gelir — yoksa veri sızıntısı olur.

Bu haftanın on cümlesi

Dersten sonra tek başınıza yapın

4 saatlik önerilen ders akışı

SüreBölümKonu
0–30 dk01Veri nedir, neden önce gelir? Klasik programlamayla bilgi akışı farkı.
30–60 dk02Gerçek hikâyeler. Her hikâyeden sonra “burada veri ne söylüyordu?” tartışması.
60–85 dk03–04Verinin anatomisi, veri kaynakları, KVKK ve örneklem yanlılığı.
85–95 dk—Ara
95–130 dk05–07Canlandırma 1 ve 2. Kirli veri temizliği, eksik değer, aykırı değer.
130–165 dk08–10Canlandırma 3 ve 4. Öznitelik çıkarımı, kategorik kodlama, ölçekleme.
165–205 dk11–13Canlandırma 5 ve 6. Eğitim/test ayrımı, veri sızıntısı, dengesiz veri.
205–230 dk14Önyargı ve temsil; projeye başlamadan sorulacak üç soru.
230–240 dk15Özet, kontrol listesi ve görev dağıtımı.
Hoca notu: Canlandırmalar tahtaya yansıtılıp öğrenciye sorularak ilerletildiğinde çok daha iyi iş görüyor. Örneğin 2. canlandırmada kaydıracı sürüklemeden önce “sizce ortalama mı medyan mı daha çok oynar?” diye sorun; 5. canlandırmada test oranını %0 yapmadan önce “test verisi olmasa ne olurdu?” diye sorun. Cevabı önce onlar söylesin.
Gelecek hafta
Elimizde artık temiz, bölünmüş ve ölçeklenmiş bir veri var. 3. haftada bu veriyle ilk sınıflandırma modelimizi kuracağız: problemi tanımlamak, etiketleri belirlemek, modeli eğitmek ve çıkan sonucu yorumlamak.

Final soru: “Model iyi çalışmıyor, daha güçlü bir algoritma deneyelim.” Bu cümleyi duyduğunuzda önce neyi sorarsınız?

“Veriye baktık mı?” Pratikte model değiştirmekten çok daha sık işe yarayan şeyler şunlardır: eksik/hatalı kayıtları temizlemek, daha iyi öznitelik çıkarmak, daha fazla veya daha çeşitli veri toplamak ve sızıntı olup olmadığını kontrol etmek. Algoritma değiştirmek genellikle son adımdır.