Aykırı Değerlerin (Outlier) Belirlenmesi

Veri temizleme süreci, yapay zeka modellerinin tutarlı sonuçlar üretebilmesi için temel bir adımdır. Toplanan kayıtlar çoğu zaman yazım hataları ve uyumsuz formatlar içerir. Bu nedenle analistler ilk olarak kayıtları tarar ve hatalı girdileri ayıklar. Eksik değer problemi ise çoğunlukla ortalama ya da en sık görülen değer gibi basit yöntemlerle doldurulur. Sayısal sütunlarda medyan değeri tercih edilir, çünkü aşırı sapmalardan daha az zarar görür. Kategorik sütunlarda ise en sık tekrarlanan kategori doldurma için makul bir seçenek olabilir. Bazı durumlarda kayıt tamamen çıkarılır, özellikle eksik oranı çok fazla ise. Eksik veri deseninin rastgele mi yoksa düzenli mi olduğu incelenmelidir. Sistematik kayıplar modelde sapmaya yol açabilir. Temizleme adımları her zaman kayıt altına alınmalı ve tekrarlanabilir olmalıdır. Böylece proje üyeleri hangi kararın neden alındığını anlayabilir.

Aykırı değer tespiti, veri setindeki olağandışı gözlemleri ayırt etmek için başvurulan bir süreçtir. Bu değerler ölçüm hatası olabileceği gibi nadir ama geçerli olaylardan da kaynaklanabilir. temel bir yaklaşım çeyrekliklerarası açıklık yöntemidir ve birinci ile üst çeyrek arasındaki farkla eşikler belirler. Standart skor yöntemi ise merkezden kaç sapma birimi uzakta olduğuna bakar. Normal dağılıma yakın verilerde bu yaklaşım oldukça etkilidir. Fakat çarpık dağılımlarda sonuçlar yanıltıcı olabilir. Bu durumda isolation forest gibi çok değişkenli algoritmalar tercih edilebilir. Aykırı değerleri doğrudan silmek her zaman doğru tercih değildir. Bazen gözlem kırpılarak (winsorizing) sınırlar içine alınır. Bu teknik verinin genel yapısını koruyarak sapma etkisini azaltır. Her yaklaşımın alan bilgisiyle desteklenmesi gerekir. Uzman görüşü, hangi gerçek iz olduğunu belirlemede çok değerlidir.

Değişken ölçekleme, farklı birimlerdeki sayısal değişkenlerin algoritmaya dengeli biçimde katkı yapmasını sağlar. Uzaklık temelli algoritmalar, örneğin KNN veya SVM, ölçek farklarından belirgin biçimde etkilenir. Min-max ölçeklendirme değerleri belirli bir aralığa, genellikle sıfır ile bir arasına çeker. Bu yöntem uç noktalara karşı duyarlıdır, çünkü minimum değerler tüm ölçeği etkiler. Z-skor dönüşümü ise ortalamayı sıfıra ve standart sapmayı bire getirir. Bu yöntem simetrik dağılımlı veriler için çoğu zaman tercih edilir. Ağaç tabanlı modeller ise ölçeğe büyük ölçüde duyarlı değildir. Dolayısıyla her algoritma için ayrı bir değerlendirme yapmak gerekir. Ölçeklendirici yalnızca eğitim verisiyle uydurulmalı, ardından test verisine aktarılmalıdır. Aksi halde bilgi sızıntısı ortaya çıkar ve performans ölçümleri yanıltıcı olur. Pipeline yapıları bu hatayı önlemek için sıklıkla kullanılır.

Nitel değişkenler, makine öğrenmesi modellerinin doğrudan işleyemeyeceği metin biçiminde bilgilerdir. Bu nedenle sayısal bir temsile dönüştürülmeleri gerekir. One-hot kodlama, her kategori için ayrı bir ikili sütun oluşturur. Bu yöntem sıralama içermeyen isimsel değişkenler için idealdir. Fakat çok sayıda sınıfı olan değişkenlerde boyut hızla artar. Bu durumda hedef kodlama gibi alternatifler düşünülebilir. Label encoding her kategoriye bir tam sayı verir, fakat bu sahte bir düzen yaratabilir. Sıralı ordinal değişkenlerde ise sıralama bilgisi korunarak sayılara dönüştürülür. Eğitim ile değerlendirme verilerindeki kategori kümelerinin tutarlı olması önemlidir. Yeni görülen bir kategori modeli sekteye uğratabilir. Bu yüzden görülmemiş değerler için özel bir kurala sahip olmak faydalıdır.

Yazılı içerik üzerinde tokenizasyon, ham karakter dizilerini modelin anlayabileceği parçalara ayırma işlemidir. Sözcük temelli tokenizasyon boşluk ve noktalama işaretlerine göre ayırır. Bu yöntem anlaşılır olsa da sözlük dışındaki kelimelerle sorun yaşar. Alt sözcük yöntemleri, örneğin BPE, sık geçen karakter gruplarını birleştirerek esnek bir sözlük kurar. Türkçe gibi eklemeli dillerde bu yaklaşım oldukça faydalıdır. Gövde ve çekimler ayrı tokenlara ayrılabilir. Büyük küçük harf dönüşümü de ön işlemenin önemli bir parçasıdır. Durdurma sözcükleri atılabilir, fakat bazı görevlerde bu kelimeler anlam taşır. Dolayısıyla kaldırma kararı probleme göre değerlendirilmelidir. Özel karakterler ve emojiler için ayrı kurallar tanımlanmalıdır. Doğru tokenizasyon, modelin bağlamı yakalamasında kritik bir rol oynar.

Veri standartlaştırma işlemi, farklı ölçeklerdeki özelliklerin adil bir şekilde karşılaştırılabilmesi için vazgeçilmez bir adımdır. Z-skor standartlaştırması gibi yöntemler, değerleri belirli bir aralığa çekerek modelin tek bir özelliğe aşırı ağırlık vermesini engeller. Veri bilimciler bu dönüşümü yaparken aykırı değerlerin etkisini da dikkate bulundurmalıdır. Bilhassa mesafe temelli algoritmalarda, normalizasyon eksik yapıldığında sonuçlar ciddi biçimde bozulabilir. Uygun bir yöntem seçildiğinde ise öğrenme süreci daha istikrarlı ilerler. Uygulama sırasında ölçekleyici yalnızca eğitim verisi üzerinde öğrenilmeli, ardından test verisine aynen uygulanmalıdır. Bu kural çiğnenirse veri sızıntısı oluşur ve performans ölçümü gerçeği yansıtmayan hale gelir. Sayısal ve kategorik değişkenlerin ayrı ele alınması da sıklıkla gözden kaçırılan bir ayrıntıdır. Kısacası normalizasyon, modelin genelleme gücünü doğrudan etkileyen temel bir hazırlık basamağıdır.

Değişken seçimi süreci, modelin gereksiz bilgiyle yüklenmesini önlemek amacıyla kullanılan kritik bir adımdır. Korelasyon analizi ile hedef değişkenle anlamlı ilişkisi olmayan veya birbiriyle aşırı korele olan özellikler ayıklanabilir. Filtre yöntemler arasından probleme uygun olan tercih edilmelidir. Boyut indirgeme teknikleri ise özellik sayısını sadeleştirerek hesaplama maliyetini düşürür. PCA bu bağlamda en yaygın kullanılan yöntemlerden biridir. Ancak dönüştürülen bileşenlerin anlaşılırlığı azalabilir, bu dengesizlik göz önünde bulundurulmalıdır. Karmaşık ilişkiler söz konusu olduğunda t-SNE veya UMAP gibi alternatifler değerlendirilebilir. Dikkatli bir seçim, eğitim süresini ciddi biçimde kısaltabilir. Ayrıca aşırı öğrenme riski de hafifler. Nihayetinde hedef, bilgi kaybını minimumda tutarak verimli bir temsil elde etmektir.

Veri artırma teknikleri, sınırlı sayıda örnekle eğitilen modellerin öğrenme kapasitesini artırmak için sık olarak tercih edilen yöntemlerdir. Resim setlerinde döndürme, kırpma ve parlaklık oynaması gibi işlemler rutin olarak uygulanır. Metin verilerinde ise eş anlamlı kelime ikamesi veya geri çeviri teknikleri tercih edilmektedir. Ses kayıtlarına gürültü ekleme veya hız ayarı uygulanabilir. Bu yöntemler sayesinde model, farklı koşullara karşı dayanıklı hale gelir. Ancak üretilen örneklerin etiketlerinin tutarlılığı her zaman kontrol edilmelidir. Fazla dönüşüm ise gerçek dağılımdan uzaklaşmaya neden olabilir. Yapay veri üretimi için generatif modeller de giderek daha fazla kullanılmaktadır. Bu noktada kalite kontrolü hayati önem taşır. Sonuç olarak veri artırma, doğru uygulandığında modelin performansını anlamlı ölçüde iyileştirir.

Sınıf dengesizliği olan veriler, bir sınıfın diğerlerine göre belirgin şekilde fazla örneğe sahip olduğu durumlarda görülür ve modelin çoğunluk sınıfına yönelmesine yol açar. Bu sorun özellikle dolandırıcılık tespiti ve tıbbi teşhis gibi uygulamalarda ciddi sonuçlar doğurabilir. Örnek sayısını ayarlama yöntemleri, azınlık sınıfını çoğaltarak ya da çoğunluk sınıfını seyrelterek dengeyi kurmaya çalışır. SMOTE gibi algoritmalar, mevcut örnekler arasında yapay noktalar üreterek bu süreci daha akıllı hale getirir. Fakat rastgele fazla örnekleme, aşırı öğrenmeye zemin çıkarabilir. Maliyete dayalı öğrenme de alternatif bir yaklaşım olarak kullanılabilir. Bu yaklaşımda hatalı sınıflandırmanın cezası azınlık sınıfı için yükseltilir. Performans ölçümü aşamasında doğruluk yerine kesinlik ve duyarlılık gibi metrikler tercih edilmelidir. Böylece model gerçek performansı konusunda daha gerçekçi bir resim sunar.

Eğitim ve test verisi ayrımı, modelin daha önce verilerde hangi düzeyde başarılı olacağını değerlendirmek için zorunlu bir işlemdir. Genellikle veri setinin yüzde yetmişi ile yüzde seksen arası eğitim için, kalanı test için ayrılır. Rastgele bölme yöntemi, örneklerin korunması bakımından her zaman uygun olmayabilir. Katmanlı örnekleme ile sınıf oranları iki parçada da sabit tutulabilir. Zaman serisi verilerde ise geleceğin geçmişi tahmin etmesini önlemek için kronolojik bölme tercih edilmelidir. Çapraz doğrulama ile daha sağlam bir performans tahmini elde edilebilir. Test verisi model geliştirme sürecinde defalarca kullanılmamalıdır. Aksi halde model dolaylı olarak test verisine aşırı uyum gösterir. Ayrı bir validasyon verisi bu sorunu azaltmak adına kullanışlı bir çözümdür. Sonuç olarak doğru bir veri ayrımı, tutarlı ve tekrarlanabilir sonuçların temelini oluşturur.

Veri hazırlama temel bilgiler

Yapay zeka modellerinde dataset hazırlama adımı, modelin başarısını doğrudan etkileyen önemli bir aşamadır. Ham veriler çoğu zaman eksik değerler, gürültülü kayıtlar, tutarsız biçimler ve çeşitli ölçeklerdeki sayısal alanlar içerir. Bu nedenle veri bilimcileri, modele girdi sağlamadan önce bilgileri hazırlamak zorundadır. Temizleme aşamasında aynı kayıtlar ayıklanır ve geçersiz değerler yeniden hesaplanır. Eksik veriler için ortalama, medyan veya mod gibi teknikler kullanılabilir. Kategorik değişkenler ise one-hot kodlama veya etiket kodlama gibi makine okunabilir biçimlere dönüştürülür. Bu temel adımlar tamamlandığında veri seti, eğitim sürecine emin adımlarla aktarılabilecek kaliteye ulaşır.

Tipik yapılan sorunlar

Ön işleme sürecinde özellikle karşılaşılan sorunlardan biri, verinin model kurma ve test parçalarına bölünmeden önce ölçeklendirilmesidir. Bu durum, test verisinden bilgi sızmasına yol açar ve modelin olduğundan iyi performansını yanıltıcı kılar. Bir diğer yaygın hata ise aykırı değerlerin incelenmeden silinmesi veya körü körüne korunmasıdır. Oysa bazı aykırı değerler yanlış giriş olabileceği gibi gerçek bir durumu da işaret edebilir. Ayrıca kategorik sütunların dengesiz kodlanması, sayısal özelliklerin gereksiz ölçeklenmesi ve belgelenmemiş dönüşüm adımları, güvenilirliği ciddi biçimde zayıflatır. Bu hataların önemli bölümü dikkatli bir veri incelemesi ile önlenebilir.

Uzman tavsiyeler ve en iyi yöntemler

Deneyimli veri uzmanları, ön işleme akışını mümkün olduğunca otomatikleştirmeyi ve bunu yeniden çalıştırılabilir bir yapıya oturtmayı önerir. Scikit-learn gibi kütüphanelerde boru hattı yapıları kullanıldığında, dönüşümler salt eğitim verisi üzerinde öğrenilir ve test verisine aynen uygulanır. Bu yaklaşım veri sızıntısını büyük ölçüde engeller. Ayrıca her dönüşüm adımının amacını açıklayan kısa notların tutulması, ekip içi paylaşımı kolaylaştırır. Veri doğruluğunu izlemek için dağılım grafikleri, eksik değer oranları ve özet istatistikler düzenli olarak incele edilmelidir. Son olarak, sınırlı bir alt küme üzerinde hızlı denemeler yapmak, büyük veri setinde zaman ve işlem gücü kaybını azaltır.

Veri hazırlama bütçesi ve ekonomik dengesi

Veri ön işleme gideri, projenin toplam bütçesi içinde öngörülenden daha büyük bir pay tutabilir. Veri edinme süreçlerinde operatör emeği, işaretleme hizmetleri ve bulut altyapısı maliyetleri birlikte hesaplanmalıdır. Küçük bir ekip için açık kaynak araçlarla başlamak mümkündür, ancak veri hacmi arttıkça dağıtık işleme ve saklama çözümlerine talep duyulabilir. Bütçe planlamasında insan saatleri, araç giderleri ve düzeltme ihtimali dikkate katılmalıdır. Bu sayede proje, ani maliyet artışlarına karşı daha sağlam hale gelir.

Takvim faktörü ve planlama yaklaşımları

Veri ön işleme faaliyetlerinin takvimi, özellikle mevsimsel desen gösteren veri kümelerinde önemli bir rol sahiptir. Örneğin perakende satış verilerinde bayram dönemlerine ait gözlemler ayrı özel şekilde işlenmelidir, aksi halde model yıllık örüntüleri yanlış yorumlayabilir. Zaman serisi verilerinde ise eksik gözlemlerin doldurulması için doğrusal enterpolasyon gibi seçenekler tercih edilebilir. Veri yenileme sıklığı da takvim kararlarında yönlendirici olur; günlük, haftalık veya yıllık güncellemeler, modelin ihtiyacına göre seçilmelidir. Böylece ön işleme süreci hem taze hem de kararlı sonuçlar üretebilir.

Yaygın yöneltilen kaygılar

Ön işleme bakımından en çok sorulan sorulardan birisi biri, ne kadar işlem yapılması gerektiğidir. Cevap çoğu durumda modelin hedefine ve verinin kaynağına bağlıdır; aşırı temizlik bazen önemli bilgileri yok edebilir. Bir diğer tipik soru, hangi türde ölçeklendirme yönteminin tercih edileceğidir. Standartlaştırma, aykırı değerlere karşı oldukça duyarlıdır; bu nedenle dağılımın çarpık olduğu durumlarda min-max ölçeklendirme veya robust yöntemler daha iyi olabilir. Son olarak, ön işleme basamaklarının ne zaman yeniden yapılması gerektiği sorulur; yeni veri geldiğinde veya veri kaynağında köklü bir değişiklik gözlendiğinde bu işlemler yeniden değerlendirilmeli.