Paylaşım , Takip İçin
Destek vektör makinesi algoritması
- Destek vektör makineleri (destek vektör ağları olarak da isimlendirilir) sınıflandırma ve regresyon analizi ile uyumlu bir denetimli öğrenme algoritmasıdır.
- İlk olarak Vapnik ve arkadaşları tarafından AT&T Bell laboratuvarlarında geliştirilmiştir (1977).
- Destek vektör makineleri en güçlü tahmin yöntemlerinden biridir. Bu nedenle de bugüne kadar birçok problemin çözümünde kullanılmıştır.
- Doğrusal sınıflandırma yapmak üzere geliştirilen algoritma daha sonra doğrusal olmayan uzaylar için de kullanılmıştır (kernel fonksiyonları yardımıyla).
- Algoritma kümeleme işlemleri için de sonraki yıllarda uyarlanmıştır. Support vector clustering adını alan algoritma destek vektör makineleri mantığı ile kümeleme yapmaktadır.
Destek vektör makineleri
- Çok boyutlu bir uzayda verileri optimum şekilde birbirinden ayıran hiper düzlemlere (doğrusal ayırıcılara) destek vektör makineleri, hiper düzleme en yakın örneklere ise destek vektörleri adı verilir.
HİPER DÜZLEM (KARAR) Sınırı
Ayırıcı sınırı (ρ) : destek vektörleri ile hiper düzlem arasındaki uzaklıktır.
Maksimum sınır sınıflandırması
- Marjin maksimizasyonunda sadece destek vektörleri önemlidir diğer eğitim örnekleri ihmal edilebilir.
Doğrusal SVM – matematiksel olarak
- Eğitim seti {(xi, yi)}i=1..n, xi e Rd, yi e {-1, 1} verileri ρ sınırına sahip hiper düzlem ile ayrılıyor olsun. O zaman her bir eğitim örneği şöyle verilir (xi, yi):
Eğer yi = -1 ise wTxi + b ≤ – ρ/2 Eğer yi =+1 ise wTxi + b ≥ +ρ/2 = yi(wTxi + b) ≥ ρ/2
Hiper düzlem seçimi
- Farklı sınıfları birbirinden ayırmak üzere birçok hiper düzlem verilmiş olabilir.
- En uygun hiper düzlemin seçimi algoritmanın başarısı için önemlidir.
- Yandaki senaryoya göre verileri birbirinden ayıran üç hiper-düzlem (A, B ve C) verilmiş olsun. Bu senaryo için en uygun hiper düzlem hangisidir?
En uygun hiper düzlem B’dir. Çünkü B hiper düzlemi verileri en uygun şekilde sınıflandırmaktadır.
Hiper düzlem seçimi
- A, B ve C çok boyutlu uzayda birbirine paralel ve üçü de elemanları birbirinden ayıran hiper düzlemler olmak üzere en uygun hiper düzlem hangisidir?
C düzlemi diğerlerine nispetle verileri daha başarılı şekilde ayırdığı ve marjini maksimize ettiği için seçilir.
Hiper düzlem seçimi
- Aşağıdaki hiper düzlemlerden hangisi seçilmelidir?
B hiper düzlemi marjin maksimizasyonuna uygundur fakat A hiper düzlemi doğru sınıflandırmayı verir.
Bu nedenle A hiper düzlemi seçilir.
Doğrusal ayrılamayan durum
Çözüm yeni bir boyut yardımıyla veriler doğrusal ayrılabilir hale getirilir
Doğrusal hale getirilmiş uzay
- z=x2+y2 dönüşümü ile z ekseni uzaya dahil edilir ve x ile z arasındaki uzay doğrusal hale getirilir. Sonra da doğrusal uzay üzerinde SVM çalıştırılır.
Kernel fonksiyonu
- SVM doğrusal durumlar için uygun bir sınıflayıcıdır. Doğrusal olmayan durumları doğrusal hale getirmek için kullanılan fonksiyonlara kernel fonksiyonları adı verilir.
Bir önceki makine öğrenmesi konusu için tıklayınız — Denetimsiz Öğrenim 2
Paylaşım , Takip İçin