Ekim 19, 2021
11 11 11 ÖÖ
TCP nedir ? Aktarım Katmanı 2
Aktarım Katmanı Tcp Nedir
Yönlendirme Nedir 2 ?
Yönlendirme Nedir ?
Ağ Katmanı Nedir 2 ?
Ağ Katmanı Nedir ?
Veri Bağı Katmanı Nedir 2 ?
Android Studio Nasıl Kurulur ?
Veri Bağı Katmanı Nedir ?
Fiziksel Katman Nedir ?
Son Yazılar
TCP nedir ? Aktarım Katmanı 2 Aktarım Katmanı Tcp Nedir Yönlendirme Nedir 2 ? Yönlendirme Nedir ? Ağ Katmanı Nedir 2 ? Ağ Katmanı Nedir ? Veri Bağı Katmanı Nedir 2 ? Android Studio Nasıl Kurulur ? Veri Bağı Katmanı Nedir ? Fiziksel Katman Nedir ?
veri ön işleme

Model Değerlendirme Nedir ?

Paylaşım , Takip İçin

Model Değerlendirme Nedir ?

  • Model değerlendirme aynı görevi yerine getiren tahmin yöntemleri arasında en başarılı olanı bulmaya odaklanmış çalışmaya verilen isimdir.
  • Örneğin, kalp krizi teşhisinde MLP algoritması ile Naive Bayes algoritmasını karşılaştırıp hangisinin daha uygun olduğunu söylemek bir model değerlendirme görevidir.

Model Değerlendirme Ölçümleri

  • Model değerlendirme için aşağıdaki ölçümler kullanılır:
    • Doğruluk (Accuracy)
    • Maliyet (Cost)
    • Kesinlik (Precision)
    • Hassasiyet (Recall)
    • F ölçümü (F-measure)
    • Ağırlıklı doğruluk (Weighted accuracy)
    • ROC analizi (ROC analysis)

Model Değerlendirme Parametreleri

  • Model değerlendirme modelin tahmin başarısını ölçmeye odaklanır. Önemli üç parametresi aşağıdaki gibidir:
    • Sınıflandırma doğruluğu
    • Sınıflandırma hızı
    • Hatalı sınıflandırma maliyeti

Karıştırma (confusion) matrisi

model değerlendirme

a: TP (True Positive) b: FN (False Negative)

c: FP (False Positive) d: TN (True Negative)

Doğruluk (Accuracy) Ölçümü

model değerlendirme

Doğruluğun limitleri

  • 2 sınıflı bir problem varsayalım
    • Class 0 örnek sayısı = 9990
    • Class 1 örnek sayısı = 10
  • Eğer model her şeyi class 0 olarak tahmin ederse doğruluk 9990/10000 = 99.9 % olur.
    • Class 1 örneklerinden hiç biri tespit edilmediği halde doğruluk bilgisi bizi yanıltabilir.

Maliyet matrisi

model değerlendirme

Doğruluk (Accuracy) bilgisi tek başına yeterli olmadığı için maliyet bilgisi de model değerlendirme için kullanılabilir.

Kesinlik ve Hassasiyet Örneği

  • Örnek senaryomuz şöyle olsun:
    • Gerçekten kanser olanların 100 tanesi kanser olarak tahmin edilmiştir.
    • Kanser olmayanların 20 tanesi kanser olarak tahmin edilmiştir.
    • Kanser olanların 10 tanesi kanser değil diye tahmin edilmiştir.
    • Kanser olmayan 50 kişi kanser değil olarak tahmin edilmiştir

Precision = a/(a+c)=100/(100+20)=100/120

Recall = a/(a+b)=100/(100+10)=100/110

F-measure=(2*(100/120)*(100/110))/(100/120+100/110)

Accuracy=(a+d)/(a+b+c+d)=(150)/(180)

Error=1-Accuracy=30/180

a -> TP b -> FN c -> FP d -> TN

Ağırlıklı doğruluk

  • Her bir tanımanın eşit derecede önemli olmadığı durumlarda karşımıza çıkar. Hatalı sınıflandırma ile doğru sınıflandırma maliyetleri genellikle farklıdır.

Model başarısına etki eden faktörler

  • Bir modelin performansı öğrenim algoritmasının gerisinde diğer faktörlere bağlı olabilir:
    • Sınıf dağılımı
    • Hatalı sınıflandırma maliyeti
    • Eğitim ve test setlerinin boyutu

Öğrenme eğrisi

Öğrenim eğrisi çeşitli boyutlarda doğruluğun nasıl değiştiğini verir.

ROC (Receiver Operating Characteristic) Analizi

  • 1950li yıllarda gürültülü sinyalleri analiz etmede kullanılan sinyal tespiti teorisi için geliştirilmiştir.
  • ROC eğrisi FP (x koordinatında)’ye karşı TP(y koordinatında)’yi çizer
  • Her bir sınıflayıcının performansı ROC eğrisinde noktalar olarak sunulur
    • Algoritma eşiğinin değişimi, örnek dağılımı veya maliyet matrisi noktanın yerini değiştirir.

ROC eğrisi

  • İki sınıflı problemler için tasarlanmıştır (pozitif ve negatif)
  • Her bir nokta x>t iken pozitif olarak sınıflanır.

Model karşılaştırma için ROC analizi

  • Sürekli olarak hiçbir model diğerinden daha üstün değildir
  • M1, küçük FP oranı için daha iyidir.
  • M2 daha büyük FP oranı için daha iyidir.
  • ROC eğrisi altındaki alan
  • Ideal alan = 1
  • Ortalama alan = 0.5
model

Bir önceki veri madenciliği konusu için tıklayınız — Olap Analizi Nedir ?


Paylaşım , Takip İçin
5 1 vote
Article Rating

Bir Cevap Yazın

0 Yorum
Inline Feedbacks
View all comments
0
Would love your thoughts, please comment.x
()
x
HAYALİNDEKİ YAZILIM
%d blogcu bunu beğendi: