ML modelinin rastgele sınıflandırmadan daha kötü performans göstermesi mümkün mü?

İki sınıfla tek değişkenli bir hedefi tahmin etmek için ikili veriye sahip bir matrise farklı makine öğrenme algoritmaları uygulamıştım.

  • rasgele orman (doğruluk = 62.01)
  • Sinir Ağı (acc = 58.9)
  • svm radyal çekirdeği (doğruluk = 58.02)
  • doğrusal diskriminant analizi (doğruluk = 57,9)
  • lojistik regresyon (doğruluk = 57.6).

Temel doğruluk 52.55. Ancak Naive Bayes'ın aynı ayarda olması durumunda, y'de yalnızca bir sınıfı tanımlayan sadece 48,5 doğruluk sağlar. tahmin.

Bir makine öğrenim modelinin rastgele bir sınıflandırmadan daha kötü davranması mümkün mü?

3

3 cevap

Evet mümkün.

Sadece modelin gürültüye göre ayarlanması anlamına gelir, bu yüzden "yanlış" özellikleri değerlendirir.

Bir benzetme olarak, rastgele basketbol oyunu sonuçlarını tahmin ediyor olsaydınız, muhtemelen daha az puan daha iyi olduğunu düşünen ve önceki oyunların skorlarına göre tahmin eden birinden daha iyi performans gösterirdiniz.

4
katma
NaiveBayes model sonucunu diğer model sonuçlarıyla birlikte rapor edebilir miyim? Yüksek lisans tezimde rapor vermem gerekiyor mu?
katma yazar product researcher, kaynak
Naive Bayes, bir sınıf olarak y.pred'i öngörüyor. Bu, modelin bir sınıfa doğru önyargılı olduğunu gösteren bir şeydir. Bu davranışı anlayamıyorum. Derslerim dengeli olsa da.
katma yazar product researcher, kaynak
Hayır Naive Nayes için parametreleri değiştirmedim. R dilinde senaryo yazdım
katma yazar product researcher, kaynak
Eh, kesinlikle CAN. Bu sadece Naive Bayes modelinin probleminiz için uygun olmadığı anlamına gelir. Yine de yapmalısın bilmiyorum. Bu bağlam hepsi senin!
katma yazar AMC, kaynak
Naif Bayes modeli için herhangi bir parametre değiştirdiniz mi? Senaryoyu hangi dilde yazdın?
katma yazar AMC, kaynak
Aynı verileri kullandıysanız ve parametreler yoksa, sadece Naive Bayes'in verileriniz için uygun olmadığını, modelleme tekniğinizde veya verilerinizde yanlış bir şey olmadığı anlamına gelir. Özellikle diğer modellerle 'normal' sonuç aldığınız düşünüldüğünde
katma yazar AMC, kaynak

Örneğin, bazı temel varsayımların ihlal edilmesi durumunda, modeliniz rastlantısal durumdan daha kötü olabilir, örneğin, temeliniz olarak kullanım doğruluğunuz veya gürültülü verileriniz vb. Olduğunda dengesiz bir ortamda.

Bununla birlikte, bir ikili ortamda, eğer sınıflarınız mükemmel bir şekilde dengelenmişse ve eğer sınıflandırıcınız sürekli olarak yanlış tahminler yapıyorsa (rastgele değil), modelinizi modelinizin tam tersini tahmin ederek her zaman daha iyi bir şekilde ayarlayabilirsiniz.

2
katma
Sınıflarım dengeli, her modeldeki özelliklerde ortak yönelimi kaldırmamıştım, bu yüzden tüm modeller için temel çerçeveyi aynı tutmuştum ama Naif Bayes için en kötü sonuçları elde ettim. Burada sadece bir sınıf öngören katma yazar product researcher, kaynak

Şey, kesinlikle. Son zamanlarda aynı sorunu yaşadım (ve burada sona erdi). Bu yüzden bir veri kümesini ve bağımsız bir etiketi simüle ettim ( makalenin tamamını burada okuyun )

Temel olarak, öğrenecek bir şey olmadığı zaman, modeliniz etiketle ilişkili olmayan tahminler üretecektir. Buna karşılık, bu tahminler (birçok kez tekrarlandığında), hata oranının ilginç bir dağılımını gösterir (bir doğrulama setinde değerlendirilen veya çapraz doğrulamayı kullanan).

Ancak, sizin durumunuzda, belirli bir modelin, diğerlerinin ilgili tahminleri gösterdiği gibi, doğru bir şekilde çalışmadığından çok şaşırdım.

1
katma