Research Article
BibTex RIS Cite

Bağlantısallık Probleminin Cezalı Regresyon Yöntemleri İle Giderilmesi

Year 2024, Volume: 01, 15 - 19, 25.01.2024

Abstract

Gelişen teknoloji ile yapay zekâ uygulamalarına olan ilgi artmış ve bu uygulamalar kurumların, akademik çalışmaların ilgi odağı olmuş-tur. Makine öğrenmesinde karar ağaçları ve yapay sinir ağları (artificial neural network) algoritmaları sıkça kullanılan yöntemler olsa da araştırma yapılan çalışmanın amacı veya kullanılan veri setlerine uygunluklarından dolayı regresyon modelleri de hala en çok kullanılan yöntemlerdendir. Ancak bazı regresyon modellerinde “Çoklu Doğrusal Bağlantı Problemi” olarak adlandırılan, bağımsız değişkenlerden iki veya daha fazlası arasında doğrusal ya da doğrusala yakın ilişki olması durumu ortaya çıkabilmektedir. Çoklu doğrusal bağlantı problemi(multicollinearity) ile karşılaşılan durumlarda Lasso Regresyon’u ve Ridge Regresyon’u gibi alternatif yöntemler ele alınabilir. Bu çalışmada Kaggle veri bankasında açık kaynak olarak sunulan öğrencilerin not performanslarının olduğu 1000 kayıttan oluşan bir veri seti kullanılmıştır. Veri setine, Python 3.8.5 yazılım dili kullanılarak sırasıyla Lineer Regresyon, Lasso Regresyon ve Ridge Reg-resyon makine öğrenmesi modelleri uygulanmıştır. Sonuç olarak, bu çalışmada cezalı regresyon yöntemlerinin denetimli makine öğren-mesine etkisi bir örnek üzerinde denenmiş ve sonuçları tartışılmıştır. Sistem üzerinde ayrı ayrı uygulanan modellerin performans değer-leri; Lineer Regresyonda “0,839”, Lasso Regresyonda “0,843” ve Ridge Regresyonda “0,846” olarak gerçekleşmiştir.

References

  • [1] Frisch, R., Statistical confluence analysis by means of complete regression systems. (No Title). (1934)
  • [2] Hoerl, A. E. and R. W. Kennard, Ridge regression: applications to nonorthogonal problems. Technometrics. 12, (1970) 69-82.
  • [3] Hoerl, A. E. and R. W. Kennard, Ridge regression: Biased estimation for nonorthogonal problems. Technometrics. 12, (1970) 55-67.
  • [4] Feigelson, E. D. and G. J. Babu, Linear regression in astronomy. II. Astrophysical Journal, Part 1 (ISSN 0004-637X), vol. 397, no. 1, p. 55-67. 397, (1992) 55-67.
  • [5] Su, X., X. Yan and C. L. Tsai, Linear regression. Wiley Interdisciplinary Reviews: Computational Statistics. 4, (2012) 275-294.
  • [6] Schneider, A., G. Hommel and M. Blettner, Linear regression analysis: part 14 of a series on evaluation of scientific publications. Deutsches Ärzteblatt International. 107, (2010) 776.
  • [7] Tibshirani, R., Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society Series B: Statistical Methodology. 58, (1996) 267-288.
  • [8] Hoerl, A. E., R. W. Kannard and K. F. Baldwin, Ridge regression: some simulations. Communications in Statistics-Theory and Methods. 4, (1975) 105-123.
  • [9] Marquardt, D. W. and R. D. Snee, Ridge regression in practice. The American Statistician. 29, (1975) 3-20.
  • [10] McDonald, G. C. and D. I. Galarneau, A Monte Carlo evaluation of some ridge-type estimators. Journal of the American Statistical Association. 70, (1975) 407-416.
  • [11] Hocking, R. R., A Biometrics invited paper. The analysis and selection of variables in linear regression. Biometrics. (1976) 1-49.
  • [12] JF, L. and W. P, A simulation study of ridge and other regression estimators. Communications in Statistics-Theory and Methods. 5, (1976) 307-323.
  • [13] Pasha, G. and M. Shah, Application of ridge regression to multicollinear data. Journal of research (Science). 15, (2004) 97-106.
  • [14] Dorugade, A. and D. Kashid, Alternative method for choosing ridge parameter for regression. Applied Mathematical Sciences. 4, (2010) 447-456.

Bağlantısallık Probleminin Cezalı Regresyon Yöntemleri İle Giderilmesi

Year 2024, Volume: 01, 15 - 19, 25.01.2024

Abstract

Gelişen teknoloji ile birlikte yapay zeka uygulamalarına olan ilgi artmış ve bu uygulamalar kurumların, akademik çalışmaların ilgi odağı olmuştur. Makine öğrenmesinde karar ağaçları ve yapay sinir ağları(artificial neural network) algoritmaları sıkça kullanılan yöntemler olsa da araştırma yapılan çalışmanın amacı veya kullanılan veri setlerine uygunluklarından dolayı regresyon modelleri de hala en çok kullanılan yöntemlerdendir. Ancak bazı regresyon modellerinde “Çoklu Doğrusal Bağlantı Problemi” olarak adlandırılan, bağımsız değişkenlerden iki veya daha fazlası arasında doğrusal ya da doğrusala yakın ilişki olması durumu ortaya çıkabilmektedir. Çoklu doğrusal bağlantı problemi(multicollinearity) ile karşılaşılan durumlarda Lasso Regresyon’u ve Ridge Regresyon’u gibi alternatif yöntemler ele alınabilir. Bu tezde Kaggle veri bankasında açık kaynak olarak sunulan öğrencilerin not performanslarının olduğu 1000 kayıttan oluşan bir veri seti kullanılmıştır. Veri setine, Python 3.8.5 yazılım dili kullanılarak sırasıyla Lineer Regresyon, Lasso Regresyon ve Ridge Regresyon makine öğrenmesi modelleri uygulanmıştır. Sonuç olarak, bu çalışmada cezalı regresyon yöntemlerinin denetimli makine öğrenmesine etkisi bir örnek üzerinde denenmiş ve sonuçları tartışılmıştır. Sistem üzerinde ayrı ayrı uygulanan modellerin performans değerleri; Lineer Regresyonda “0,839”, Lasso Regresyonda “0,843” ve Ridge Regresyonda “0,846” olarak gerçekleşmiştir..

References

  • [1] Frisch, R., Statistical confluence analysis by means of complete regression systems. (No Title). (1934)
  • [2] Hoerl, A. E. and R. W. Kennard, Ridge regression: applications to nonorthogonal problems. Technometrics. 12, (1970) 69-82.
  • [3] Hoerl, A. E. and R. W. Kennard, Ridge regression: Biased estimation for nonorthogonal problems. Technometrics. 12, (1970) 55-67.
  • [4] Feigelson, E. D. and G. J. Babu, Linear regression in astronomy. II. Astrophysical Journal, Part 1 (ISSN 0004-637X), vol. 397, no. 1, p. 55-67. 397, (1992) 55-67.
  • [5] Su, X., X. Yan and C. L. Tsai, Linear regression. Wiley Interdisciplinary Reviews: Computational Statistics. 4, (2012) 275-294.
  • [6] Schneider, A., G. Hommel and M. Blettner, Linear regression analysis: part 14 of a series on evaluation of scientific publications. Deutsches Ärzteblatt International. 107, (2010) 776.
  • [7] Tibshirani, R., Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society Series B: Statistical Methodology. 58, (1996) 267-288.
  • [8] Hoerl, A. E., R. W. Kannard and K. F. Baldwin, Ridge regression: some simulations. Communications in Statistics-Theory and Methods. 4, (1975) 105-123.
  • [9] Marquardt, D. W. and R. D. Snee, Ridge regression in practice. The American Statistician. 29, (1975) 3-20.
  • [10] McDonald, G. C. and D. I. Galarneau, A Monte Carlo evaluation of some ridge-type estimators. Journal of the American Statistical Association. 70, (1975) 407-416.
  • [11] Hocking, R. R., A Biometrics invited paper. The analysis and selection of variables in linear regression. Biometrics. (1976) 1-49.
  • [12] JF, L. and W. P, A simulation study of ridge and other regression estimators. Communications in Statistics-Theory and Methods. 5, (1976) 307-323.
  • [13] Pasha, G. and M. Shah, Application of ridge regression to multicollinear data. Journal of research (Science). 15, (2004) 97-106.
  • [14] Dorugade, A. and D. Kashid, Alternative method for choosing ridge parameter for regression. Applied Mathematical Sciences. 4, (2010) 447-456.
There are 14 citations in total.

Details

Primary Language Turkish
Subjects Reinforcement Learning
Journal Section Research Articles
Authors

Emel Ciğer 0009-0005-3947-2413

Evrim Ersin Kangal 0000-0001-5906-3143

Publication Date January 25, 2024
Submission Date January 18, 2024
Acceptance Date January 24, 2024
Published in Issue Year 2024 Volume: 01

Cite

Vancouver Ciğer E, Kangal EE. Bağlantısallık Probleminin Cezalı Regresyon Yöntemleri İle Giderilmesi. JOEBS. 2024;01:15-9.



Google Scholar                            Academic Resource Index                         Creative Commons Attribution 4.0 International License