Zaman Serileri Tahmininde Melez Bir Yaklaşım

Abstract

Bu çalışma, farklı karakteristik örüntülere sahip zaman serilerinin analizi için derin öğrenme (ing: deep learning) ve meta-sezgisel (ing: meta-heuristic) yöntemlerin birlikte kullanıldığı melez bir çerçeve uygulamasıdır. Bu melez çerçeve, Parçacık Sürü Optimizasyonu (ing: Particle Swarm Optimization) ve Uzun Kısa Süreli Bellek (ing: Long Short-Term Memory) yöntemlerini bir araya getirmektedir. Geleneksel Uzun Kısa Süreli Bellek modellerinde kullanılan stokastik gradyan iniş (ing: Stochastic Gradient Descent) optimizasyon algoritmasının öğrenme oranı Parçacık Sürü Optimizasyonu meta-sezgiseli ile adaptif bir şekilde kullanılmasını içerir. Bu yaklaşım, farklı dillere ait Wikipedia web trafiği zaman serileri için etkin bir gelecek tahmini yaklaşımı sunmaktadır. Uzun Kısa Süreli Bellek, derin öğrenme yöntemlerinden biridir ve zaman serilerinin bağlamsal bağımlılıklarını modellemek için kullanılır. Parçacık Sürü Optimizasyonu, toplum tabanlı bir optimizasyon algoritmasıdır ve derin öğrenme mimarilerinin eğitimi ve hiper-parametre ayarlarında başarılı bir şekilde yaygın olarak kullanılmaktadır. Bu yöntem, gelecek tahmini için en iyi parametre değerlerini bulmak için kullanılan bir optimizasyon süreci sağlamaktadır. Uzun Kısa Süreli Bellek modeli için hiper-parametreler arasında birim sayısı, öğrenme oranı, iterasyon sayısı gibi değerler bulunurken, Parçacık Sürü Optimizasyonu algoritması için ise kendilik faktörü, sosyal faktör, sürü ağırlık faktörü, parçacık sayısı, iterasyon sayısı gibi parametreler önemlidir. Bu hiper-parametrelerin doğru bir şekilde seçilmesi, modelin veri kümesine uyum sağlaması ve aşırı öğrenme (ing: overfitting) ya da eksik öğrenme (ing: underfitting) gibi sorunların önlenmesi açısından hayati önem taşır. Bu çalışmada, zaman serisi analizi için farklı Uzun Kısa Süreli Bellek yapıları ve optimizasyon yöntemleri kullanılarak performans değerlendirmesi yapılmıştır. Yöntemler web trafik zaman serisi verisi üzerinde uygulanmıştır. İlk olarak, Tek Yönlü Uzun Kısa Süreli Bellek modeliyle deneyler gerçekleştirilmiştir. Ardından, Çift Yönlü ve çok katmanlı Uzun Kısa Süreli Bellek modelleri de değerlendirilmiştir. Elde edilen sonuçlar incelendiğinde, Tek Yönlü Uzun Kısa Süreli Bellek modelinin en düşük Ortalama Kare Hatası (ing: Mean Squared Error) değerini verdiği gözlemlenmiştir. Uzun Kısa Süreli Bellek modeli deneyinde Stokastik Gradyan İniş (ing: Stochastic Gradient Descent) optimizasyon algoritmasının yüksek iterasyonlarda iyi sonuçlar verdiği sonucu elde edilmiştir. Ancak düşük iterasyonlarda daha iyi sonuçlar elde etmek için Parçacık Sürü Optimizasyonu-Uzun Kısa Süreli Bellek melez yöntemi kullanılarak öğrenme oranı değiştirilmiştir. Parçacık Sürü Optimizasyonu algoritması, hiper-parametre optimizasyonu ile en uygun öğrenme oranı belirlenmiştir. Elde edilen sonuçlar, Parçacık Sürü Optimizasyonu ve Uzun Kısa Süreli Bellek kullanarak yapılan analizin diğer geleneksel yöntemlere kıyasla daha iyi performans gösterdiğini göstermektedir. Özellikle, MSE hata metrikleri açısından, melez Parçacık Sürü Optimizasyonu-Uzun Kısa Süreli Bellek yönteminin daha düşük hata değerleri elde ettiği gözlenmiştir. Bu durum, melez yöntemin zaman serisi verilerinin modellemesi ve gelecek tahminleri için daha etkili bir kombinasyon sunduğunu göstermektedir. Bu çalışma, farklı Uzun Kısa Süreli Bellek yapıları ve optimizasyon yöntemlerinin zaman serisi analizindeki performanslarının değerlendirilmesi açısından önemli bir katkı sağlamaktadır. Farklı hiper-parametre değerlerinin denendiği bir yaklaşım, hem Uzun Kısa Süreli Bellek hem de Parçacık Sürü Optimizasyonu ile elde edilen sonuçların daha güvenilir ve daha iyi performanslı olmasını sağlayabilir. Bu şekilde, modelin genel performansını iyileştirmek ve veri kümesine en uygun modeli elde etmek için daha kapsamlı bir araştırma yapılabilir.

This study presents a hybrid framework that combines deep learning and metaheuristic methods for the analysis of time series with different characteristic patterns. The hybrid framework integrates Particle Swarm Optimization (PSO) and Long Short-Term Memory (LSTM) methods. It involves the adaptive use of the stochastic gradient descent optimization algorithm used in traditional Long Short Term Memory models with the learning rate Particle Swarm Optimization meta-heuristic. This approach provides an efficient future forecasting approach for Wikipedia web traffic time series of different languages. LSTM is one of the DL methods used to model contextual dependencies in time series. PSO, on the other hand, is a metaheuristic optimization method widely used for time series analysis. This method provides an optimization process to find the best parameter values for future predictions. For the LSTM model, hyperparameters such as the number of units, learning rate, and number of iterations are important, while for the PSO algorithm, parameters like individuality factor, social factor, swarm weight factor, number of particles, and number of iterations are crucial. Properly selecting these hyperparameter values is of vital importance to ensure the model fits the dataset and prevent issues such as overfitting or underfitting. In this study, performance evaluation was conducted using different LSTM architectures and optimization methods for time series analysis. The methods were applied to web traffic time series data. Firstly, experiments were carried out using the Unidirectional LSTM model. Subsequently, Bidirectional LSTM and Multilayer LSTM models were also evaluated. Upon examining the results, it was observed that the Unidirectional LSTM model provided the lowest Mean Squared Error (MSE) values. In the experiments with the LSTM model, it was observed that the Stochastic Gradient Descent (SGD) optimization algorithm yielded good results in high iterations. However, to achieve better results in low iterations, the PSO-LSTM hybrid method was employed by adjusting the learning rate. The PSO algorithm was used for hyperparameter optimization to determine the optimal learning rate. The obtained results demonstrate that the analysis performed using PSO and LSTM outperformed other traditional methods in terms of performance. Especially in terms of MSE error metrics, it has been observed that the hybrid PSO-LSTM method achieves lower error values. This finding indicates that the hybrid approach provides a more effective combination for modeling time series data and making future predictions. This study makes a significant contribution to the evaluation of different LSTM architectures and optimization methods for time series analysis. The approach of trying different hyperparameter values can lead to more reliable and better-performing results for both LSTM and PSO. By doing so, a more comprehensive research can be conducted to improve the overall performance of the model and obtain the most suitable model for the dataset.