Öz
Teknolojinin gün geçtikçe gelişmesiyle birlikte hayatımızdaki yeri ve önemi artmaktadır. Gelişen teknoloji, birçok cihazın birbirleriyle ve insanlarla olan etkileşimini arttırmıştır. Bu etkileşimin sonucunda ortaya büyük miktarda veri çıkmaktadır. Gerçek zamanlı üretilen bu veriler, üretildiği anda değerlidir. Özellikleri gereği sıralı, değişik boyutlarda ve düzensiz periyotlarda elde edilen bu veriler, akan veri olarak tanımlanmıştır. Akan veriler, hemen işlenmezse değerini kaybedebilir veya tamamen kaybolabilir. Bu nedenle, yapılandırılmamış verileri sürekli olarak alıp analiz edebilen ölçeklenebilir sistemlerin geliştirilmesi önemlidir. Literatürdeki çalışmaların çoğu mevcut şartlarda sistemin nasıl çalışacağı konusuna yoğunlaşmıştır.
Bu çalışma kapsamında, yukarıdaki problemlerden yola çıkarak, akan veriyi makine öğrenme algoritmaları kullanılarak anlık olarak analiz edebilen ölçeklenebilir bir sistem tasarımı amaçlanmıştır. Geliştirilen sistem ve algoritmalar, gerçek veri ve yapay veriler ile çalıştırılarak değerlendirme metrikleriyle sonuçlar elde edilmiş, ölçeklenme durumu anlık olarak izlenmiştir. Yapılan simülasyon çalışması sonucundaki veriler değerlendirilerek literatüre ve gelecek çalışmalara ışık tutmak amaçlanmıştır.
Anahtar Kelimeler
Akan Veri İşleme Büyük Veri Makine Öğrenmesi CluStream-Kmeans++ Ölçekleme
Kaynakça
- Nittel S., 2015, Real-time Sensor Data Streams, Sigspatial Special, 7(2).
- Kolajo T., Daramola O. and Adebiyi A., 2019, Big Data Stream Analysis: A Systematic Literature Review, Journal of Big Data, 6(1), pp. 47.
- Krishnaswamy S., Gaber M. M. and Zaslavsky A., 2005, Mining Dat Streams: A Review, ACM Sigmod Record, 34(2), pp. 18-26.
- Jing G., Clay W., Jiawei K., Nikunj C., Mohamad M., Latifur K. and Kevin W, 2011, Facing the Reality of Data Stream Classification: Coping with Scarcity of Labeled Data, Knowledge and Information Systems, 33, pp. 213-214.
- Bifet A., Holmes G., Kirkby R. and Pfahringer B., 2011, Data Stream Mining a Practical Approach, https://moa.cms.waikato.ac.nz/downloads/, [Ziyaret tarihi: 15 Kasım 2020].
- Lindburg K., Stern R., Buddhika T., Pallicara S. and Ericson K., 2017, Online Scheduling and Interface Alleviation for Low-Latency, High-Troughput Processing of Data Streams, IEEE Transactions on Parallel and Distributed Systems, 28(12), pp. 3553-3569.
- Meng X., Wang C., Guo Q., Weng Z. and Yang C., 2017, Automating Characterization Deployment in Distributed Data Stream Management Systems, IEEE Transactions on Knowledge and Data Engineering, 29(12), pp. 2669 - 2681.
- Liu X. and Buyya R., 2019, Performance-oriented deployment of streaming applications on cloud, IEEE Tr. on Big Data, 5(1), pp. 46-59.
- Li C., Zhang J., Zhu L. and Liu Y., 2016, The Real-time Scheduling Strategy Based on Traffic and Load Balancing in Storm, IEEE 18th International Conference on High Performance Computing and Communications, pp. 372-279.
- Hulten G. and Domingos P., 2000, Mining high-speed data streams, In : Proceedings of the sixth ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 71-80.
- Li T., Xu J. and Tang J., 2015, A Predictive Scheduling Framework for Fast and Distributed Stream Data Processing, IEEE International Conference on Big Data, pp. 333-338.
- Sheikholeslami G., Chatterjee S. and Zhang A., 2000, WaveCluster: A Wavelet Based Clustering Approach for Spatial Data in Very Large Databases, The VLDB Journal, 8(3), pp. 289-304.
- Vassilvitskii S., Arthur D., 2007, k-means++: The advantages of careful seeding. In Proceedings of the eighteenth ACMSIAM Symposium on Discrete Algorithms, Society for Industrial and Applied Mathematics, pp. 1027-1035.
- Assent I., Kranen P., Baldauf C. and Seidl T., 2011, The ClusTree: Indexing micro-clusters for anytime stream mining, Knowledge and Information Systems, 29(2), pp. 249-272.
- Ester M., Cao F., Qian W. and Zhou A., 2006, Density-Based Clustering over an Evolving Data Stream with Noise, in Proceedings of the 2006 SIAM International Conference on Data Mining.
- [Singh A., 2017, An Efficient Hybrid- Clustream Algorithm for Stream Mining, 13th International Conference on Signal-Image Technology and Internet-Based Systems, pp. 430-436.
- Merino, J. A., 2015, Streaming Data Clustering in MOA using the Leader Algorithm, (Yüksek Lisans tezi, Universitat Politecnica De Catalunya, Facultat D’informatica De Barcelona).
- Machine Learning Repository, https://archive.ics.uci.edu/ml/datasets/covertye, Son erişim tarihi: 14.03.2022
Ayrıntılar
| Birincil Dil | Türkçe |
|---|---|
| Konular | Mühendislik |
| Bölüm | Makaleler(Araştırma) |
| Yazarlar | |
| Erken Görünüm Tarihi | 27 Haziran 2022 |
| Yayımlanma Tarihi | 27 Haziran 2022 |
| Yayımlandığı Sayı | Yıl 2022 Cilt: 15 Sayı: 1 |
Kaynak Göster
https://i.creativecommons.org/l/by-nc/4.0Makale Kabulü | |
Çevrimiçi makale yüklemesi yapmak için kullanıcı kayıt/girişini kullanınız. Dergiye gönderilen makalelerin kabul süreci şu aşamalardan oluşmaktadır: 1. Gönderilen her makale ilk aşamada en az iki hakeme gönderilmektedir. 2. Hakem ataması, dergi editörleri tarafından yapılmaktadır. Derginin hakem havuzunda yaklaşık 200 hakem bulunmaktadır ve bu hakemler ilgi alanlarına göre sınıflandırılmıştır. Her hakeme ilgilendiği konuda makale gönderilmektedir. Hakem seçimi menfaat çatışmasına neden olmayacak biçimde yapılmaktadır. 3. Hakemlere gönderilen makalelerde yazar adları kapatılmaktadır. 4. Hakemlere bir makalenin nasıl değerlendirileceği açıklanmaktadır ve aşağıda görülen değerlendirme formunu doldurmaları istenmektedir. 5. İki hakemin olumlu görüş bildirdiği makaleler editörler tarafından benzerlik incelemesinden geçirilir. Makalelerdeki benzerliğin %25’ten küçük olması beklenir. 6. Tüm aşamaları geçmiş olan bir bildiri dil ve sunuş açısından editör tarafından incelenir ve gerekli düzeltme ve iyileştirmeler yapılır. Gerekirse yazarlara durum bildirilir.
|
