Report
EFFICIENT STREAM DATA PROCESSING FOR BACKEND MODEL TRAINING
| Title: | EFFICIENT STREAM DATA PROCESSING FOR BACKEND MODEL TRAINING |
|---|---|
| Authors: | I.A. Kuznetcov |
| Publisher Information: | Международный журнал гуманитарных и естественных наук, 2024. |
| Publication Year: | 2024 |
| Subject Terms: | машинное обучение (МО), обработка потоковых данных (ОПД), machine learning (ML), stream data processing (SDP), microservice architecture, оптимизация производительности, микросервисная архитектура, архитектурные решения, architectural solutions, performance optimization |
| Description: | This paper examines approaches to stream data processing (SDP) for training machine learning (ML) models on the backend. Architectural solutions, including Lambda and Kappa architectures as well as microservice approaches, are explored with a focus on their advantages and limitations under modern conditions. Tools such as Apache Kafka, Apache Flink, and Apache Spark Streaming are analyzed, emphasizing their applicability to various data processing tasks. Special attention is given to performance optimization methods, including the use of online learning and incremental learning algorithms, data compression, efficient serialization, and resource management. The article presents examples of technology implementation demonstrating their practical value. В данной статье рассматриваются подходы к обработке потоковых данных (ОПД) для обучения моделей машинного обучения (МО) на backend. Исследуются архитектурные решения, включая Лямбдаи Каппа-архитектуры, а также микросервисные подходы, их преимущества и ограничения в современных условиях. Анализируются инструменты, такие как Apache Kafka, Apache Flink и Apache Spark Streaming, с акцентом на их применимость к различным задачам обработки данных. Особое внимание уделяется методам оптимизации производительности, включая использование алгоритмов online learning и incremental learning, сжатие данных, эффективную сериализацию и управление ресурсами. В статье представлены примеры внедрения технологий, которые демонстрируют их практическую ценность. |
| Document Type: | Research |
| DOI: | 10.24412/2500-1000-2024-11-2-223-229 |
| Rights: | CC BY |
| Accession Number: | edsair.doi...........4d415d9af136b0b0c3483f67f9c4b46a |
| Database: | OpenAIRE |
| DOI: | 10.24412/2500-1000-2024-11-2-223-229 |
|---|