View in EDS

Count time series analysis of jobs scheduling in the hybrid supercomputer center

Bibliographic Details
Title: Count time series analysis of jobs scheduling in the hybrid supercomputer center
Authors: Malov, Sergey, Lukashin, Alexey
Publisher Information: Computing, Telecommunication and Control, 2024.
Publication Year: 2024
Subject Terms: generalized estimating equations, multiple comparisons, планирование задач, обобщенные уравнения оценки, множественные сравнения, суперкомпьютерный кластер, supercomputer cluster, autoregressive conditional Poisson model, count time series, пуассоновская условно авторегрессионная модель, job scheduling, дискретные временные ряды
Description: Повышение эффективности использования суперкомпьютерных центров является крайне важной задачей, особенно в условиях растущего спроса на высокопроизводительные вычисления и дефицит суперкомпьютерных ресурсов. Статистический анализ результатов различных показателей функционирования суперкомпьютера направлен на создание моделей управления вычислительными ресурсами и формирование базы для использования методов искусственного интеллекта. Целью данного исследования является изучение входящего потока заявок пользователей, во многом определяющего загрузку ресурсов суперкомпьютера. Для анализа входящего потока заявок пользователей используются обобщенные линейные модели и обобщенные уравнения оценивания, а также пуассоновская авторегрессионная модель, применение которых позволяет учитывать зависимость наблюдений и эффект избыточной дисперсии. По результатам наблюдений за работой суперкомпьютера получены оценки временного тренда, а также показатели изменений интенсивности потока заявок в рамках недельного и годового циклов с классификацией по областям знаний и вычислительным комплексам. Установлены показатели статистической значимости изменений в рамках недельного и годового цикла с учетом данной классификации. В результате углубленного анализа с использованием методов множественного сравнения получены статистически значимые порядки главных эффектов недельного и годового факторов.
Increasing the efficiency of supercomputer centers is an extremely important task, especially in the context of growing demand for high-performance computing and a shortage of supercomputer resources. Statistical analysis of the results of various indicators of supercomputer performance is aimed at creating models of computing resource management and forming a basis for using artificial intelligence methods. The purpose of this research is to study the incoming flow of user requests (jobs), which largely determines the load on supercomputer resources. To analyze the incoming flow of user jobs, generalized linear models and generalized estimating equations, as well as the autoregressive conditional Poisson model, were used. It allowed taking into account the dependence of observations and the effect of overdispersion. Based on the results of supercomputer operation observations, estimates of the time trend were obtained, as well as indicators of changes in the intensity of the job flow within weekly and annual cycles with classification by areas of expertise and computing clusters. Indicators of statistical significance of changes within the weekly and annual cycles were established. As a result of an advanced statistical analysis using multiple comparison methods, statistically significant orders of the main effects of the weekly and annual factors were obtained.
Document Type: Other literature type
Language: English
DOI: 10.18721/jcstcs.17304
Accession Number: edsair.doi...........61b7b79dc9912ce1ee154e5f6430f79c
Database: OpenAIRE
FullText Text:
  Availability: 0
Header DbId: edsair
DbLabel: OpenAIRE
An: edsair.doi...........61b7b79dc9912ce1ee154e5f6430f79c
RelevancyScore: 836
AccessLevel: 3
PubType:
PubTypeId: unknown
PreciseRelevancyScore: 836.415405273438
IllustrationInfo
Items – Name: Title
  Label: Title
  Group: Ti
  Data: Count time series analysis of jobs scheduling in the hybrid supercomputer center
– Name: Author
  Label: Authors
  Group: Au
  Data: <searchLink fieldCode="AR" term="%22Malov%2C+Sergey%22">Malov, Sergey</searchLink><br /><searchLink fieldCode="AR" term="%22Lukashin%2C+Alexey%22">Lukashin, Alexey</searchLink>
– Name: Publisher
  Label: Publisher Information
  Group: PubInfo
  Data: Computing, Telecommunication and Control, 2024.
– Name: DatePubCY
  Label: Publication Year
  Group: Date
  Data: 2024
– Name: Subject
  Label: Subject Terms
  Group: Su
  Data: <searchLink fieldCode="DE" term="%22generalized+estimating+equations%22">generalized estimating equations</searchLink><br /><searchLink fieldCode="DE" term="%22multiple+comparisons%22">multiple comparisons</searchLink><br /><searchLink fieldCode="DE" term="%22планирование+задач%22">планирование задач</searchLink><br /><searchLink fieldCode="DE" term="%22обобщенные+уравнения+оценки%22">обобщенные уравнения оценки</searchLink><br /><searchLink fieldCode="DE" term="%22множественные+сравнения%22">множественные сравнения</searchLink><br /><searchLink fieldCode="DE" term="%22суперкомпьютерный+кластер%22">суперкомпьютерный кластер</searchLink><br /><searchLink fieldCode="DE" term="%22supercomputer+cluster%22">supercomputer cluster</searchLink><br /><searchLink fieldCode="DE" term="%22autoregressive+conditional+Poisson+model%22">autoregressive conditional Poisson model</searchLink><br /><searchLink fieldCode="DE" term="%22count+time+series%22">count time series</searchLink><br /><searchLink fieldCode="DE" term="%22пуассоновская+условно+авторегрессионная+модель%22">пуассоновская условно авторегрессионная модель</searchLink><br /><searchLink fieldCode="DE" term="%22job+scheduling%22">job scheduling</searchLink><br /><searchLink fieldCode="DE" term="%22дискретные+временные+ряды%22">дискретные временные ряды</searchLink>
– Name: Abstract
  Label: Description
  Group: Ab
  Data: Повышение эффективности использования суперкомпьютерных центров является крайне важной задачей, особенно в условиях растущего спроса на высокопроизводительные вычисления и дефицит суперкомпьютерных ресурсов. Статистический анализ результатов различных показателей функционирования суперкомпьютера направлен на создание моделей управления вычислительными ресурсами и формирование базы для использования методов искусственного интеллекта. Целью данного исследования является изучение входящего потока заявок пользователей, во многом определяющего загрузку ресурсов суперкомпьютера. Для анализа входящего потока заявок пользователей используются обобщенные линейные модели и обобщенные уравнения оценивания, а также пуассоновская авторегрессионная модель, применение которых позволяет учитывать зависимость наблюдений и эффект избыточной дисперсии. По результатам наблюдений за работой суперкомпьютера получены оценки временного тренда, а также показатели изменений интенсивности потока заявок в рамках недельного и годового циклов с классификацией по областям знаний и вычислительным комплексам. Установлены показатели статистической значимости изменений в рамках недельного и годового цикла с учетом данной классификации. В результате углубленного анализа с использованием методов множественного сравнения получены статистически значимые порядки главных эффектов недельного и годового факторов.<br />Increasing the efficiency of supercomputer centers is an extremely important task, especially in the context of growing demand for high-performance computing and a shortage of supercomputer resources. Statistical analysis of the results of various indicators of supercomputer performance is aimed at creating models of computing resource management and forming a basis for using artificial intelligence methods. The purpose of this research is to study the incoming flow of user requests (jobs), which largely determines the load on supercomputer resources. To analyze the incoming flow of user jobs, generalized linear models and generalized estimating equations, as well as the autoregressive conditional Poisson model, were used. It allowed taking into account the dependence of observations and the effect of overdispersion. Based on the results of supercomputer operation observations, estimates of the time trend were obtained, as well as indicators of changes in the intensity of the job flow within weekly and annual cycles with classification by areas of expertise and computing clusters. Indicators of statistical significance of changes within the weekly and annual cycles were established. As a result of an advanced statistical analysis using multiple comparison methods, statistically significant orders of the main effects of the weekly and annual factors were obtained.
– Name: TypeDocument
  Label: Document Type
  Group: TypDoc
  Data: Other literature type
– Name: Language
  Label: Language
  Group: Lang
  Data: English
– Name: DOI
  Label: DOI
  Group: ID
  Data: 10.18721/jcstcs.17304
– Name: AN
  Label: Accession Number
  Group: ID
  Data: edsair.doi...........61b7b79dc9912ce1ee154e5f6430f79c
PLink https://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsair&AN=edsair.doi...........61b7b79dc9912ce1ee154e5f6430f79c
RecordInfo BibRecord:
  BibEntity:
    Identifiers:
      – Type: doi
        Value: 10.18721/jcstcs.17304
    Languages:
      – Text: English
    Subjects:
      – SubjectFull: generalized estimating equations
        Type: general
      – SubjectFull: multiple comparisons
        Type: general
      – SubjectFull: планирование задач
        Type: general
      – SubjectFull: обобщенные уравнения оценки
        Type: general
      – SubjectFull: множественные сравнения
        Type: general
      – SubjectFull: суперкомпьютерный кластер
        Type: general
      – SubjectFull: supercomputer cluster
        Type: general
      – SubjectFull: autoregressive conditional Poisson model
        Type: general
      – SubjectFull: count time series
        Type: general
      – SubjectFull: пуассоновская условно авторегрессионная модель
        Type: general
      – SubjectFull: job scheduling
        Type: general
      – SubjectFull: дискретные временные ряды
        Type: general
    Titles:
      – TitleFull: Count time series analysis of jobs scheduling in the hybrid supercomputer center
        Type: main
  BibRelationships:
    HasContributorRelationships:
      – PersonEntity:
          Name:
            NameFull: Malov, Sergey
      – PersonEntity:
          Name:
            NameFull: Lukashin, Alexey
    IsPartOfRelationships:
      – BibEntity:
          Dates:
            – D: 01
              M: 01
              Type: published
              Y: 2024
          Identifiers:
            – Type: issn-locals
              Value: edsair
ResultId 1