Academic Journal
Query cost estimation and development of an application for processing resource-intensive queries
| Τίτλος: | Query cost estimation and development of an application for processing resource-intensive queries |
|---|---|
| Πηγή: | МОДЕЛИРОВАНИЕ, ОПТИМИЗАЦИЯ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ. 11:26-27 |
| Στοιχεία εκδότη: | Voronezh Institute of High Technologies, 2023. |
| Έτος έκδοσης: | 2023 |
| Θεματικοί όροι: | relational systems, select, эффективность индексов, statistics, cost estimation, реляционные системы, оптимизация запросов, оценка стоимости, index efficiency, статистика, query optimization |
| Περιγραφή: | Быстрый рост объема хранимых данных обусловливает необходимость интеграции инструментов мониторинга, анализа и оптимизации запросов к базам данных для своевременного и корректного установления наиболее ресурсоемких из них. Эти обстоятельства определяют актуальность разработки программных инструментов для оценки причин медленных запросов с формированием различных вариантов оптимизации. В данной работе исследованы причины, влияющие на ресурсоемкость запросов выборки данных. Показаны основания для медленных запросов, такие как качество собранной статистики, использования индексов, указаний плану запроса, структуры запроса, корректность настройки параметров инициализации базы данных, а также возможные варианты решения выявленных причин. Исследование представляет интерес с точки зрения объяснения основ физических операций, обеспечиваемых подсистемой выполнения запросов, которая интерпретирует процедурный план исполнения запроса, оптимизируя стоимость. Для решения задачи ускорения медленных запросов на основе корректного процедурного плана предлагается разработка приложения, учитывающего состав анализируемых стоимостных, объемных и временных характеристик запросов для их оптимизации. Описаны результаты тестирования разработанной системы, позволяющей повысить производительность запросов. Оценивалась скорость выполнения запроса по следующим метрикам: операция доступа к данным, стоимость выражения, стоимость операции ввода/вывода, время процессора, затраченное время на обработку всей выборки. Выполнение экспериментов по оценке корректности выявления медленных запросов подтверждает целесообразность применения на практике результатов проведенных исследований и разработанного приложения. Rapid growth of stored data volume necessitates integration of tools for monitoring, analysis and optimization of database queries for timely and correct identification of the most resource-intensive queries. These circumstances determine the relevance of developing software tools for assessing the causes of slow queries with the formation of various optimization options. This paper examines the reasons influencing the resource-intensive queries of data sampling. The reasons for slow queries are shown, such as the quality of collected statistics, use of indexes, hints, query structure, correctness of database initialization parameter settings, as well as possible solutions to the identified causes. The study is interesting from the point of view of explaining the basics of the physical operations provided by the query execution subsystem, which interprets the procedural plan of query execution to optimize the cost. To solve the problem of speeding up slow queries based on a correct procedural plan, we propose the development of an application that takes into account the composition of the analyzed cost, volume and time characteristics of queries to optimize them. The results of testing the developed system, which helps to improve the performance of queries, are described. The speed of query execution was evaluated by the following metrics: data access operation, expression cost, I/O operation cost, CPU time, time spent on processing the whole sample. Performing experiments to evaluate the correctness of identifying slow queries confirms the feasibility of applying in practice the results of the conducted research and the developed application. |
| Τύπος εγγράφου: | Article |
| Γλώσσα: | Russian |
| ISSN: | 2310-6018 |
| DOI: | 10.26102/2310-6018/2023.43.4.026 |
| Αριθμός Καταχώρησης: | edsair.doi...........f72f098ec24c68ad84ee6301098c4930 |
| Βάση Δεδομένων: | OpenAIRE |
| FullText | Text: Availability: 0 |
|---|---|
| Header | DbId: edsair DbLabel: OpenAIRE An: edsair.doi...........f72f098ec24c68ad84ee6301098c4930 RelevancyScore: 881 AccessLevel: 3 PubType: Academic Journal PubTypeId: academicJournal PreciseRelevancyScore: 880.533081054688 |
| IllustrationInfo | |
| Items | – Name: Title Label: Title Group: Ti Data: Query cost estimation and development of an application for processing resource-intensive queries – Name: TitleSource Label: Source Group: Src Data: <i>МОДЕЛИРОВАНИЕ, ОПТИМИЗАЦИЯ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ</i>. 11:26-27 – Name: Publisher Label: Publisher Information Group: PubInfo Data: Voronezh Institute of High Technologies, 2023. – Name: DatePubCY Label: Publication Year Group: Date Data: 2023 – Name: Subject Label: Subject Terms Group: Su Data: <searchLink fieldCode="DE" term="%22relational+systems%22">relational systems</searchLink><br /><searchLink fieldCode="DE" term="%22select%22">select</searchLink><br /><searchLink fieldCode="DE" term="%22эффективность+индексов%22">эффективность индексов</searchLink><br /><searchLink fieldCode="DE" term="%22statistics%22">statistics</searchLink><br /><searchLink fieldCode="DE" term="%22cost+estimation%22">cost estimation</searchLink><br /><searchLink fieldCode="DE" term="%22реляционные+системы%22">реляционные системы</searchLink><br /><searchLink fieldCode="DE" term="%22оптимизация+запросов%22">оптимизация запросов</searchLink><br /><searchLink fieldCode="DE" term="%22оценка+стоимости%22">оценка стоимости</searchLink><br /><searchLink fieldCode="DE" term="%22index+efficiency%22">index efficiency</searchLink><br /><searchLink fieldCode="DE" term="%22статистика%22">статистика</searchLink><br /><searchLink fieldCode="DE" term="%22query+optimization%22">query optimization</searchLink> – Name: Abstract Label: Description Group: Ab Data: Быстрый рост объема хранимых данных обусловливает необходимость интеграции инструментов мониторинга, анализа и оптимизации запросов к базам данных для своевременного и корректного установления наиболее ресурсоемких из них. Эти обстоятельства определяют актуальность разработки программных инструментов для оценки причин медленных запросов с формированием различных вариантов оптимизации. В данной работе исследованы причины, влияющие на ресурсоемкость запросов выборки данных. Показаны основания для медленных запросов, такие как качество собранной статистики, использования индексов, указаний плану запроса, структуры запроса, корректность настройки параметров инициализации базы данных, а также возможные варианты решения выявленных причин. Исследование представляет интерес с точки зрения объяснения основ физических операций, обеспечиваемых подсистемой выполнения запросов, которая интерпретирует процедурный план исполнения запроса, оптимизируя стоимость. Для решения задачи ускорения медленных запросов на основе корректного процедурного плана предлагается разработка приложения, учитывающего состав анализируемых стоимостных, объемных и временных характеристик запросов для их оптимизации. Описаны результаты тестирования разработанной системы, позволяющей повысить производительность запросов. Оценивалась скорость выполнения запроса по следующим метрикам: операция доступа к данным, стоимость выражения, стоимость операции ввода/вывода, время процессора, затраченное время на обработку всей выборки. Выполнение экспериментов по оценке корректности выявления медленных запросов подтверждает целесообразность применения на практике результатов проведенных исследований и разработанного приложения. Rapid growth of stored data volume necessitates integration of tools for monitoring, analysis and optimization of database queries for timely and correct identification of the most resource-intensive queries. These circumstances determine the relevance of developing software tools for assessing the causes of slow queries with the formation of various optimization options. This paper examines the reasons influencing the resource-intensive queries of data sampling. The reasons for slow queries are shown, such as the quality of collected statistics, use of indexes, hints, query structure, correctness of database initialization parameter settings, as well as possible solutions to the identified causes. The study is interesting from the point of view of explaining the basics of the physical operations provided by the query execution subsystem, which interprets the procedural plan of query execution to optimize the cost. To solve the problem of speeding up slow queries based on a correct procedural plan, we propose the development of an application that takes into account the composition of the analyzed cost, volume and time characteristics of queries to optimize them. The results of testing the developed system, which helps to improve the performance of queries, are described. The speed of query execution was evaluated by the following metrics: data access operation, expression cost, I/O operation cost, CPU time, time spent on processing the whole sample. Performing experiments to evaluate the correctness of identifying slow queries confirms the feasibility of applying in practice the results of the conducted research and the developed application. – Name: TypeDocument Label: Document Type Group: TypDoc Data: Article – Name: Language Label: Language Group: Lang Data: Russian – Name: ISSN Label: ISSN Group: ISSN Data: 2310-6018 – Name: DOI Label: DOI Group: ID Data: 10.26102/2310-6018/2023.43.4.026 – Name: AN Label: Accession Number Group: ID Data: edsair.doi...........f72f098ec24c68ad84ee6301098c4930 |
| PLink | https://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsair&AN=edsair.doi...........f72f098ec24c68ad84ee6301098c4930 |
| RecordInfo | BibRecord: BibEntity: Identifiers: – Type: doi Value: 10.26102/2310-6018/2023.43.4.026 Languages: – Text: Russian PhysicalDescription: Pagination: PageCount: 2 StartPage: 26 Subjects: – SubjectFull: relational systems Type: general – SubjectFull: select Type: general – SubjectFull: эффективность индексов Type: general – SubjectFull: statistics Type: general – SubjectFull: cost estimation Type: general – SubjectFull: реляционные системы Type: general – SubjectFull: оптимизация запросов Type: general – SubjectFull: оценка стоимости Type: general – SubjectFull: index efficiency Type: general – SubjectFull: статистика Type: general – SubjectFull: query optimization Type: general Titles: – TitleFull: Query cost estimation and development of an application for processing resource-intensive queries Type: main BibRelationships: IsPartOfRelationships: – BibEntity: Dates: – D: 03 M: 10 Type: published Y: 2023 Identifiers: – Type: issn-print Value: 23106018 – Type: issn-locals Value: edsair – Type: issn-locals Value: edsairFT Numbering: – Type: volume Value: 11 Titles: – TitleFull: МОДЕЛИРОВАНИЕ, ОПТИМИЗАЦИЯ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ Type: main |
| ResultId | 1 |