Academic Journal
Архитектура распределенной файловой системы
| Title: | Архитектура распределенной файловой системы |
|---|---|
| Source: | Интернет-журнал Науковедение. |
| Publisher Information: | Общество с ограниченной ответственностью «Издательский центр «Науковедение», 2014. |
| Publication Year: | 2014 |
| Subject Terms: | 13. Climate action, РАСПРЕДЕЛЕННАЯ ФАЙЛОВАЯ СИСТЕМА, БОЛЬШИЕ ДАННЫЕ, МЕТАОПИСАНИЕ, МЕТАДАННЫЕ, КОД ОПЕРАТИВНОЙ ПЕРЕДАЧИ ДАННЫХ, СЕРВЕР ХРАНЕНИЯ, КОММУНИКАЦИОННЫЙ СЕРВЕР, МЕНЕДЖЕР ДАННЫХ, ХРАНИЛИЩЕ ДАННЫХ, УНИФИЦИРОВАННЫЙ ИДЕНТИФИКАТОР РЕСУРСА, ДАННЫЕ ГИДРОМЕТЕОРОЛОГИЧЕСКИХ НАБЛЮДЕНИЙ |
| Description: | This article researches an approach that allows to organize the distributed storage of a huge amount of heterogeneous data with an objective of its further parallel processing in a high-performance cluster systems for the problems of analysis and nature-climatic processes forecasting. For the display of data that belongs to the different classes the practice of using meta-description as a formalism connected with different resource categories was used. The development of meta-description components (meta-data) was carried out basing upon the analysis of the data representation of ground hydrometeorological observation, the vertical sounding of the atmosphere, wind sounding of the atmosphere, observation of meteorological radiolocation, observation with satellites etc. A unified set of metadata components for their general description was formed. The article details on the structure and contents of the general components of generalized meta-description with an example of displaying hydrometeorological data from ground and water stations. The lowest level of hierarchical component structure of the meta-description contains metadata that descripts the measurable parameters of the hydrometeorological observations (wind speed, air temperature etc.). The main property of the metadata is the ID or index in the physical file records. The meta-description’s highest level metadata defines the unified storage server identifier and path to the physical storage data of the hydrometeorological observations. All of the intermediate level metadata provide the formation of parts of the unified identifier for the server storage path (data representation class, section, and group). The specific filename with the stored data is formed based upon the table of template names for the data presentation classes. To transform the data meta-description of hydrometeorological observations data for the physical infrastructure of storage resources, a functional scheme of the specialized distributed storage cluster was suggested. В статье рассматривается подход, позволяющий организовать распределенное хранение больших объемов разнородных данных с целью их дальнейшей параллельной обработки в высокопроизводительных кластерных системах для задач анализа и прогноза природно-климатических процессов. Для представления данных различных классов была применена практика использования метаописания как формализма, связанного с некоторыми категориями ресурсов. Разработка компонентов метаописания (метаданных) была осуществлена на основе анализа представления данных приземных гидрометеорологических наблюдений, вертикального зондирования атмосферы, ветрового зондирования атмосферы, наблюдений метеорологических радиолокаторов, наблюдений с искусственных спутников Земли и др. Был сформирован единый набор компонентов метаданных для их обобщенного описания. В статье подробно представлены структура и содержание основных компонентов обобщенного метаописания на примере представления данных гидрометеорологических наблюдений с наземных и морских станций. В иерархической структуре компонентов метаописания на самом нижнем уровне находятся метаданные, описывающие конкретные измеряемые параметры гидрометеорологических наблюдений (скорость ветра, температура воздуха и т.д.). Основной характеристикой этих метаданных является идентификационный номер или индекс в записях физических файлов хранения. Метаданные самого верхнего уровня метаописания определяют унифицированный идентификатор сервера хранения и путь к физическим файлам хранения данных гидрометеорологических наблюдений. Все метаданные промежуточных уровней обеспечивают формирование частей унифицированного идентификатора пути к серверу хранения (класс представления данных, раздел, группа). Конкретное имя файла с хранимыми данными формируется на основе таблицы имен шаблонов для классов представления данных. Для трансформации метаописания на физическую инфраструктуру ресурсов хранения предложена функционально-логическая схема организации кластера хранения данных гидрометеорологических наблюдений. |
| Document Type: | Article |
| File Description: | text/html |
| Language: | Russian |
| ISSN: | 2223-5167 |
| Access URL: | http://cyberleninka.ru/article/n/arhitektura-raspredelennoy-faylovoy-sistemy http://cyberleninka.ru/article_covers/15762048.png |
| Accession Number: | edsair.od......2806..0ff79c51aded57a34f599f943e9417c0 |
| Database: | OpenAIRE |
| ISSN: | 22235167 |
|---|