Информационные технологии интеллектуальной поддержки принятия решений, Информационные технологии интеллектуальной поддержки принятия решений 2018

Размер шрифта: 
Потоковая обработка больших документов в ситуационно-ориентированных базах данных
Артем Сергеевич Гусаренко, Валерий Викторович Миронов, Нафиса Исламовна Юсупова

Изменена: 2018-06-20

Аннотация


В статье обсуждается потоковая обработка данных в больших объемах для ситуационно-ориентированных баз данных (СОБД). Традиционно в СОБД предусмотрена кэшированная обработка разнородных данных. Рассматривается работа с файлами большого объема, не помещающихся целиком в оперативную память, – содержащих множество однотипных фрагментов, которые могут обрабатываться порциями. Порции данных извлекаются из входного потока, обрабатываются в буфере, после чего направляются в выходной поток. Рассматриваются три варианта реализации данной схемы в рамках иерархической ситуационной модели HSM. Предлагаемые на концептуальном уровне средства иллюстрируются на примере обработки XML-данных с использованием программных инструментов PHP, таких как XMLReader, XMLWriter, DOM.

Ключевые слова


динамическая модель; модель СОБД; базы данных; потоковая обработка; кэшированная обработка; обработка данных; DOM; HSM

Литература


  1. Гусаренко А. С. Модели создания документов в формате Office Open XML на основе ситуационно- ориентированной базы данных // Прикладная информатика. 2015. № 3 (57) (10). C. 63–76.
  2. Миронов В. В., Гусаренко А. С., Диметриев Р. Р., Сарваров М. Р. Создание персонализированных документов на основе ситуационно-ориентированной базы данных // Вестник УГАТУ. 2014. № 4 (65) (18). C. 191–197.
  3. Kosar T., Bohra S., Mernik M. Domain-Specific Languages: A Systematic Mapping Study // Information and Software Technology. 2016. Т. 71. С. 77–91.
  4. Гусаренко А. С. Усовершенствование модели ситуационно-ориентированной базы данных для взаимодействия с MySQL // Известия высших учебных заведений. Приборостроение. 2016. № 5 (59). C. 355–363.
  5. Миронов В. В., Гусаренко А. С., Юсупова Н. И. Отображение виртуальных XML-документов на таблицы MySQL в ситуационно-ориентированных базах данных: «распределенный» подход // Информационные технологии и вычислительные системы. 2017. № 1. C. 77–89.
  6. Миронов В. В., Гусаренко А. С., Юсупова Н. И. Ситуационно-ориентированные базы данных: современное состояние и перспективы исследования // Вестник УГАТУ. 2015. № 2 (68) (19). C. 188–199.
  7. Гусаренко А. С., Миронов В. В. Smarty-объекты: вариант использования гетерогенных источников в ситуационно-ориентированных базах данных // Вестник УГАТУ. 2014. № 3(64) (18). C. 242–252.
  8. Гусаренко А. С., Миронов В. В. Гетерогенные источники документов в ситуационно-ориентированных базах данных // Вестник УГАТУ. 2015. № 4 (19). C. 124–131.
  9. Миронов В. В., Гусаренко А. С. Использование RESTful-сервисов в ситуационно-ориентированных базах данных // Вестник УГАТУ. 2015. № 1 (67) (19). C. 232–239.
  10. Миронов В. В., Гусаренко А. С., Юсупова Н. И. Ситуационно-ориентированные базы данных: интеграция XML-данных с реляционной СУБД // Системы управления и информационные технологии. 2016. № 3(65). C. 48–56.
  11. Миронов В. В., Гусаренко А. С., Юсупова Н. И. Структурирование виртуальных мульти­докумен­тов в ситуационно-ориентированных базах данных с помощью entry-элементов // Труды СПИИРАН. 2017. № 53. C. 225–243.
  12. Миронов В. В., Гусаренко А. С., Юсупова Н. И. Инвариантность виртуальных данных в ситуационно-ориентированной базе данных при отображении на разнородные хранилища // Вестник компьютерных и информационных технологий. 2017. № 1(151). C. 29–36.
  13. Osvaldo S. S. Jr. и др. Developing software systems to Big Data platform based on MapReduce model: An approach based on Model Driven Engineering // Information and Software Technology. 2017. Т. 92. С. 30–48.
  14. Cobo M. J., López-Herrera A.G., Herrera-Viedma E. A relational database model for science mapping analysis // Acta Polytechnica Hungarica. 2015. Т. 12. № 6. С. 43–62.
  15. Arevalo C. и др. A metamodel to integrate business processes time perspective in BPMN 2.0 // Information and Software Technology. 2016. Т. 77. С. 17–33.
  16. Amanatidis T., Chatzigeorgiou A. Studying the evolution of PHP web applications // Information and Software Technology. 2016. Т. 72. С. 48–67.
  17. Agh H., Ramsin R. A pattern-based model-driven approach for situational method engineering // Information and Software Technology. 2016. Т. 78. С. 95–120.
  18. Mironov V. V., Gusarenko A. S., Yusupova N. I. Situation-oriented databases: document management on the base of embedded dynamic model / CEUR Workshop Proceedings (CEUR-WS.org): Selected Papers of the XI International Scientific-Practical Conference Modern Information Technologies and IT-Education (SITITO 2016), Moscow, Russia, November 25-26, 2016. С. 238–247.
  19. Djukic V. и др. Model Execution: An Approach based on extending Domain-Specific Modeling with Action Reports // Computer Science and Information Systems. 2013. Т. 10. № 4. С. 1585–1620.

Полный текст: PDF