Разработка технологии выявления аномальных значений в потоках больших данных

Вячеслав Иванович Петренко; В. В. Копытов; А. В. Сидорчук; В. О. Антонов

Информационные технологии интеллектуальной поддержки принятия решений, Информационные технологии интеллектуальной поддержки принятия решений 2018

Вячеслав Иванович Петренко, В. В. Копытов, А. В. Сидорчук, В. О. Антонов

Изменена: 2018-06-21

Аннотация

В статье для выявления и устранения аномальных значений в потоках больших данных используется методология фрактального анализа. Предлагается технология, использующая метод анализа значений показателя Херста для оценки ошибочности предполагаемого аномального значения. Технология использует идею о том, что во временных рядах с долговременными корреляциями после аномального значения, являющегося ошибкой измерения, нарушается свойство персистентности.

Ключевые слова

обработка больших данных; обработка данных; анализ показателя Херста; выявление аномальных значений

Литература

1. Holden K., Peel D.A., Thomson J.L. Economic forecasting: an introduction. Press Syndicate of the University of Cambridge, 1990. 213 pp.

2. Kantorovich G.G. Time series analysis // Economic journal of HSE. 2003. № 1. P. 79-103.

3. Siegel E. Practical Business Statistics. Academic Press; 6 edition. 2011. 640 pp.

4. Рачков М.Ю. Оптимальное управление детерминированными и стохастическими системами. М.: Издательство МГИУ, 2005. 136 с.

5. Barnett Vic, Lewis Toby. Outliers in Statistical Data, Wiley, 1978 – 365 pp.

6. Раннев Г.Г., Тарасенко А.П. Методы и средства измерений. М.: Изд. центр «Академия», 2008.

7. Rousseeuw P.J., Leroy A.M. Robust Regression and Outlier Detection. Wiley, 1987. 347 p.

8. Пасман В.Р., Шевляков Г.Л. Робастные методы оценивания коэффициента корреляции// Автоматика и телемеханика Вып.3. 1987. С. 70-80.

9. Frank E. Grubbs, Glenn Beck. Extension of sample sizes and percentage points for significance tests of outlying observations // Technometrics. Vol. 14. №4. 1972. P. 847-854.

10. Лемешко Б.Ю., Лемешко С.Б. Расширение области применения критериев типа Граббса, используемых при отбраковке аномальных измерений// Измерительная техника. № 6. 2005. С.13-19.

11. Elcio Cruz de Oliveira, Alcir de Faro Orlando, Anderson Luiz dos Santos Ferreira, Carlos Eduardo de Oliveira Chaves. Comparison of different approaches for detection and treatment of outliers in meter proving factors determination// Flow Measurement and Instrumentation. Volume 48, April 2016, Pages 29-35.

12. Chauvenet W. A Manual of Spherical and Practical Astronomy. Vol II. – М.: Книга по требованию, 2011. – 1863 с.

13. Irvin J.O. On a criterion for the rejection of outlying observation// Biometrika. – V.17. – 1925. P. 238-250.

14. Трофименко С.В., Маршалов А.Я., Гриб Н.Н., Колодезников И.И. Модификация метода Ирвина для выявления аномальных уровней временных рядов: методика и численные эксперименты// Современные проблемы науки и образования. – 2014. – № 5. URL: https://science-education.ru/ru/article/view?id=15130 (дата обращения: 12.02.2017).

15. Гафарова Л.М., Завьялова И.Г., Мустафин Н.Н. Об особенностях применения критерия согласия Пирсона// Экономические и социально-гуманитарные исследования. – Вып. 4(8). – 2015. – С.63-67.

16. Ларин С.Л., Кузнецов В.В., Романенко С.В. Алгоритм обнаружения серии выбросов по критерию Диксона в инверсионной вольтамперометрии// Аналитика и контроль. – Т.18. – № 3. – 2014. – С.310-315.

17. Jina Jeong, Eungyu Park, Weon Shik Han, Kueyoung Kim, Sungwook Choung, Il Moon Chung. Identifying outliers of non-Gaussian groundwater state data based on ensemble estimation for long-term trends// Journal of Hydrology. Volume 548, May 2017, Pages 135-144. http://dx.doi.org/10.1016/j.jhydrol.2017.02.058

18. Петерс Э. Хаос и порядок на рынках капитала. М.: Мир, 2000. 276 с.

19. Шелухин О.И. Мультифракталы. Инфокоммуникационные приложения. М.: Горячая линия-Телеком, 2011. 576 с.

20. Hyndman, R. (March 4, 2014). Fitting models to short time series. [Blog post]. Retrieved from http://robjhyndman.com/hyndsight/short-time-series

21. Пылькин А.Н., Демидова Л.А., Скворцов С.В., Скворцова Т.С. Гибридные модели прогнозирования коротких временных рядов. М.: Горячая линия-Телеком, 2012. 206 с.

22. ГОСТ Р ИСО 5479-2002. Статистические методы. Проверка отклонения распределения вероятностей от нормального распределения. Дата введения 07.01.2002 г.

23. Тебуева Ф.Б. Два подхода к реализации фрактального анализа временных рядов // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. 2007. № 52-2. С. 105-112.

24. Тебуева Ф.Б. Математические модели и методы для задач многокритериального выбора на графах в условиях недетерминированности исходных данных. Автореферат дис. ... доктора физико-математических наук / Юж. федер. ун-т. Ставрополь, 2013. 35 с.

25. Kopytov V.V., Petrenko V.I., Tebueva F.B., Streblianskaia N.V. An Improved Brown's Method Applying Fractal Dimension to Forecast the Load in a Computing Cluster for Short Time Series. Indian Journal of Science and Technology. 2016. Т. 9. № 19. С. 93909.

Полный текст: PDF