'
Румянцева К.В.
BIG DATA: НЕКОТОРЫЕ ВОПРОСЫ И ТЕХНОЛОГИИ *
Аннотация:
в статье подробно раскрывается понятие «Big Data» и их роль в деятельности крупных компаний. Также описываются новые технологии анализа больших данных, освещаются проблемы, возникающие при работе с Big Data
Ключевые слова:
Блокчейн, Dark Data, краудсоринг, большие данные, Big Data
УДК 62
Румянцева К.В.
Бакалавр
Российский экономический университет имени Г.В. Плеханова
(Москва, Российская Федерация)
BIG DATA: НЕКОТОРЫЕ ВОПРОСЫ И ТЕХНОЛОГИИ
Аннотация: в статье подробно раскрывается понятие «Big Data» и их роль в деятельности крупных компаний. Также описываются новые технологии анализа больших данных, освещаются проблемы, возникающие при работе с Big Data.
Ключевые слова: Блокчейн, Dark Data, краудсоринг, большие данные, Big Data.
Впервые понятие Big Data возникло в 2008 году, а в 2011 году им заинтересовались огромные корпорации: Microsoft, Oracle, EMC и IBM, Facebook и Google, IBM., Master Card, VISA и Bank of America, HSBC, Nasdaq, Coca-Cola, Starbucks и AT&T, которые активно пользуются ими по сегодняшний день.
Big Data — это огромные неупорядоченные объемы информации, а также инструменты работы с ними. В настоящее время «большие данные» имеются почти во всех областях жизнедеятельности человека: здравоохранение, банки, астрономия и т. п. При этом объем настолько большой, что традиционные методы не могут справиться с его обработкой и обращаются к специальным алгоритмам, которые также относятся к понятию Big Data.
Так, например, компании IBM и VISA используют Big Data к проводимым операциям по денежным переводам. А с 2013 года в высших учебных заведениях «Big Data» изучается как отдельная дисциплина.
В настоящее время активно Big Data используются и в различных сетевых играх. Так, основатели игры «Лига легенд» сделали анализ сведений о своих игроках, что помогло им сделать прогноз о возможной потере клиентов и применить эти данные на практике [3].
С помощью больших данных «Toyota в России» почти на 40 % увеличила число посещений своих дилерских центров.
Компания МТС уже на протяжении последних шести лет занимается использованием больших данных с помощью огромной команды аналитиков и базой более 70 миллионов абонентов, совсем недавно запустив услугу для клиентов «МТС Исследования», позволяющие проводить анализ с помощью Big Data.
Один из крупных гипермаркетов воспользовался сервисом «МТС Исследования» для анализа причин потери клиентов в 2020 году. С помощью Big Data получилось понять, как коронавирусная инфекция оказала воздействие на покупателей. Количество покупок в крупных магазинах значительно сократилось и люди стали приобретать товары через Интернет.
В 2016 году объем мирового рынка программного обеспечения в области Big Data составил 130 млрд. долл. В 2018 году выручка от продаж - 42 млрд. долл., и эти цифры ежегодно только растут. Общий объем рынка Big Data по итогам 2020 года составил 139 млрд. долл. Так, по прогнозам к концу 2022 года доходы с Big Data составят 260 млрд. долл. [4].
Также к 2024 году Росстат запустит программы сотрудничества с различными вузами страны, в том числе – РТУ МИРЭА, Финансовый университет, НИУ ВШЭ, РЭУ имени Плеханова, РГСУ и РАНХиГС.
Ректор МИРЭА С. Кудж считает, что в настоящее время использование больших данных находится на передовом уровне. Дорожная карта по данному вопросу совместно с Росстатом была разработана еще в 2019 году, которая явилась основанием для составления новых программ образования в области Big Data [3].
В настоящее время Big Data активно используются представителями малого и среднего бизнеса с помощью следующих элементов:
Методы анализа и исследования больших данных:
Исходя из практической деятельности, не всегда использование Big Data имел положительный эффект. Одна из их основных проблем – это затраты на их обработку, а именно приобретение дорого оборудования, выплата заработной платы специалистам данной области и т. п.
Вторая проблема – слишком большой объем информации, которая подлежит исследованию и обработке, что может привести к многообразию результатов.
Третья проблема – это конфиденциальность (секретность) Big Data. В связи с переходом большинства серверов по работе с клиентами на большие данные, стало легче стать жертвой киберпреступников.
Четвертая проблема - проблема потери информации, то есть необходимо создавать 2–3 резервные копии для хранения. Но эта проблема с каждым разом приобретает более глобальный характер, так как возникают проблемы с резервированием.
Для решения этих проблем необходимы новые методы анализа и особые условия для хранения объемных данных. Здесь наиболее полезными становятся современные платформы аналитики In-memory и NoSQL. 15 и 12 % мирового рынка соответственно сегодня приходится на программное обеспечение Log-file и сервиса Columnar. При этом программная платформа Hadoop/MapReduce сегодня не в состоянии решить проблемы больших данных очень эффективно.
Следует отметить, что ускоренное применение и развитие современных технологий анализа и исследования больших данных являются большим достижением в области повышения эффективности и мониторинга практически всех сфер жизнедеятельности: здравоохранение, транспорт, госуправление, экономика, финансы, промышленность, образование и т. п. Все это и является основанием для ускоренного развития Big Data в последние годы.
СПИСОК ЛИТЕРАТУРЫ:
Абдыкаримова А. Т. Big Data: проблемы и технологии /А. Т. Абдыкаримова //Компьютерные и информационные технологии. - №5. – 2019. – С. 55–57.
Big Data: что это такое, как искать, хранить и использовать [Электронный ресурс]. URL: https://selectel.ru/blog/big-data-basics/ (дата обращения: 16.04.2022)
Что такое Big Data и почему их называют «новой нефтью» [Электронный ресурс]. URL: https://trends.rbc.ru/trends/innovation/5d6c020b9a7947a740fea65c / (дата обращения: 17.04.2022)
Как правильно анализ Big Data меняет судьбы компаний [Электронный ресурс]. URL: https://www.vedomosti.ru/special/2021/11/23/kak-pravilnii-analiz-big-data-menyaet-sudbi-kompanii (дата обращения: 17.04.2022)
Rumyantseva K.V.
Bachelor's Degree
Federal State Budgetary Educational Institution of Higher Education
"Plekhanov Russian University of Economics"
(Moscow, Russian Federation)
BIG DATA: SOME ISSUES & TECHNOLOGIES
Abstract: the article reveals in detail the concept of "Big Data" and their role in the activities of large companies. It also describes new technologies for analyzing Big Data and highlights the problems that arise when working with Big Data.
Keywords: Blockchain, Dark Data, crowdsourcing, Big Data, Big Data.
Номер журнала Вестник науки №5 (50) том 3
Ссылка для цитирования:
Румянцева К.В. BIG DATA: НЕКОТОРЫЕ ВОПРОСЫ И ТЕХНОЛОГИИ // Вестник науки №5 (50) том 3. С. 146 - 150. 2022 г. ISSN 2712-8849 // Электронный ресурс: https://www.вестник-науки.рф/article/5626 (дата обращения: 28.03.2024 г.)
Вестник науки СМИ ЭЛ № ФС 77 - 84401 © 2022. 16+
*