'
Научный журнал «Вестник науки»

Режим работы с 09:00 по 23:00

zhurnal@vestnik-nauki.com

Информационное письмо

  1. Главная
  2. Архив
  3. Вестник науки №5 (50) том 3
  4. Научная статья № 25

Просмотры  89 просмотров

Румянцева К.В.

  


BIG DATA: НЕКОТОРЫЕ ВОПРОСЫ И ТЕХНОЛОГИИ *

  


Аннотация:
в статье подробно раскрывается понятие «Big Data» и их роль в деятельности крупных компаний. Также описываются новые технологии анализа больших данных, освещаются проблемы, возникающие при работе с Big Data   

Ключевые слова:
Блокчейн, Dark Data, краудсоринг, большие данные, Big Data   


УДК 62

Румянцева К.В.

Бакалавр

Российский экономический университет имени Г.В. Плеханова

(Москва, Российская Федерация)

 

 BIG DATA: НЕКОТОРЫЕ ВОПРОСЫ И ТЕХНОЛОГИИ

 

Аннотация: в статье подробно раскрывается понятие «Big Data» и их роль в деятельности крупных компаний. Также описываются новые технологии анализа больших данных, освещаются проблемы, возникающие при работе с Big Data. 

 

Ключевые слова: Блокчейн, Dark Data, краудсоринг, большие данные, Big Data.

 

Впервые понятие Big Data возникло в 2008 году, а в 2011 году им заинтересовались огромные корпорации: Microsoft, Oracle, EMC и IBM, Facebook и Google, IBM., Master Card, VISA и Bank of America, HSBC, Nasdaq, Coca-Cola, Starbucks и AT&T, которые активно пользуются ими по сегодняшний день.

Big Data — это огромные неупорядоченные объемы информации, а также инструменты работы с ними. В настоящее время «большие данные» имеются почти во всех областях жизнедеятельности человека: здравоохранение, банки, астрономия и т. п. При этом объем настолько большой, что традиционные методы не могут справиться с его обработкой и обращаются к специальным алгоритмам, которые также относятся к понятию Big Data.

Так, например, компании IBM и VISA используют Big Data к проводимым операциям по денежным переводам. А с 2013 года в высших учебных заведениях «Big Data» изучается как отдельная дисциплина.

В настоящее время активно Big Data используются и в различных сетевых играх. Так, основатели игры «Лига легенд» сделали анализ сведений о своих игроках, что помогло им сделать прогноз о возможной потере клиентов и применить эти данные на практике [3].

С помощью больших данных «Toyota в России» почти на 40 % увеличила число посещений своих дилерских центров.

Компания МТС уже на протяжении последних шести лет занимается использованием больших данных с помощью огромной команды аналитиков и базой более 70 миллионов абонентов, совсем недавно запустив услугу для клиентов «МТС Исследования», позволяющие проводить анализ с помощью Big Data.

Один из крупных гипермаркетов воспользовался сервисом «МТС Исследования» для анализа причин потери клиентов в 2020 году. С помощью Big Data получилось понять, как коронавирусная инфекция оказала воздействие на покупателей. Количество покупок в крупных магазинах значительно сократилось и люди стали приобретать товары через Интернет.  

В 2016 году объем мирового рынка программного обеспечения в области Big Data составил 130 млрд. долл. В 2018 году выручка от продаж - 42 млрд. долл., и эти цифры ежегодно только растут. Общий объем рынка Big Data по итогам 2020 года составил 139 млрд. долл. Так, по прогнозам к концу 2022 года доходы с Big Data составят 260 млрд. долл. [4].

Также к 2024 году Росстат запустит программы сотрудничества с различными вузами страны, в том числе – РТУ МИРЭА, Финансовый университет, НИУ ВШЭ, РЭУ имени Плеханова, РГСУ и РАНХиГС.

Ректор МИРЭА С. Кудж считает, что в настоящее время использование больших данных находится на передовом уровне. Дорожная карта по данному вопросу совместно с Росстатом была разработана еще в 2019 году, которая явилась основанием для составления новых программ образования в области Big Data [3].

В настоящее время Big Data активно используются представителями малого и среднего бизнеса с помощью следующих элементов:

  1. Deep Learning (в переводе «глубокое обучение») – машинное обучение с помощью интеллектуального анализа входных данных.
  2. Облачное хранилище данных. Исследование и сохранение данных в облаке является более дешевой альтернативой.
  3. Блокчейн – эта технология, позволяющие ускорить и сделать проще проведение транзакций.
  4. Dark Data («темные данные») – неоцифрованная информация о компании, которая используется единожды.
  5. Программный продукт Statistica – статистический анализ данных американской компании StatSoft [1].

Методы анализа и исследования больших данных:

  1. Data Mining, за основу которых берутся математические инструментарии.
  2. Краудсорсинг, при котором данные можно получать из нескольких источников.
  3. А/В-тест – выбор наиболее эффективного и приемлемого варианта исследования данных.
  4. Предиктивная аналитика – с помощью больших данных делается прогноз будущего поведения объекта исследования.
  5. Сетевое планирование и анализ – исследование различных виртуальных сетей [2].

Исходя из практической деятельности, не всегда использование Big Data имел положительный эффект.  Одна из их основных проблем – это затраты на их обработку, а именно приобретение дорого оборудования, выплата заработной платы специалистам данной области и т. п.

Вторая проблема – слишком большой объем информации, которая подлежит исследованию и обработке, что может привести к многообразию результатов.  

Третья проблема – это конфиденциальность (секретность) Big Data. В связи с переходом большинства серверов по работе с клиентами на большие данные, стало легче стать жертвой киберпреступников.

Четвертая проблема - проблема потери информации, то есть необходимо создавать 2–3 резервные копии для хранения. Но эта проблема с каждым разом приобретает более глобальный характер, так как возникают проблемы   с резервированием.

Для решения этих проблем необходимы новые методы анализа и особые условия для хранения объемных данных. Здесь наиболее полезными становятся современные платформы аналитики In-memory и NoSQL. 15 и 12 % мирового рынка соответственно сегодня приходится на программное обеспечение Log-file и сервиса Columnar. При этом программная платформа Hadoop/MapReduce сегодня не в состоянии решить проблемы больших данных очень эффективно.

Следует отметить, что ускоренное применение и развитие современных технологий анализа и исследования больших данных являются большим достижением в области повышения эффективности и мониторинга практически всех сфер жизнедеятельности: здравоохранение, транспорт, госуправление, экономика, финансы, промышленность, образование и т. п. Все это и является основанием для ускоренного развития Big Data в последние годы.

 

СПИСОК ЛИТЕРАТУРЫ:

 

Абдыкаримова А. Т. Big Data: проблемы и технологии /А. Т. Абдыкаримова //Компьютерные и информационные технологии. - №5. – 2019. – С. 55–57.

Big Data: что это такое, как искать, хранить и использовать [Электронный ресурс].  URL: https://selectel.ru/blog/big-data-basics/ (дата обращения: 16.04.2022)

Что такое Big Data и почему их называют «новой нефтью» [Электронный ресурс]. URL: https://trends.rbc.ru/trends/innovation/5d6c020b9a7947a740fea65c / (дата обращения: 17.04.2022)

Как правильно анализ Big Data меняет судьбы компаний [Электронный ресурс]. URL: https://www.vedomosti.ru/special/2021/11/23/kak-pravilnii-analiz-big-data-menyaet-sudbi-kompanii (дата обращения: 17.04.2022)

 

Rumyantseva K.V.

Bachelor's Degree

Federal State Budgetary Educational Institution of Higher Education

"Plekhanov Russian University of Economics"

(Moscow, Russian Federation)

 

BIG DATA: SOME ISSUES & TECHNOLOGIES

 

Abstract: the article reveals in detail the concept of "Big Data" and their role in the activities of large companies. It also describes new technologies for analyzing Big Data and highlights the problems that arise when working with Big Data.

 

Keywords: Blockchain, Dark Data, crowdsourcing, Big Data, Big Data.

  


Полная версия статьи PDF

Номер журнала Вестник науки №5 (50) том 3

  


Ссылка для цитирования:

Румянцева К.В. BIG DATA: НЕКОТОРЫЕ ВОПРОСЫ И ТЕХНОЛОГИИ // Вестник науки №5 (50) том 3. С. 146 - 150. 2022 г. ISSN 2712-8849 // Электронный ресурс: https://www.вестник-науки.рф/article/5626 (дата обращения: 28.03.2024 г.)


Альтернативная ссылка латинскими символами: vestnik-nauki.com/article/5626



Нашли грубую ошибку (плагиат, фальсифицированные данные или иные нарушения научно-издательской этики) ?
- напишите письмо в редакцию журнала: zhurnal@vestnik-nauki.com


Вестник науки СМИ ЭЛ № ФС 77 - 84401 © 2022.    16+




* В выпусках журнала могут упоминаться организации (Meta, Facebook, Instagram) в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25 июля 2002 года № 114-ФЗ 'О противодействии экстремистской деятельности' (далее - Федеральный закон 'О противодействии экстремистской деятельности'), или об организации, включенной в опубликованный единый федеральный список организаций, в том числе иностранных и международных организаций, признанных в соответствии с законодательством Российской Федерации террористическими, без указания на то, что соответствующее общественное объединение или иная организация ликвидированы или их деятельность запрещена.