Источниками массивов данных большого объёма, анализируемых с помощью специальных технологий, являются интернет вещей, соцсети, блоги, СМИ, показания приборов, статистика, архивы. Хранятся они в data lake — облачных хранилищах.

Термин «Big data» стал широко использоваться в 90-е, но проблемами растущего объёма информации люди озаботились гораздо раньше. В 1880 году в результате переписи населения США получился такой объём данных, что на его анализ ушло бы 8 лет. Упростить процедуру решил инженер Герман Холлерит. Он создал табулятор, автоматически обрабатывающий числовую и буквенную информацию. Прибор выдавал результат на бумажную ленту и был прототипом современной технологии.

В XXI веке анализ big data применяется во многих сферах: алгоритмы участвуют в обеспечении безопасности, диагностике и профилактике заболеваний, предсказывают аварии и катастрофы. В бизнесе и маркетинге большие данные помогают предсказывать поведение клиентов, оптимизируют расходы и производство.

В апреле Комитет по дорожному хозяйству Ленинградской области заявил о планах использовать big data для борьбы с плохими дорогами. Водителям потребуется скачать специальное приложение на телефон со встроенным гироскопом. Он зафиксирует колебания и определит ямы на дороге, вся информация с геолокацией поступит в профильное региональное Управление. С программой бизнес сможет отслеживать перемещение спецтехники, контролировать работу механизмов транспортных средств через специальные датчики. Планируется создать интеллектуальную систему для объединения в одном хранилище записей со средств фотовидеофиксации нарушений ПДД, информации об освещенности улиц, интенсивности движения, погодных условиях, а также данные со светофоров.

«Основные услуги Big Data на базе геоаналитической цифровой платформы, которые пользуются большим спросом у бизнеса и госструктур регионов – это «Аналитика городской среды» и «Цифровой туризм». Сервис «Аналитика городской среды» анализирует ключевые показатели структуры населения и его миграции на заданной территории. С его помощью можно оценить численность населения, социально-демографическую структуру, уровень дохода жителей, посещаемость инфраструктурных объектов. «Цифровой туризм» позволяет посчитать туристический поток в динамике в зависимости от сезонов, мероприятий, в разрезе регионов, муниципалитетов и городов, посещаемость популярных туристических объектов, траты туристов во время пребывания в поездке», - пояснила компания МегаФон.

Национальный центр информатизации, входящий в «Ростех», создает систему поддержки принятия врачебных решений с помощью принципов машинного обучения и искусственного интеллекта. Об этом пишет газета «Ведомости». ИИ будет сравнивать анамнез пациента с обезличенными данными других больных, электронные карточки которых введены в ЕГИСЗ. Искусственный интеллект проанализирует истории болезни, анализы, рентгеновские снимки, компьютерные томограммы, поставит предварительный диагноз и порекомендует терапию.

«Технологии работы с большими данными уже применяются практически во всех отраслях экономики. Так, Big Data помогает городам и регионам оптимизировать транспортную сеть, обосновать направления развития социальной и городской инфраструктуры, туризма и многого другого. А в бизнесе и маркетинге, к примеру, большие данные помогают предсказывать поведение клиентов», - рассказала пресс-служба МегаФона.

Big data используют не только в мирных целях, но и на войне. Большой материал об этом делало агентство РБК. В Ираке американские силы специальных операций нашли и ликвидировали сеть секретных ячеек террористической организации с помощью приложений. Они интегрировали большие данные в уже существующие инструменты благодаря новым технологиям.

Британская армия применяет систему геопространственного интеллекта, способную собирать данные от разных объектов для принятия решений в режиме реального времени. В 2021 году солдаты использовали ИИ-инструмент, который предоставлял информацию об окружающей среде и местности. Благодаря Big Data движок может быстро обрабатывать много сложных данных и позволяет военным планировать действия и прогнозировать их результаты.

О том, как Китай использует в военных целях большие данные, известно мало. В текущем году СМИ писали, что китайская компания BGI Group, занимающаяся вопросами генетики и продающая тесты для беременных по всему миру, разработала их совместно с вооруженными силами страны и использует для сбора генетических данных. Тесты под названием NIFTY для «неинвазивного исследования плода» также якобы собирают генетическую информацию о матери и другие сведения, такие как страна проживания, рост и вес. Эта информация требуется для широкомасштабных исследований особенностей популяций.

В России big data также активно внедряют в военную сферу. С 2019 года в армии работает система поддержки принятия решений с использованием технологий больших данных и элементами искусственного интеллекта. В августе на форуме «Армия-2021» Минобрнауки представило цифровую платформу REx, которую можно использовать для оценки продукта еще перед его созданием, увеличения автоматизации военного производства, управления цепочками поставок, а также для интеграции продуктов и услуг. По словам разработчиков, система состоит из нескольких взаимодействующих интеллектуальных агентов. Ее можно использовать для решения более сложных задач. Например, для мониторинга и прогнозирования использования ресурсов.

Вот лишь малая часть возможностей использования технологии в повседневной жизни. И это не далекое будущее, а наше с вами настоящее. Применение большинства современных технологий мы даже не замечаем, хотя они делают жить проще и безопаснее.