Top.Mail.Ru

Источники больших данных

Ознакомьтесь с теорией и выполните задание. За правильные ответы начисляются баллы.

Главными источниками больших данных считаются:

  • Социальные сети, блоги, СМИ и т.п.;
  • Интернет вещей (iot) и подключенные к нему устройства различного рода;
  • Данные операторов связи: телефонные вызовы, SMS, данные геолокации мобильных устройств, DNS запросы и т.п.;
  • Данные компаний: транзакции, заказы товаров и услуг, поездки на такси и каршеринге, профили клиентов и т.п.;
  • Данные веб-браузеров и поисковых систем;
  • Показания приборов: метеорологические станции, измерители состава воздуха и водоемов, данные со спутников и т.п.;
  • Статистика городов и государств: данные о перемещениях, рождаемости и смертности и т.п.;
  • Медицинские данные: анализы, заболевания, диагностические снимки и т.п.

Собираемые большие данные можно классифицировать в зависимости от источников, из которых они получены:

  1. Операционные данные - это данные о клиентах, поставщиках, партнерах и сотрудниках компании, доступные в процессе онлайн-обработки транзакций и/или полученные из онлайн-базы данных аналитической обработки.
  2. «Темные» данные - информация, которая не хранится или не собирается организациями специально, а формируется случайно (попутно) в процессе ведения бизнеса или взаимодействия с сетевыми сервисами и остается в Интернет-архивах. Такие данные могут являться общедоступными и частично структурированными для анализа, например, электронные письма, электронные договоры, документы, мультимедиа, системные журналы и т.д.
  3. Коммерческие данные – например, результаты маркетинговых исследований, изучения потребительского спроса или кредитного рейтинга частных компаний и т.п.
  4. Официальные данные - информация, распространяемая государственными органами (заявления, пресс-релизы, прогноз погоды, планы развития), открытые публичные реестры, опубликованные нормативные акты.
  5. Информация из социальных сетей и сервисов - сообщения, комментарии, цитаты («репосты») активно используют для выявления и прогнозирования целевых клиентов, коммерческих возможностей, конкурентных отношений, бизнес-рисков и потенциальных партнеров.
Перейти к  практике