Такое астрономическое количество информации можно обнаружить и на Земле тоже. Ритейлер Wal-Mart обрабатывает более 1 миллиона покупок каждый час, пополняя базы данных, которые содержат больше чем в 2,5 петабайт информации (эквивалент 167 библиотекам Американского Конгресса). Социальная сеть Facebook содержит 40 миллиардов фотографий. А расшифровка генома человека, включающая анализ 3 миллиардов основных пар генов, заняла 10 лет, когда делалась впервые в 2003 г., сейчас эта процедура может быть проделана за одну неделю.

Все эти примеры говорят об одном и том же: мир содержит невообразимо огромное количество цифровой информации, и чем ее больше, тем скорее она распространяется. Это позволяет сделать много вещей, которые раньше были невозможны: отследить тенденции в бизнесе, предотвратить болезни, остановить преступление и т.д. Если информацией управлять эффективно, ее можно использовать для обнаружения новых источников прибыли и обеспечения науки новыми знаниями.

Но есть и обратная сторона медали. Несмотря на изобилие инструментов для сбора, обработки и структурирования информации (датчики, компьютеры, мобильные телефоны и т.п.) — ее объем уже превышает доступное место для хранения (см. диаграмму 1). Кроме того, обеспечение безопасности хранения данных и защита частной жизни становятся все более трудными процессами, поскольку информация растет и широко распространяется по всему миру.

Алекс Сзэлей, астрофизик Университета им. Джонса Хопкинса, отмечает, что быстрое увеличение данных делает их все более и более недоступными. “Как усвоить все эти данные? Люди должны быть обеспокоены тем, как мы обучаем следующее поколение, не только ученых, но и людей, занятых в правительстве и промышленности”, - говорит Сзэлей.

“Мы переживаем время, не похожее на какое-либо другое из-за такого большого количества информации”, - говорит Джеймс Кортэда из IBM, написавший несколько десятков книг по истории информации в обществе. Джо Хеллерстеин, программист университета Калифорнии в Беркли, называет этот период “индустриальной революцией данных”. Эффект чувствуют всюду, от бизнеса до науки, от правительства до искусства. Ученые и компьютерные инженеры ввели новый термин для этого феномена: “big data” (большие данные).

Говоря на языке эпистемологии, информация представляет собой коллекцию данных, а знание составляют различные нити информации. Но в этой статье используются понятия "данные" и "информация" попеременно, потому что эти два слова становится все сложнее употреблять по отдельности. Учитывая имеющийся достаточно большой массив необработанных данных, сегодняшние алгоритмы и мощные компьютеры могут открыть новые инсайты, которые раньше осталась бы нераскрытыми.

Бизнес, построенный на управлении информацией, а именно помогающий компаниям справляться с растущим объемом данных, стремительно растет. В последние годы Oracle, IBM, Microsoft и SAP в сумме потратили больше, чем 15 миллиардов долларов на покупку фирм, специализирующихся на программном обеспечении для организации данных и аналитики. Эта индустрия оценивается в сумму, превышающую 100 миллиардов долларов и растет почти на 10 % в год, что примерно в два раза превышает скорость, с которой растет отрасль программного обеспечения в целом.

Руководители информационного отдела (CIOs) стали более заметными среди менеджерского состава, и появился новый вид профессии, научный специалист в области данных (the data scientist), который комбинирует в себе навыки программиста, статистика и рассказчика или художника. Он извлекает самородки золота, скрытые под горами информации. Хэл Вэриэн, главный экономист Google, предсказывает, что вскоре работа статистика станет самой привлекательной. Он объясняет это тем, что данные широко доступны, но не хватает тех людей, которые обладают способностью извлечь из них мудрость.

Существует множество причин для информационного взрыва. Самая очевидная из них - это технологии. Так как способности цифровых устройств растут, а цены резко падают, датчики и гаджеты оцифровывают много данных, которые ранее были недоступными.

Кроме того, есть много людей, которые активно взаимодействуют с информацией. В период между 1990 и 2005 гг. более чем 1 миллиард человек во всем мире перешли в статус среднего класса. Поскольку люди богатеют, они становятся и более грамотными, что стимулирует информационный рост, отмечает Кортэду. Результаты этого видны в политике, экономике, а также правовой сфере. “Революциям в науке часто предшествовали революции в измерении”, - говорит Синэн Арэл, профессор экономики в Нью-йоркском университете. Так же, как микроскоп изменил биологию, дав возможность видеть микробы, а электронный микроскоп изменил физику, вся эта информация переворачивает общественные науки с ног на голову, объясняет эксперт. Исследователи теперь могут понять поведение человека на уровне популяции, а не на уровне отдельного человека.

Количество цифровой информации увеличивается десятикратно каждые пять лет. Закон Мура, который сегодня компьютерная отрасль считает само собой разумеющимся, говорит, что мощь обработки данных и емкость запоминающих устройств удваиваются, а их цена резко снижаются в два раза примерно каждые 18 месяцев. Программное обеспечение также постоянно развивается. Эдвард Фелтен, программист Принстонского университета считает, что усовершенствования алгоритмов, стимулирующих появление компьютерных приложений, играли столь же важную роль, как закон Мура, в течение многих десятилетий.

К 2013 г. количество ежегодного пребывающий в интернет информации, согласно исследованию Cisco, достигнет 667 эксабайт. А это значит, что количество данных продолжает расти быстрее, чем возможности сети Интернет вместить все это.

Люди долгое время ворчали, что информация их затопила. Вернемся в 1917 год, когда менеджер фабрики в Коннектикуте жаловался на эффект, который принесло использование телефона: “Время потеряно, в результате беспорядок и потраченные деньги”. Все, что происходит сейчас, уже не вкладывается в понятие поступательного роста. Количественные изменения приобрели качественное значение.

Переход от информационного дефицита к переизбытку информации имеет широкие последствия. “То, что мы наблюдаем сейчас, это способность информации принимать  экономические формы, и, по моему мнению, это означает большое изменение на социальном и даже макроэкономическом уровне”, - говорит Крэйг Манди, директор по исследованиям и стратегическому развитию Microsoft. Информация становятся новым ресурсом для бизнеса: ее экономический вклад оценивается почти наравне с капиталом и трудом. “Каждый день я просыпаюсь и спрашиваю себя, как я могу управлять данными эффективнее, анализировать их лучше”, - говорит Гол Форд, менеджер информационного отдела Wal-Mart.

Сложный количественный анализ применяется ко многим аспектам жизни, а не только по отношению к ракетным траекториям или финансовым стратегиям страхования, как в прошлом. Например, Farecast, часть поисковой машины Bing, которая принадлежит Microsoft , может советовать клиентам, покупать ли билет на самолет прямо сейчас или подождать, пока цена снизится. Для этого система анализирует 225 миллиардов рейсов и ценовых отчетов. Та же самое касается гостиничных номеров, автомобилей и других товаров и услуг. Вебсайты, посвященные личным финансам, и банки объединяют информацию о своих клиентах, чтобы выделить макроэкономические тренды, которые могут стать основой для развития новых направлений деятельности. Люди, занимающиеся сложными математическими расчетами, сумели даже раскрыть определенную числовую последовательность в японской борьбе сумо.

Извлечение ценности из информации о том, какие сайты посещают пользователи, становится основой интернет-экономики. Например, поисковик Google, механизм работы которого частично зависит от количества кликов на сайты, помогает определять релевантность ресурса относительно определенного поискового запроса. Например, если восьмая ссылка для поискового запроса – та, по которой люди переходят больше всего, то алгоритм поднимает ее выше.

Поскольку мир становится все более и более цифровым, агрегация и анализ данных, вероятно, принесут огромную прибыль и в других областях также. Например, Крейг Манди из Microsoft и Эрик Шмидт, глава Google, входят в созданную по инициативе Президента США группу, которая занимается реформой здравоохранения. “В начале этого процесса Эрик и я сказали: «Слушайте, если вы действительно хотите преобразовать здравоохранение, то выстройте своего рода экономику здравоохранения вокруг данных, которые касаются людей, - объясняет Манди. - Нужно не просто думать об информации, как о 'выхлопе' в результате предоставления медицинского обслуживания, а скорее как о центральном активе в попытке выяснить, как нужно улучшить каждый аспект здравоохранения. Это – что-то вроде инверсии».

Безусловно, медицинская регистратура в электронном виде должна упростить врачам жизнь, снизить затраты для учреждений и пациентов и улучшить качество сервиса. Но в совокупности данные также могут помочь определить нежелательные взаимодействия с препаратом и предсказать начало болезни прежде, чем проявятся ее признаки. Компьютеры уже пытаются сделать эти вещи, но они должны быть специально для этого запрограммированы. В огромном мире данных корреляции происходят часто сами собой.

Иногда эти данные показывают больше, чем ожидалось. Например, город Окленд в Калифорнии на специальном вебсайте публикует информацию о том, где и когда были проведены аресты. Однажды несколько кликов показали, что полиция боролась с проституцией на одной из улиц каждый вечер за исключением сред. Это, скорее всего, означает, что такой тактики они придерживаются самостоятельно.

Но большие массивы информации могут иметь намного более серьезные последствия, чем в предыдущем примере. Во время последнего финансового кризиса выяснилось, что банки и рейтинговые агентства полагались на модели, которые, хотя и предполагали учет огромного количества данных, не отражали финансовый риск в реальном мире. Это было первым кризисом, который разгорелся благодаря информации - и их будет больше.

Способ управления информацией затрагивает все сферы жизни. В конце 20-ого столетия новые потоки информации через такие каналы, как телеграф и телефон поддерживали массовое производство. Сегодня изобилие данных позволяет компаниям удовлетворить спрос даже маленьких специализированных рынков где-либо в мире. Раньше производство базировалось в пределах фабрики, где менеджеры детально изучали каждую машину и процесс, чтобы сделать его более эффективным. Теперь статистики предоставляют информацию, которая служит бизнесу для рождения новых идей.

 “Экономика, основой которой является информация, только возникает, - говорит Манди из Microsoft. - Вы можете видеть первые ласточки этого процесса, но технические, инфраструктурные и даже бизнес-модели сейчас до конца не ясны». Это статья указывает на то, где они начинают появляться.

Оригинал статьи Вы можете прочесть здесь