© 2018–2019 Train and Brain
Наша рассылка позволит вам оперативнее узнавать о том, как меняется железнодорожный мир!
Вы будете получать уведомления о публикации новых статей
Нажимая на кнопку, вы даете согласие на обработку персональных данных и соглашаетесь c политикой конфиденциальности
Время гибридов
Технологии блокчейн и big data все чаще совместно используют в самых разных сферах человеческой деятельности — от промышленности и коммерции до безопасности и госуслуг. Гибридные платформы такого рода также нашли широкое применение в транспортном комплексе и логистике. Оказалось, что технологии идеально дополняют друг друга.
Время гибридов
Технологии блокчейн и big data все чаще совместно используют в самых разных сферах человеческой деятельности — от промышленности и коммерции до безопасности и госуслуг. Гибридные платформы такого рода также нашли широкое применение в транспортном комплексе и логистике. Оказалось, что технологии идеально дополняют друг друга.
Такие разные…
Долгое время blockchain (блокчейн, распределенные реестры) и big data (биг дата, большие данные) сосуществовали параллельно. Big data чаще использовалась для анализа больших объемов информации, а блокчейн в основном как защищенная система хранения. Между тем обе технологии имели определенные нарекания. Критики отмечали, что базы big data уязвимы перед киберпреступниками и хранящиеся в них данные могут быть удалены без следа, а блокчейн обрабатывает потоки информации недостаточно быстро и при этом энергозатратен. Нет ничего удивительного, что скоро в мире нашлись специалисты, которые попытались «скрестить» big data и блокчейн, объединить их лучшие качества в одной гибридной платформе.
«Технология распределенного реестра обеспечивает целостность информации, а также надежное и прозрачное хранение всей истории транзакций. Big data, в свою очередь, предоставляет много инструментов для ее эффективного анализа, включая прогнозирование, экономическое моделирование, и, соответственно, открывает новые возможности для принятия более точных управленческих решений. Обеспечивает снижение рисков проектов, связанных с анализом больших объемов данных», — подтверждает вице-президент по развитию и регулированию рынка Российской ассоциации криптовалют и блокчейна (РАКИБ) Валерий Петров.
«Технология распределенного реестра обеспечивает целостность информации, а также надежное и прозрачное хранение всей истории транзакций. Big data, в свою очередь, предоставляет много инструментов для ее эффективного анализа, включая прогнозирование, экономическое моделирование, и, соответственно, открывает новые возможности для принятия более точных управленческих решений. Обеспечивает снижение рисков проектов, связанных с анализом больших объемов данных», — подтверждает вице-президент по развитию и регулированию рынка Российской ассоциации криптовалют и блокчейна (РАКИБ) Валерий Петров.
Погрузка древесины с помощью крана
Однако если неправильно «совместить» технологии, то из-за относительно невысокой скорости транзакций блокчейн может попросту тормозить big data.
«Блокчейн хорош тем, что в нем нельзя изменить проведенные операции задним числом. Это отлично подходит для защиты прав пользователей, однако накладывает очень серьезные ограничения для практического использования в бизнесе», — уверен Валерий Петров.
Поэтому распределенный реестр должен лишь обеспечивать накопление информации, которая может использоваться как для обработки в сервисах больших данных, так и в качестве индикаторов для оценки эффективности результата работы сервиса big data. «Сами по себе большие данные в блокчейне не должны обрабатываться и передаваться — это слишком затратно», — подтверждает Михаил Чеканов, генеральный директор компании «КБ «Контракт».
«Блокчейн хорош тем, что в нем нельзя изменить проведенные операции задним числом. Это отлично подходит для защиты прав пользователей, однако накладывает очень серьезные ограничения для практического использования в бизнесе», — уверен Валерий Петров.
Поэтому распределенный реестр должен лишь обеспечивать накопление информации, которая может использоваться как для обработки в сервисах больших данных, так и в качестве индикаторов для оценки эффективности результата работы сервиса big data. «Сами по себе большие данные в блокчейне не должны обрабатываться и передаваться — это слишком затратно», — подтверждает Михаил Чеканов, генеральный директор компании «КБ «Контракт».
...и все-таки вместе
Возможности платформ, сочетающих преимущества блокчейна и big data, одними из первых начали исследовать органы, противодействующие нелегальным поставкам.
Осенью 2018 года Министерство сельского хозяйства, рыболовства и продовольствия Испании объявило о разработке блокчейн-платформы для развития национальной лесной промышленности. Разработчики рассчитывают, что платформа поможет бороться с незаконными рубками и импортом древесины и изделий из нее из незаконных источников. Запуск тестовой версии системы состоится в первой половине 2020 года. Ее опробуют в пилотных программах по контролю за поставками древесины тополя, каштана и дуба в нескольких регионах Испании.
В российском агросекторе заработала система «Меркурий», через которую производители оформляют электронные ветеринарные сертификаты на продукцию. По заказу Министерства промышленности и торговли России группа ученых из Санкт-Петербурга интегрировала в «Меркурий» технологию слияния данных Data Fusion и систему QR-кодов, а затем объединила эти массивы на базе блокчейна. В результате с 1 июня 2020 года на каждую упаковку молока, сливок, сгущенки, йогурта, кефира, сливочного масла, мороженого, сыра и творога будет наноситься код Data Matrix, который можно считать при помощи смартфона. На экране при этом отобразятся сведения о происхождении молока и дате надоя, способе транспортировки сырья до завода, произведенных анализах, дате выпуска конкретной упаковки товара, добавлении дополнительных ингредиентов. Ожидается, что таким образом снизится незаконный оборот молочной продукции, потому что подделать информацию, заложенную в QR-код, невозможно.
Осенью 2018 года Министерство сельского хозяйства, рыболовства и продовольствия Испании объявило о разработке блокчейн-платформы для развития национальной лесной промышленности. Разработчики рассчитывают, что платформа поможет бороться с незаконными рубками и импортом древесины и изделий из нее из незаконных источников. Запуск тестовой версии системы состоится в первой половине 2020 года. Ее опробуют в пилотных программах по контролю за поставками древесины тополя, каштана и дуба в нескольких регионах Испании.
В российском агросекторе заработала система «Меркурий», через которую производители оформляют электронные ветеринарные сертификаты на продукцию. По заказу Министерства промышленности и торговли России группа ученых из Санкт-Петербурга интегрировала в «Меркурий» технологию слияния данных Data Fusion и систему QR-кодов, а затем объединила эти массивы на базе блокчейна. В результате с 1 июня 2020 года на каждую упаковку молока, сливок, сгущенки, йогурта, кефира, сливочного масла, мороженого, сыра и творога будет наноситься код Data Matrix, который можно считать при помощи смартфона. На экране при этом отобразятся сведения о происхождении молока и дате надоя, способе транспортировки сырья до завода, произведенных анализах, дате выпуска конкретной упаковки товара, добавлении дополнительных ингредиентов. Ожидается, что таким образом снизится незаконный оборот молочной продукции, потому что подделать информацию, заложенную в QR-код, невозможно.
Если неправильно «совместить» технологии, то из-за относительно невысокой скорости транзакций блокчейн может попросту тормозить big data
Доверяй, но проверяй
Использование «гибридных» платформ, объединяющих возможности блокчейна и big data, также открывает заманчивые перспективы для крупного бизнеса.
Компании, взаимодействующие при помощи блокчейна, имеют возможность совместно обновлять данные. Например, если в процессе движения груза происходит его усушка (утруска), что должно отразиться в документах. Или если возникает необходимость перевести товар из одних единиц измерения в другие (например, поставщики топлива измеряют свою продукцию в литрах, а авиаперевозчики — в килограммах). Контрагенты делают перерасчет, и, если их показания совпадают, они заносятся в блокчейн. В противном случае начинается перепроверка.
Пока речь идет о заправке конкретного авиарейса или разгрузке одного танкера, можно применять лишь блокчейн. Но если же собираются данные уже о нескольких рейсах или грузах, то гораздо эффективнее использовать big data.
Компании, взаимодействующие при помощи блокчейна, имеют возможность совместно обновлять данные. Например, если в процессе движения груза происходит его усушка (утруска), что должно отразиться в документах. Или если возникает необходимость перевести товар из одних единиц измерения в другие (например, поставщики топлива измеряют свою продукцию в литрах, а авиаперевозчики — в килограммах). Контрагенты делают перерасчет, и, если их показания совпадают, они заносятся в блокчейн. В противном случае начинается перепроверка.
Пока речь идет о заправке конкретного авиарейса или разгрузке одного танкера, можно применять лишь блокчейн. Но если же собираются данные уже о нескольких рейсах или грузах, то гораздо эффективнее использовать big data.
Компании, взаимодействующие при помощи блокчейна, имеют возможность совместно обновлять данные
«Распределенный реестр используется для организации обмена информацией, как правило, в многосторонних бизнес-процессах, другими словами, там, где есть необходимость передавать и обрабатывать данные между несколькими организациями, состав которых меняется. Собрать big data из разных источников, где они по-разному структурированы и обработаны, и ничего не потерять при выгрузке как раз и позволяет блокчейн», — говорит Михаил Чеканов.
Так, в 2019 году американский производитель программного обеспечения IBM и датская судоходная корпорация A.P. Moller — Maersk запустили блокчейн-платформу TradeLens для отслеживания грузов. В этой сети в управлении контейнерными перевозками участвуют Maersk, множество логистических операторов разного уровня, контейнерных терминалов, органы исполнительной власти, банки (всего около 100 субъектов). Все вместе участники системы заинтересованы в максимально эффективном результате операций, но при этом конкурируют между собой за деньги конечных клиентов — грузовладельцев.
Раньше для согласования всех необходимых процессов каждому из участников необходимо было интегрироваться в информационные системы друг друга. В противном случае в цепочке поставок возникал разрыв и приходилось переходить на бумажную форму договоров. Блокчейн смог гарантировать достоверность не только отдельного документа, но и всей цепочки транзакций. Благодаря «бесшовному» подходу удалось сократить сроки простоя контейнеров на 40%, а транзакционные издержки (количество «ручных» операций) — уменьшить в 10 раз.
Так, в 2019 году американский производитель программного обеспечения IBM и датская судоходная корпорация A.P. Moller — Maersk запустили блокчейн-платформу TradeLens для отслеживания грузов. В этой сети в управлении контейнерными перевозками участвуют Maersk, множество логистических операторов разного уровня, контейнерных терминалов, органы исполнительной власти, банки (всего около 100 субъектов). Все вместе участники системы заинтересованы в максимально эффективном результате операций, но при этом конкурируют между собой за деньги конечных клиентов — грузовладельцев.
Раньше для согласования всех необходимых процессов каждому из участников необходимо было интегрироваться в информационные системы друг друга. В противном случае в цепочке поставок возникал разрыв и приходилось переходить на бумажную форму договоров. Блокчейн смог гарантировать достоверность не только отдельного документа, но и всей цепочки транзакций. Благодаря «бесшовному» подходу удалось сократить сроки простоя контейнеров на 40%, а транзакционные издержки (количество «ручных» операций) — уменьшить в 10 раз.
Для таких бизнес-процессов блокчейн подходит идеально. У всех участников системы одновременно появляется возможность проверить товарно-транспортную накладную. Все документы выглядят идентично, и подменить или изменить их невозможно. В то же время права доступа у участников системы разные. Например, банк может видеть счета-фактуры, но не имеет доступа к тексту контракта. Однако в то же время он уверен, что интересующий его документ действительно существует.
Есть и другие примеры синергии двух технологий. Например, в пилотном проекте «РЖД» «Сервис контроля жизненного цикла колесных пар грузовых вагонов», который запущен осенью прошлого года, перевозчик, производители, операторы и ремонтные компании обмениваются информацией о колесных парах. В систему попадают такие данные, как материал изготовления, история использования и ремонта и даже акты об отнесении к разряду металлолома. Кроме того, на блокчейн-платформе можно заключать смарт-контракты о купле-продаже колесных пар, без составления бумажных договоров. В результате работы этой платформы снижается вероятность использования неисправных или списанных колес и тем самым повышается безопасность перевозок. В 2020 году проект планируется распространить и на другие детали грузовых вагонов.
Есть и другие примеры синергии двух технологий. Например, в пилотном проекте «РЖД» «Сервис контроля жизненного цикла колесных пар грузовых вагонов», который запущен осенью прошлого года, перевозчик, производители, операторы и ремонтные компании обмениваются информацией о колесных парах. В систему попадают такие данные, как материал изготовления, история использования и ремонта и даже акты об отнесении к разряду металлолома. Кроме того, на блокчейн-платформе можно заключать смарт-контракты о купле-продаже колесных пар, без составления бумажных договоров. В результате работы этой платформы снижается вероятность использования неисправных или списанных колес и тем самым повышается безопасность перевозок. В 2020 году проект планируется распространить и на другие детали грузовых вагонов.
Погрузка контейнеров в порту
Вместе навсегда
В ближайшие несколько лет гибридные платформы будут использоваться для анализа все большего числа процессов различной сложности. Так, компаниям «Трансмашхолдинг» и Vostok удалось создать блокчейн-систему анализа данных о состоянии локомотивных парков. Она отвечает за верификацию, сбор, распределенное хранение и анализ данных о состоянии поездов. Система также дополнительно интегрирована с решением Smart Maintenance от компании Clover Group, которое позволяет делать интеллектуальную диагностику и прогнозировать техническое состояние оборудования локомотивов. Разработка помогла увеличить скорость проверки поступающих данных, сократить ресурсы на поиск и выявление аномалий и повысить качество предиктивной аналитики.
В ближайшие несколько лет гибридные платформы будут использоваться для анализа все большего числа процессов различной сложности
По мнению аналитиков компании Gartner, блокчейн также будет востребован для проектов, предусматривающих обработку сложных данных: медицинских записей, прав на интеллектуальную собственность, больших объемов связанных неструктурированных данных и документов о недвижимости.
Такие примеры «слияния» двух технологий встречаются все чаще. Например, российская блокчейн-платформа «Мастерчейн» используется для работы с ипотечными закладными. За рубежом подобные решения для финансовых организаций и промышленных предприятий предоставляет компания Hyperledger.
Спрос на гибридные платформы среди маркетологов также будет быстро увеличиваться. «Совместное использование блокчейна и big data в ретейле, телекоме, финансовом секторе, в сфере медиауслуг, логистики и других видов сервиса позволяет гораздо лучше узнать потребителей, эффективнее привлекать аудиторию из Интернета, оценивать удовлетворенность клиентов, повышать их доверие, экономить на услугах посредников. Можно создавать проекты, которые изначально будут пользоваться спросом за счет предварительного изучения предпочтений аудитории», — рассказывает Валерий Петров.
Такие примеры «слияния» двух технологий встречаются все чаще. Например, российская блокчейн-платформа «Мастерчейн» используется для работы с ипотечными закладными. За рубежом подобные решения для финансовых организаций и промышленных предприятий предоставляет компания Hyperledger.
Спрос на гибридные платформы среди маркетологов также будет быстро увеличиваться. «Совместное использование блокчейна и big data в ретейле, телекоме, финансовом секторе, в сфере медиауслуг, логистики и других видов сервиса позволяет гораздо лучше узнать потребителей, эффективнее привлекать аудиторию из Интернета, оценивать удовлетворенность клиентов, повышать их доверие, экономить на услугах посредников. Можно создавать проекты, которые изначально будут пользоваться спросом за счет предварительного изучения предпочтений аудитории», — рассказывает Валерий Петров.
Блокчейны 4-го и 5-го поколений уже могут обрабатывать несколько сотен тысяч транзакций в секунду
- Александр Демидов,
Отвечая на вопрос о том, как технология блокчейн используется с big data, правильнее говорить, как и чем эти технологии могут дополнить друг друга. Чтобы это понять, важно проанализировать проблемы, с которыми сталкиваются большие данные и которые можно попытаться решить с помощью блокчейна.
Big data имеет дело с огромным объемом данных, который постоянно увеличивается в геометрической прогрессии. Таким образом, становится чрезвычайно сложно хранить все данные в безопасном режиме. Блокчейн же предоставляет иной в сравнении с big data подход к управлению данными и работы с ними: не в централизованной системе, где все данные должны быть сведены вместе, а в децентрализованной, когда данные могут анализироваться сразу на периферии отдельных устройств. Самым большим преимуществом блокчейна является безопасность данных, хранящихся в нем. Они защищены криптографически.
Также распределенные данные гораздо сложнее атаковать. Вся информация, которая хранится в блокчейне, не принадлежит одному узлу, поэтому возможности их украсть нет. Также блокчейн помогает избегать такого способа атаки, как инициирование сбоя транзакции, после чего токен безопасности используется несколько раз. Это является реальной проблемой при передаче данных в централизованных системах.
Поскольку объем big data велик, обнаружение мошенничества и очистка входных данных являются чрезвычайно трудоемкой задачей. Блокчейн же предоставляет проверенные данные, гарантирует их структурированность и полноту.
Еще одной проблемой больших данных является управление стоимостью. Настройка хранилищ, проверка, обеспечение надежности и живучести систем работы с данными — то, что увеличивает стоимость самих данных для потребителя. Блокчейн за счет своей распределенности и обеспечения целостности позволяет существенно снизить стоимость владения.
Надо сказать еще об одной проблеме, которую блокчейн может помочь решить в системах big data, — возникновение случайной эндогенности, для защиты от которой применяются сложные алгоритмы. Блокчейн как технология, гарантирующая целостность и, главное, структурированность данных, сможет упростить ее решение.
Если учесть все эти факторы, можно сделать вывод, что любые данные, поступающие из блокчейна, априори являются ценными. Иными словами, big data обеспечивает наличие количественных данных, а блокчейн — предобработку «сырых» данных для достижения наивысшего качества.
Остается вопрос производительности. Сегодня развитые и распространенные блокчейн-технологии не могут похвастаться высокой производительностью, которая необходима системам аналитики больших данных. Однако блокчейны 4-го и появляющегося 5-го поколения уже могут обрабатывать несколько сотен тысяч транзакций в секунду. Реальную же производительность в промышленных системах еще предстоит измерить. Но в целом один из трендов развития блокчейн-технологий как раз в повышении производительности, что сделает их еще более привлекательными для использования в системах работы с большими данными.
Big data имеет дело с огромным объемом данных, который постоянно увеличивается в геометрической прогрессии. Таким образом, становится чрезвычайно сложно хранить все данные в безопасном режиме. Блокчейн же предоставляет иной в сравнении с big data подход к управлению данными и работы с ними: не в централизованной системе, где все данные должны быть сведены вместе, а в децентрализованной, когда данные могут анализироваться сразу на периферии отдельных устройств. Самым большим преимуществом блокчейна является безопасность данных, хранящихся в нем. Они защищены криптографически.
Также распределенные данные гораздо сложнее атаковать. Вся информация, которая хранится в блокчейне, не принадлежит одному узлу, поэтому возможности их украсть нет. Также блокчейн помогает избегать такого способа атаки, как инициирование сбоя транзакции, после чего токен безопасности используется несколько раз. Это является реальной проблемой при передаче данных в централизованных системах.
Поскольку объем big data велик, обнаружение мошенничества и очистка входных данных являются чрезвычайно трудоемкой задачей. Блокчейн же предоставляет проверенные данные, гарантирует их структурированность и полноту.
Еще одной проблемой больших данных является управление стоимостью. Настройка хранилищ, проверка, обеспечение надежности и живучести систем работы с данными — то, что увеличивает стоимость самих данных для потребителя. Блокчейн за счет своей распределенности и обеспечения целостности позволяет существенно снизить стоимость владения.
Надо сказать еще об одной проблеме, которую блокчейн может помочь решить в системах big data, — возникновение случайной эндогенности, для защиты от которой применяются сложные алгоритмы. Блокчейн как технология, гарантирующая целостность и, главное, структурированность данных, сможет упростить ее решение.
Если учесть все эти факторы, можно сделать вывод, что любые данные, поступающие из блокчейна, априори являются ценными. Иными словами, big data обеспечивает наличие количественных данных, а блокчейн — предобработку «сырых» данных для достижения наивысшего качества.
Остается вопрос производительности. Сегодня развитые и распространенные блокчейн-технологии не могут похвастаться высокой производительностью, которая необходима системам аналитики больших данных. Однако блокчейны 4-го и появляющегося 5-го поколения уже могут обрабатывать несколько сотен тысяч транзакций в секунду. Реальную же производительность в промышленных системах еще предстоит измерить. Но в целом один из трендов развития блокчейн-технологий как раз в повышении производительности, что сделает их еще более привлекательными для использования в системах работы с большими данными.
КОРОТКО
- При одновременном использовании технология блокчейн обеспечивает целостность информации, а также надежное и прозрачное хранение всей истории транзакций. Big data, в свою очередь, предоставляет много инструментов для эффективного анализа этой информации.
- В России синергию блокчейна и big data одними из первых оценили борцы с контрафактом. В российском агросекторе работает система «Меркурий», через которую производители оформляют электронные ветеринарные сертификаты на продукцию.
- Если неправильно «совместить» технологии, то из-за относительно невысокой скорости транзакций блокчейн может тормозить big data.
- «Трансмашхолдинг» в сотрудничестве с компанией Vostok в 2018 году начал создавать блокчейн-систему анализа данных о состоянии локомотивных парков.