物联网、5G世界与大数据管理

物联网带动中国产业转型、推动社会经济发展的时代已经到来。什么是物联网？物联网又给数据管理带来了哪些挑战？面对挑战，我们有怎样的解决方案？本文中我们将一一为您揭晓。

 

---

 

01 物联网时代的到来

 

过去十年国家政策对中国物联网的发展给与了重大支持。作为“互联网+”的重要组成部分，物联网被提升到了国家战略产业的高度，成为中国发展最快、最具活力的创新领域之一。

 

为了加快对物联网和5G的投入，工信部最近又印发了《关于深入推进移动物联网全面发展的通知》1，旨在加大力度建设5G网络和其他与物联网有关的基础设施，围绕产业数字化、治理智能化、生活智慧化三大方向推动移动物联网的创新发展。

 

2020年新冠抗疫过程中物联网技术的采用和推广达到了前所未有的规模。人们利用物联网提供的位置服务，跟踪和识别高风险病例，限制病例移动，从而遏制了病毒的传播。

 

此外，物联网解决方案也被应用在帮助实施各种远程服务（包括医疗护理）、支持供应链的正常运转及关键资源的调配。

 

根据埃森哲的分析预测2，通过采取进一步措施，提高本国采用物联网技术的能力以及增加物联网投资，到2030年，物联网能给中国带来1.8万亿美元的GDP累计增长额。

 

物联网带动中国产业转型、推动社会经济发展的时代已经到来。

 

---

 

02 什么是物联网

 

物联网是什么？为什么它有如此威力？

 

简单来说，物联网是通过射频识别（RFID）和传感器等设备把实物与互联网相连，以进行智能化识别、监控和管理的一种网络技术。

 

近年来物联网的概念被不断拓展和更新。广义范畴的物联网包括了当下几乎所有技术与计算机、互联网技术的结合，例如：嵌入式系统、无线传感器网络、互联网、云平台、实时分析、机器学习和人工智能3。

 

物联网的组成包括传感硬件设备，网络通信系统和软件服务平台。它是横跨硬件、网络和软件的综合性二十一世纪新技术。就像汽车制造是一个国家工业水平的综合体现，物联网是一个国家现代科技水平的综合体现。

 

物联网实现了万物之间、人与环境之间的互联互通和互相交流。更进一步，物联网将多样的实物世界转化为统一的数字虚拟世界，因而对已有的思维概念、社会行为、商业模式和经济发展都产生了颠覆性的冲击和影响。

 

物联网的应用十分广泛。根据埃森哲的分析研究2，制造业、公共服务和资源产业是中国物联网发展受益最大的三个产业。医疗保健、教育、交通等领域也有很大潜力。依靠工业物联网推动实现中国制造业的智能化转型是目前国家战略的重点和未来发展的希望。

 

---

 

03 物联网带来的数据管理挑战

 

试想一下，四面八方的物联网产生海量监控数据，通过5G移动网络以眨眼的速度每时每刻不断传送到云端地面的数据中心。这样的数据量是个什么样的概念？

 

根据IDC最近的调查报告4，由于物联网和云迁移，未来两年企业数据将以42.2%的年速度增长，到2022年总量将达到也就是202万千兆字节(2.02PB)。面对物联网带来的数据爆炸，你准备好了吗？

 

物联网数据不仅数量庞大，而且地域分散、形式复杂。由于物联网在全球领域多元化的环境中运作，如何把信息从终端、网络、云平台和边缘等多种系统和环境中有效地汇集和集成，这也是不小的困难。

 

除了数据采集，传输和存储问题，物联网还对即时响应和实时分析提出了更高的要求。再加上数据安全上的各种隐患和担忧，可以说，物联网时代对大数据管理的挑战是全方位的！

 

有效管理所有这些数据始于适当的基础架构。互联网之前的架构甚至云时代之前的架构现在恐怕都无法适应新时代的要求了。

 

以混合云和分布式数据库为核心的基础架构和整合策略是物联网时代理想的数据管理解决方案。创建和支持具有可伸缩性和数据高可用性的分布式计算系统对确保应用程序的平稳运行、容纳更大数量的数据传入都至关重要。

 

Apache Cassandra分布式数据管理系统适合多云、混云策略，也适合跨地域、跨中心的部署。它的很多架构优势似乎是为迎接物联网时代的数据挑战量身打造的。

 

Apache Cassandra去中心的架构设计允许在节点之间进行即时数据传输和数据复制，满足了企业对即时响应和数据一致性的要求。同时，去中心的架构原理也使Cassandra系统能够轻松实现线性扩展和始终在线。

 

低成本和易操作的线性扩展特质可以帮助企业灵活应对数据增长和数量波动。而低迟延、高容错、始终在线的特质正好符合了物联网对数据服务的高期待和高要求。

 

---

 

04 DataStax支持物联网企业的成功案例

 

DataStax Enterprise(DSE)是商业支持的企业版Apache Cassandra分布式数据管理系统。使用DSE作为企业的大数据管理平台不仅可以享有Cassandra开源系统的优良特质，还可以拥有DataStax精湛团队的鼎力支持。

 

在快速获取数据方面，Apache Cassandra是数据库市场无可争议的领导者。通过与Apache Kafka的内置集成，DSE可以从世界任何地方以零宕机时间高速写入时间序列和基于传感器的数据流，并使其自动与其他位置的副本同步。

 

DataStax在支持物联网方面已经颇具经验和口碑。下面分享两个实例，介绍DSE是如何帮助物联网公司在竞争中取得优势地位的。

 

案例一： DataStax Enterprise确保Kapsch CarrierCom实现完全的数据控制

 

客户背景

Kapsch CarrierCom（KC）公司是Kapsch集团旗下一家端到端电信网络全球开发商，是全球移动通信和铁路系统（GSM-R）标准的领先专家。KC公司总部位于奥地利首都维也纳，为超过25个国家和地区的客户提供服务。其国际客户包括领先的铁路运营商、公用事业、公共机构、运输运营商和机场。

 

客户挑战

“我们需要一个不会出现瓶颈或受可扩展性限制的解决方案。它必须‘永远在线’，为关键任务提供绝对的故障安全性能。它还需要包括分析工具，并提供高度可靠的支持系统”，该公司业务解决方案经理Josep Colom Ikuno说。

 

解决方案

KC公司评估了各种关系型数据库和NoSQL数据库的选项。他们很快排除了关系型数据库的解决方案，因为无法提供满足设计要求的性能。在所有可用的NoSQL解决方案中，只有DSE提供了所需的成熟度和稳定性以及简单的实施。从成本的角度看，DSE也是最佳选择。

 

客户结果

KC公司快速有效地实施了DSE系统。DSE的简易性和易管理性（更新，升级等）使其在开发团队和提供解决方案的团队中非常受欢迎。

 

DSE去中心的架构确保了始终可用和线性扩展性，从容接纳了来自物联网设备的入站事件数据以及进程中生成的新数据。

 

举例来说，作为KC公司客户的一家公用事业公司，其数据存储既包含均质化、处理后的数据，又包含未经处理的原始数据。DSE的数据存储结构允许实施客户自定义的应用程序，其基于Apache Spark的内置分析功能满足了客户这方面的需求。

 

这家公用事业公司的物联网平台的主要用途是提供报告和实时仪表板。他们的应用包括带有传感器数据的地理位置数据，随时间变化的地理数据测量，具有统计基础的时间序列分析，以及不同传感器输入的事件动态或组合。

 

 

案例二：Equinix通过DataStax为数百万种业务应用程序提供高性能和优化客户体验

 

客户背景

Equinix是领先的互连平台和托管服务提供商。2013年时大约90％的美国互联网流量是通过Equinix的平台进行的。Equinix为数百万个业务应用程序提供高性能和低延迟的服务，为客户提供网络监控解决方案和数据中心基础架构，实现监控、故障排除和客户计费的目的。

 

客户挑战

Equinix在全球拥有100多个数据中心，并提供共享互联网网络交换的服务。为了向客户确保最佳的数据中心性能和网络流量健康，Equinix汇总了来自基础架构的流数据，用以监控，故障排除和客户计费。

 

Equinix承受的时序数据的数量和速度是惊人的，所以他们急需相应的规模、实时性能和持续可用性。Equinix对高级数据库有独特的需求，该数据库必须能够处理繁重的写入工作负载，同时兼顾交叉引用和数据聚合的功能。

 

解决方案

经过对总体拥有成本（TCO）进行广泛的评估，Equinix选择了基于Apache Cassandra的DSE。DSE具备经济有效的规模扩展性、连续可用的架构设计和卓越的读写性能，而且可以与Hadoop进行无缝集成。

 

客户结果

“Cassandra DSE的最大好处就是操作简便，这与Cassandra始终在线的节点体系结构息息相关。” Equinix的新兴技术和平台高级经理Praveen Kumar说，“ Cassandra的对等体系结构可确保从基础设施工具中收集和存储的流数据不会出现单点故障，并使我们能够以最小的延迟从任何节点进行读写。”

 

借助DataStax，Equinix释放了流数据的价值，这是任何关系型系统都无法做到的。因此，Equinix最大化地交付了客户价值和客户回报。

 

此外，作为设备齐全的数据中心提供商，Equinix必须计划功率容量，优化资源消耗和减少故障。基于Cassandra构建的应用程序可以提供有关功耗的明细分析，帮助管理员更好地计划基础架构和资源的分配。

 

如今，每天有9000万条网络流量数据记录、收集并存储在Equinix的Cassandra DSE中。利用这些信息，Equinix向客户提供了网络运行状况和流量分析报告，更好地吸引了客户。

 

面对物联网时代和5G网络带来的数据大爆炸，准备好与之适应的数据管理架构将成为企业成功的关键要素。

 

---

 

References:

1. 《工业和信息化部办公厅关于深入推进移动物联网全面发展的通知》，2020年4月30日
2. Accenture埃森哲，“物联网：推动中国产业转型”， 2015年9月
3. https://www.oracle.com/cn/internet-of-things/what-is-iot.html
4. IDC, “Rethink Data - Put More of Your Business Data to Work—From Edge to Cloud”, July 2020