几年前,当人们开始对Hadoop产生兴趣时,WANDisco利用其大数据移动技术为预期的业务激增做好了准备。然而,这项业务从未完全展开。当Hadoop泡沫最终破灭时,公司只能寻找新的市场。现在,通过5G网络收集的工业物联网数据正成为主流,WANDisco成为了云上大数据热潮中的一员。
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
像业内许多人一样,WANdisco首席执行官David Richards也受到Hadoop时代的挫折。幸运的是他成功地带领公司度过了Hadoop风暴,进入了更宜人的“水域”。
因祸得福,Richards谈到Hadoop的整个体验时说道:“我们制造了一种解决大规模数据问题的产品,当时看起来像一群白痴,因为没有人拥有如此大规模的数据。”
随着向Hadoop的迁移逐渐减少,WANDisco的核心技术需要一个新的市场,这可以帮助用户及时地在网络上移动大量数据。该公司的优势在于,它能够让分析师或数据科学家在数据到达目的地的那一刻就开始处理数据,而不是等待数天、数周或数月才能移动整个数据集。
因为使用共识来确保数据准确,不必扫描数据,因此可以在打开产品的一秒内开始运行机器学习。也能够在任何可用带宽上对其进行多路复用,并使整个事情效率倍增。
尽管Hadoop失败了,但云数据平台已经崛起,流入云中的对象存储数据确实非常庞大。WANdisco最近被用于将大型电信公司的25 PB(1PB=1024TB)数据移动到云中,在那里可以使用流行的云数据仓库之一进行分析。它还参与了另一项交易,为一家大型汽车公司每年将1 EB(1EB=1024PB)的数据移动到云端。
WANdisco在一夜之间取得了10年的成功。技术理论从未改变,即在互联网上移动PB级数据非常困难,确保数据以正确的顺序及时到达也是一个问题。
5G技术最初主要作为一种消费技术进行推广。新的无线技术使我们能够在几秒钟内下载完整的影片,并将开启互动游戏的新时代。5G将成为新的网络,使我们能够参与增强现实并享受元宇宙。
事实证明,这并不是5G的全部用途。Richards说:“用例不仅仅是视频或手机。更多行业正致力于成为具有传感器边缘云完整解决方案的物联网骨干公司。
从汽车收集的数据特别大,而且需要及时。制造商正在收集电动汽车部件的可靠性和性能数据,而保险公司则对驾驶数据感兴趣,以帮助定价保费。
WANdisco是一家在英国上市而总部位于美国的公司。2022年,收入飙升了967%,从约1200万美元增至1.27亿美元。该公司公布的递延收入约为1.1亿美元,高于去年的不足1000万美元。
Richards称这些数字“荒谬”,他对WANDisco突然产生的业务量感到震惊。“公司现在发生的事情太疯狂了。我从未见过这样的事情。这就是我们所说的会发生的事情。但当它真的发生时,你必须有能力来支持它。”
Richards乐观地认为,大数据龙头只会打开得更大。随着公司意识到其数据的价值远远大于其传统业务的价值,这将催生对更大数据移动的需求,以推动更大的机器学习工作量。
同时WANdisco发布了Data Activation Platform 2.0,该公司声称这将导致更大数据集更快地移动到云端。新版本为同时使用多个数据传输代理提供了更好的支持;数据源环境的自动清理;加强数据保真度验证;加强对数据传输优先级的控制;以及用户界面的增强。