在没有纸张,也没有简牍的时代,古代中国的地图绘制在哪里呢?
答案,是鼎上。
《汉书·郊祀志》记载,大禹治水成功后,用九州进贡的金属,铸造了九只大鼎,把九州有代表性的各种奇异之物、山川河流的地形分布镌刻在其上。据此可知,九鼎是见于文献记载的、刻绘有九州山川形势的原始实物地图。
随着历史的发展,地图的形式也在不断变化着,先秦到两汉时期,先后出现了帛、纸质的地图。
而到了今天,对于我们来说,找到自己的地理位置和方向已经变得更加简单,因为我们已经有了数字时代的“地图导航软件”。
地图软件为我们带来了极大的便利,节约了很多的出行时间,比如避免堵车。可是大家有没有想过,地图软件是如何知道前方拥堵的?是如何知道这段路上有违章监控的,又是如何在众多线路中选择最佳路线的呢?
今天,让我们来揭开
这些地图软件强大功能
背后的神秘力量
☟☟☟
小小的地图软件
数据从何而来
与铭刻在九鼎上的地图和帛、纸地图不同的是,现代地图软件拥有更多的功能。比如我们上文所说的对行车线路进行规划。
要想掌控全局并对线路进行指引,首先要有最基础的地理信息数据。举个简单的例子:一个地区有多少条街道,这些街道的准确位置,每条街道多宽、多长等。有了这些基础数据,加上软件的算法,才能实现地图软件的功能。所以基础地理信息数据非常重要,是所有地图导航软件的基石,一般来说,主流的数据来源分为四类:
❶ 高空拍摄:使用专业航空器从空中拍照片
❷ 数据共享:从专业领域获取数据
❸ 实地采集:使用专业测绘仪器
❹ 互相帮助:用户上报更新环境
其中前两项是数据的主要来源。由于我国的高空拍摄管控严格,地理基础数据一般不对外,所以很多数据要从专门的测绘机构获取。
该测绘机构一部分职责是管理全国测绘成果资料和档案资料,在这里,我国的山川河流、平原丘陵,各种地形地貌都被电子化和数字化了,为石油勘探、农业牧业、轨道交通等各行各业提供地形保障,是国家非常重要的部门,其所存储的地理信息之全面,堪称数字时代的“九鼎图”。
海量的地理信息
数据如何存储
前端人员非常辛苦地将数据采集回来,并被电子化之后,这些宝贵的数据存储在哪里呢?
01
巨量的数据
电子化之后的地理信息,是通过不同的层次来描述的。对于不同的应用,叠加的图层也是不同的。简单的说,仅仅是一条道路,无论是采用矢量模型还是栅格模型进行电子化,数据量都是非常大的。我国幅员辽阔,存储在测绘机构的数据量规模可想而知,至少要几十PB,而且历史数据永远不能删除,数据只会越来越多。
02
高并发访问
高并发在地图制作和用户访问两个阶段都会发生。采集回来的数据要经过清洗、渲染等工序实现数字化。制作完成之后,还会有大量的使用端进行访问。这两个阶段对存储系统的读写要求都非常高。
03
区分“冷/热”数据
我国发展迅速,几年之间一个地区就会发生翻天覆地的变化,基础地理信息数据也会随之更新。这些历史版本的数据不能删除,而且有时候还会被利用到。新/旧地图维护在一个存储体系中,新的经常用,旧的不能丢,还要随时准备着被访问,这些复杂的事情都需要存储系统来处理。
数字时代“九鼎图”的背后
让我们回到原点,地图软件之所以能规划最佳线路,是因为地图软件里已经有了地理信息数据,这些数据都已经装在了软件服务器的存储系统里,这样,地图软件才能发挥作用。存储这些数据的容器不是普通的硬盘,而是满足大数据量、高并发、区分冷热等要求的存储体系,是这个存储体系在背后默默支持着地图软件。
我们上文已经提到,地图软件的大部分数据来自测绘机构,这里存储着堪称数字时代“九鼎图”的海量基础地理信息数据,是我国地理信息的标杆,经过长期的技术积累,已经找到了合适的存储体系。
下面我们来看看标杆是怎样做的:
在2012年该测绘机构决定采用“分布式”存储体系。“分布式”存储体系的好处是线性扩展,数据增加的时候只需要扩展节点即可,而且上限很高,于是采用了当时最成熟的高性能分布式存储体系Isilon。
随着数据量越来越大,历史数据需要“沉降”,即不经常使用的旧版本数据放到一个区域集中管理,于是在Isilon后端采用了ECS解决方案,大容量而且随时提取。
由于数据量巨大,每天“沉降”的速度赶不上新增的量,于是提出了高并发的整体解决方案Isilon+ Nginx +ECS,即在Isilon和ECS之间加入负载均衡Nginx,实现数据高速分发,提高“沉降”和“访问”速度。这样一套大容量,高并发且“冷热“分离随时访问的存储体系就建成了,非常适合地理信息这类应用。
地理信息的数据分为矢量数据和索引数据两大类,矢量数据一般都是大文件,索引数据是小文件。当有读请求时,会先到索引文件中搜索,所以小文件的随机读写,决定着整体业务系统的性能。
为了加快小文件随机读写,在Isilon解决方案中引入缓存加速功能,将高速的SSD盘变成缓存,使缓存区域变大,大部分热数据在缓存区即可完成读请求,大大的提高了效率,解决了小文件随机读写的性能问题。
*戴尔易安信Isilon存储是业界首屈一指的横向扩展NAS存储,其由英特尔®至强®可扩展处理器提供支持,为Isilon提供了卓越的性能和效率,助力用户轻松挑战不断增长的非结构化数据环境。
地理信息的数据量非常大,而且要永久保存,所以在实现高性能的同时,这套系统还要实现数据大容量长期存储的需求。
如何做呢?在Isilon后端接入了云存储ECS,使用CloudPools功能,将不经常使用的数据沉降到大容量云存储ECS中,整个过程是自动完成的,无需人工干预。为了实现负载均衡,在Isilon和ECS之间还部署了负载均衡系统Nginx,实现了高并发沉降,满足业务系统需求。这也是Isilon-Nginx–ECS在国内的首个成功案例,体现了非常好兼容性。
高性能分布式Isilon+负载均衡Nginx+大容量云存储ECS支持着前端高并发请求,而且容量和性能都是线性增长,哪里缺失补哪里,无需停机,自动负载均衡,保障着国家测绘局地理信息存储系统的快速、稳定、高效运行。
至此,我们终于揭开了地图导航软件背后的神秘力量。
从先秦时代承载华夏九州地形地貌的“九鼎”,到两汉时期记录古丝绸之路的“帛和纸地图”,再到现代支撑起各种地图软件的“国家地理信息存储体系”,地理信息在中国一代又一代人的手中不断传承着。戴尔科技始终践行“在中国,为中国”的理念,为这种传承不断助力!
相关内容推荐:让规划部署存储系统变得so easy!