2015年5月17日星期天,网络犯罪分子向我所在的企业——HotSchedules公司,负责为来自餐厅、医院以及零售行业的超过200万员工提供云服务——发动了一场恶毒的分布式拒绝服务攻击。从星期天夜间到星期二下午,这些恶意人士在长达45个小时内阻挠着用户正常检查并管理自己的工作规划——而且从未透露其攻击动机。
虽然这对于每一位CEO来讲都是一场令人难忘的噩梦,但对我个人而言这却成了一次宝贵的经验并值得为公司的整场顽强对抗感到自豪。HotSchedules在过去16年当中曾成功化解过多次网络攻击,且没有经历过任何一次服务中断。这次来袭的攻势异常凶猛,相信我的经历帮助大家从中总结教训并获得启示。
由于好莱坞大片的错误引导,我们往往将网络攻击的对抗想象成是正义与邪恶两方的黑客们各自坐在冷冰冰的屏幕前,利用散发出绿色荧光的代码在互联网当中激烈过招。但在现实生活中,网络安全对抗需要企业内每一位员工的参与。如果大家正在经验一家企业,那么攻击活动会考验您的企业文化、团队协作以及集体使命感。团队要么找到办法完成向客户作出的业务承诺,要么眼睁睁看着业务体系陷入瘫痪。每一项网络攻击手段都拥有对应的技术性解决方案,但员工的实际反应才真正决定着企业的最终命运——更具体地讲,也就是客户眼中的胜负关系。
人为因素
星期天傍晚,此次DDoS攻击的消息正式传开,HotSchedules公司的全体员工立刻冲进自己的办公室。没有应急部署,也没有临时方案。在这场对抗当中,人们自发采取了主动态度,按照既定方式开始应对。
对于任何一家企业而言,遇到攻击活动之后的最高优先级就是继续为客户提供服务。我们仍然能够访问自己的数据库,所以技术工程师们汇总出名单并将其转交给我们的客户服务团队。这时的客户服务团队已经在规模上得到扩充,其中包括原有团队成员、客户成功经理、市场营销人员、人力资源员工以及其他几乎来自各个非技术部门的员工。他们将日程规划下载下来并通过邮件将副本发送给客户。在接下来的48个小时当中,我们的团队一直通过电话、邮箱以及社交媒体不眠不休地为客户提供帮助。当客户打进电话时,我们能够提供名单、时间表、岗位交换以及其它多种核心服务。
优先级中的次要项目就是保持透明度。一旦我们了解到当前事态,会立刻将情况汇报给客户。我们的政策是“不搞暗箱操作,一切明面进行”。这一原则是我从BTC Revolutions处学来的,这是一家数字化社交营销及战略规划机构,他们负责了我公司员工团队的培训工作。我们在自己的官方网站、Facebook、Twitter等平台上发布声明并更新实时动态,并在第二天早上直接向客户打电话汇报情况,同时回答我们在网站及推文评论中收到的问题。
我们的团队不眠不休地工作了两天,同时保持着令人难以置信的工作强度与效率水平。数据中心的地板成了临时休息区,工程师们始终坚持在自己的岗位之上,只是偶尔到这里小憩一会儿。很多企业恐怕不具备如此出色的员工队伍。归根结底,这取决于我们雇用谁、如何培训他们以及如何帮助他们在工作当中获得认同感与成就感。作为CEO,我对于自己的员工团队感到无比骄傲。
网络战争
在每一位面向客户的团队成员都在努力维持服务进行并与客户进行交流的同时,我们的IT部门则集中力量解决网络威胁。虽然没有继续数据遭遇泄露,但我们对这样的恶意攻击仍然缺乏必要准备。
攻击过程当中,每秒数据传输流量达到了惊人的10至15 Gb每秒(即Gbps)——这相当于我们正常传输速率的250倍。当我打电话给从业银行及电信工作的朋友需求帮助时,恐怖的数字令我们也呆立当场。对于大多数商业企业来讲,这样的流量都远远超过预期。只有整个团队的成员在精心的编排之下通力协作,再配合极为昂贵的网络资源投入,才有可能应对得了这么庞大的流量压力。
我们很难确切掌握攻击活动是否会停止,又将在何时停止。无论我们怎样辗转腾挪,DDoS都如影随形。当时我们曾经试图将服务利用其它IP地址进行发布,但犯罪分子很快就再次跟了上来。因此,我们做出了一个艰难的决定,即发布“黑洞”来舍弃一部分流量。这事实上传达出了这样的一种信息——“你已经惹到我们了,我们绝不会让你实现任何进一步破坏。”
最后,劳累的安全工程师们在受保护子网上重新设计了整套服务,而相关保护则由Akamai公司的云安全解决方案提供——其流量承受上限高达321 Gbps。到5月19号星期二的凌晨2:37,我们的服务终于重新上线。
经验总结
联邦调查局方面一直无法确定是谁组织了这次恶意攻击,而且整个过程中我们也没有收到任何赎金要求、声明或者动机解释。来自多个国家的成千上万台服务器都参与到了攻击当中,而且我们发现其中有六成左右来自海外地区。面对这样扑朔迷离的状况,我怀疑我们永远也抓不到这群犯罪分子。
考虑到有90%的企业遭受过DDoS攻击,我想奋力抵抗是值得的——无论需要付出怎样的代价。从云环境退缩回内部设施,就像是为了避免事故而从汽车回退到马匹那样,简直是荒谬。考虑到内部技术方案的高昂成本,餐饮行业当然更倾向于使用价格低廉的云与移动计算产品。虽然刚刚遭受了攻击,但我仍然号召整个行业以勇敢且积极的心态面对这一切。
此次DDoS攻击是我从业以来带来压力最大的一次事故,但它却也让我积累到了宝贵的经验。在整个过程中,我们没有丢失任何数据,并且仍然为客户提供一定程度的服务支持。我还知道,公司的一组同事连续45个小时一直在帮助客户解决问题。对于企业而言,这样出色的员工显然比任何技术成果都更加重要。