如何一步一步设计一个大规模复杂的系统

开发 前端
简而言之,面试前有足够的准备是系统设计面试成功的关键,上述步骤可以指导我们设计一个复杂的大规模系统,涵盖了的不同方面的面试问题,后续的面试问题,可以参考以上步骤来思考和回答。

[[388012]]

良好的系统设计能力,是一个优秀程序员的必要素质,反应出了处理复杂问题的能力,也是面试过程中能否获得相应的职位和薪酬的关键。

最近在 https://www.educative.io/ 上看到一份介绍系统设计的教程:Grokking the System Design Interview[1],里面有很多系统设计实例,如 Dropbox, Twitter, Facebook Messenger, Uber 等,教程是收费的,质量很高,学习系统设计的绝佳资料,该教程的中文资料很少,这里就将其中的核心内容翻成中文与大家分享,如果需看英文原版,回复「系统设计」即可获取。

许多软件工程师在系统设计面试(以下简称 SDI)时遇到困难,主要有三个方面原因:

  • SDI 具有非结构化性质,往往要求开放式设计,很多问题没有标准答案。
  • 他们缺乏开发大型系统的经验。
  • 他们没有为 SDI 做准备。

像编码面试一样,没有认真准备 SDI 的应聘者,大部分表现不佳,尤其是在 Google,Facebook,Amazon,Microsoft 等顶尖公司的面试,如果表现不及平均水平的候选人,获得获得 offer 的机会非常渺茫。另一方面,良好的面试表现总是会带来更好的回报,或者是更高的职位,或者是更高的薪水,因为这显示了候选人处理复杂系统的能力。

接下来,我们将按以下步骤循序渐进地解决多个设计问题:

第一步:需求澄清

在需求范围内提出一些问题有助于澄清需求。设计问题大多是开放性的,并且没有一个标准答案,这就是为什么要澄清一些具体需求。花费足够时间来定义系统最终目标有助于在面试中获得成功。另外,由于系统设计的面试只有 35-40 分钟的时间,我们应该弄清楚哪些部分需要重点关注。

以设计一个类 Twitter 的服务为例,在开始设计之前应先回答以下问题:

  • 我们服务的用户能否发布推文并关注其他人?
  • 我们是否还应该设计来创建和显示用户的时间轴?
  • 推文中是否包含照片和视频?
  • 我们是仅专注于后端还是前端?
  • 用户将能够搜索推文吗?
  • 我们需要显示热门话题吗?
  • 是否有关于新(或重要)推文的推送通知?

这些问题将决定最终设计的系统长什么样。

第二步:系统接口定义

定义系统期望的接口(API)不仅可以帮助建立预期的接口协议 ,也可以确保我们没有弄错需求。比如类似 Twitter 的服务的接口可能是这样的:

  1. postTweet(user_id, tweet_data, tweet_location, user_location, timestamp, …)  
  2. generateTimeline(user_id, current_time, user_location, …)  
  3. markTweetFavorite(user_id, tweet_id, timestamp, …) 

第三步:资源预估

预估我们要设计的系统的规模是非常必要的,有助于我们后续的系统扩展、分区、负载平衡和缓存的设计。

  • 系统预期的规模,例如,新推文的数量,推文的阅读量,每秒产生的时间线?
  • 我们需要多少存储空间?如果用户可以拍摄照片和视频,又需要多少存储空间。
  • 我们期望多大的带宽?这对于决定我们如何管理流量和平衡服务器之间的负载。

第四步:设计数据模型

早一点定义数据模型可以弄明白数据如何在不同组件之间进行流转。数据模型将指导数据分区和管理。设计者应该识别系统的各个实体,它们之间的交互方式以及 数据管理的各个方面,例如存储、传输、加密等。以下是我们的类 Twitter 服务的一些实体:

  • User:UserID, Name, Email, DoB, CreationData, LastLogin 等。
  • Tweet:TweetID,Content,,TweetLocation,NumberOfLikes,TimeStamp等。
  • UserFollowo:UserdID1,UserID2
  • FavoriteTweets: UserID, TweetID, TimeStamp

我们应该使用哪个数据库系统?像 Cassandra 这样的 NoSQL 是否最适合我们的需求,还是应该使用类似于 MySQL 的解决方案?我们应该使用哪种块存储来存储照片和视频?

第五步:高级设计

画一个带有 5-6 个方框的图,代表我们系统的核心组件。我们应该识别出足够的组件来解决端到端的问题,对于 Twitter 而言,我们将需要多个应用服务器来服务所有的读/写服务,并配置负载平衡器进行流量分配。假如读流量大于写流量,我们可以使用单独的服务器进行处理这些情况,比如分配 10 台服务器服务读请求,2 台服务器服务写请求。在后端,我们需要一个高性能的数据库,该数据库可以存储所有推文并支持大量读取。我们还需要一个分布式文件存储系统来存储照片和视频。

第六步:详细设计

深入挖掘两个或三个组成部分;面试官的反馈意见引导我们进一步讨论。我们应该能够提出不同的方法,它们的优点和缺点,并说明为什么我们会选择另一种方法。请记住,没有标准答案,唯一重要的是有限资源前提下怎么做出权衡。

  • 由于我们将存储大量数据,因此如何将数据分区到分发到多个数据库?是否应该尝试将用户的所有数据存储在同一数据库?它会导致什么问题?
  • 如何处理发大量推文或关注很多人的热门用户?
  • 由于用户的时间轴将包含最新推文,为了获取最新推文是否需要优化数据的存取方式?
  • 我们应该在多少层引入缓存以加快处理速度?
  • 哪些组件需要更好的负载平衡?

第七步:找出并解决瓶颈

找出尽可能多的瓶颈问题,并提出缓解这些瓶颈的不同方法。比如:

  • 我们的系统中是存在单点故障?应该采取什么措施缓解这种情况?
  • 我们是否有足够的数据备份,在多少台服务器宕机的情况下仍可以为用户提供服务?
  • 类似的,我们是否有足够数量的不同服务在运行,即使一些服务有故障也不会会导致系统崩溃?
  • 我们如何监控我们的服务性能?关键时刻比如组件发生故障或性能下降时会收到报警吗?

最后的话

简而言之,面试前有足够的准备是系统设计面试成功的关键,上述步骤可以指导我们设计一个复杂的大规模系统,涵盖了的不同方面的面试问题,后续的面试问题,可以参考以上步骤来思考和回答。

参考资料

[1]Grokking the System Design Interview: https://www.educative.io/courses/grokking-the-system-design-interview

本文转载自微信公众号「Python七号」,可以通过以下二维码关注。转载本文请联系Python七号公众号。

 

责任编辑:武晓燕 来源: Python七号
相关推荐

2017-08-24 08:31:41

2020-05-07 09:25:20

数据库MySQL代码

2018-03-07 15:24:41

PythonMySQL

2012-03-22 10:33:33

思杰XenDesktop

2009-07-06 19:29:37

云计算私有云服务器虚拟化

2022-08-29 15:19:09

CSS烟花动画

2017-09-28 09:40:36

图像分类准确率

2017-11-29 11:14:52

离线缓存URL协议缓存

2013-03-18 16:09:27

JavaEEOpenfire

2011-06-09 15:16:54

数据库设计

2017-07-15 21:10:58

CTOCEO技术

2024-07-22 11:43:28

LVMPnetLab网络

2022-09-30 15:37:19

Web网站服务器

2011-06-07 16:03:48

匿名SQL Server

2017-05-08 15:00:20

H5代码服务器

2011-10-13 10:18:50

设计数据库

2020-10-28 15:03:25

C+代码开发

2020-02-26 08:00:02

14点遭遇真凶

2010-07-12 17:10:23

Android应用程序

2019-11-04 10:06:19

MySQL索引
点赞
收藏

51CTO技术栈公众号