9 月 8 日，字节跳动正式宣布开源 CloudWeGo。这是一套以 Go 语言为核心、专注于微服务通信与治理的中间件集合，具有高性能、可扩展、高可靠的特点。
据介绍，作为项目维护方，字节跳动基础架构团队已推进项目以 CloudWeGo 开源库为主进行迭代，未来团队将坚持内外维护一套代码，统一迭代演进，并逐步分享更多内部微服务最佳实践。
- 项目地址：https://github.com/cloudwego
- 项目官网：www.cloudwego.io
CloudWeGo 第一批开源了四个项目，以 RPC 框架 Kitex 和网络库 Netpoll 为主。
Kitex
Kitex 是一个 Golang 微服务 RPC 框架，具有高性能、强可扩展的特点。
字节跳动使用 Golang 作为主要业务开发语言。早在 2016 年，基础架构团队就已经开始基于 Golang 开发内部框架 Kite，并在 2019 年围绕性能和可扩展启动重构，使其能更好地满足业务发展和技术体系演进需求。
2020 年 10 月，Kitex 正式上线。虽然是一个全新的框架，但经过一年的线上应用，目前字节跳动内部已有超过 50% 的 Golang 微服务迁移到了 Kitex。
下面是 Kitex 的一些特性：
- 高性能：Kitex 默认集成自研网络库 Netpoll 作为网络传输模块，性能相较使用 go net 有显著优势;除了网络库带来的性能收益，Kitex 对 Thrift 编解码也做了优化，这在之前的性能优化实践文章中有介绍。关于性能数据，可参考 https://github.com/cloudwego/kitex-benchmark。
- 扩展性：Kitex 设计上做了模块划分，提供了较多的扩展接口以及默认的扩展实现，使用者也可以根据需要自行定制扩展。Kitex 未耦合 Netpoll，开发者可选择其他网络库扩展使用。
- 消息协议：RPC 消息协议默认支持 Thrift、Kitex Protobuf、gRPC。Thrift 支持 Buffered 和 Framed 二进制协议;Kitex Protobuf 是 Kitex 自定义的 Protobuf 消息协议，协议格式类似 Thrift;gRPC 是对 gRPC 消息协议的支持，可以与 gRPC 互通。除此之外，使用者也可以扩展自己的消息协议。
- 传输协议：传输协议封装消息协议进行 RPC 互通，传输协议可以额外透传元信息，用于服务治理，Kitex 支持的传输协议有 TTHeader、HTTP2。TTHeader 可以和 Thrift、Kitex Protobuf 结合使用;HTTP2 目前主要是结合 gRPC 协议使用，后续也会支持 Thrift。
- 多消息类型：支持 PingPong、Oneway、双向 Streaming。其中 Oneway 目前只对 Thrift 协议支持，双向 Streaming 只对 gRPC 支持，后续会考虑支持 Thrift 的双向 Streaming。
- 服务治理：支持服务注册/发现、负载均衡、熔断、限流、重试、监控、链路跟踪、日志、诊断等服务治理模块，大部分均已提供默认扩展，使用者可选择集成。
- 代码生成工具：Kitex 内置代码生成工具，可支持生成 Thrift、Protobuf 以及脚手架代码。
Netpoll
Netpoll 是字节跳动内部的 Golang 高性能、I/O 非阻塞的网络库，专注于 RPC 场景。
RPC 通常有较重的处理逻辑(业务逻辑、编解码)，耗时长，不能像 Redis 一样采用串行处理(必须异步)。而 Go 的标准库 net 设计了 BIO(Blocking I/O) 模式的 API，为了保证异步处理，RPC 框架设计上需要为每个连接都分配一个 goroutine，这在空闲连接较多时，产生大量的空闲 goroutine，增加调度开销。此外，net.Conn 没有提供检查连接活性的 API，很难设计出高效的连接池，池中的失效连接无法及时清理，复用低效。开源社区目前缺少专注于 RPC 方案的 Go 网络库。类似的项目如：evio、gnet 等，均面向 Redis、Haproxy 这样的场景。
因此 Netpoll 应运而生，它借鉴了 evio 和 Netty 的优秀设计，具有出色的性能，更适用于微服务架构。
Thriftgo
Thriftgo 是 Go 语言实现的 Thrift IDL 解析和代码生成器，支持完善的 Thrift IDL 语法和语义检查，相较 Apache Thrift 官方的 Golang 生成代码，Thriftgo 做了一些问题修复且支持插件机制，用户可根据需求自定义生成代码。
Kitex 的代码生成工具就是 Thriftgo 的插件，CloudWeGo 近期也会开源另一个 Thriftgo 的插件 thrift-gen-validator，支持 IDL Validator，用于字段值校验，解决开发者需要自行实现代码校验逻辑的负担，弥补 Thrift 缺失的能力。
Thriftgo 目前虽然仅支持生成 Golang Thrift 代码，但其定位是可支持各语言的 Thrift 代码生成，未来如果有需求，我们会考虑生成其他语言的代码。同时我们也会尝试将其回馈至 Apache Thrift 社区。
Netpoll-http2
Netpoll-http2 基于 Golang 标准库 golang.org/x/net/http2 的源码替换 go net 为 Netpoll，目前用于 Kitex 对 gRPC 协议的支持，对 HTTP2 有需求的外部开发者也可以使用此库。
前面提到字节跳动会坚持内外维护一套代码，为了遵守长期投入承诺，其基础架构团队已经将与内部生态没有耦合的项目，如 Netpoll，直接迁移到 CloudWeGo 开源库，并将内部依赖调整为开源库。
对于需要集成治理能力融入微服务体系的 Kitex，他们基于其扩展性，对内外部代码做了拆分，把 Kitex 的核心代码迁移到开源库，内部库封装一层壳保证内部用户无感知升级，而集成内部治理特性的模块则作为 Kitex 的扩展保留在内部库。字节跳动基础架构团队表示，未来也会持续把已经在内部经过稳定性验证的新特性，迁移到开源库。
谈到 CloudWeGo 的未来规划，字节跳动基础架构团队表示：“CloudWeGo 不仅仅是一个开源项目，它也是一个真实的超大规模企业级实践项目。通过开源，我们希望 CloudWeGo 能丰富云原生社区的 Golang 工具体系，为更多开发者和企业搭建云原生化的大规模分布式系统，提供一种现代的、资源高效的的技术方案。”
未来他们会进一步推动 CloudWeGo 走向完善：
- 继续开源其他内部项目。开源更多字节跳动常用 Golang 项目，如 HTTP 框架 Hertz、基于共享内存的 IPC 通信库 ShmIPC 等，为开发者提供更多场景的微服务需求支持。
- 逐步开源经验证的、稳定的特性。CloudWeGo 的主要项目均为字节内部微服务提供支持，许多新特性仍在内部验证，相对成熟后会逐步开源，如对 ShmIPC 的集成、无序列化、无生成代码的支持等。
- 结合内外部用户需求，持续迭代。项目开源后会根据开发者需求开展迭代。例如近一个月来，团队收到了来自开发者的大量关于 Protobuf 的诉求，为了提供良好的支持，他们已经在筹备开展 Kitex 对 Protobuf 支持的性能优化。
本文转自OSCHINA
本文标题：字节跳动开源微服务中间件 CloudWeGo
本文地址：https://www.oschina.net/news/159372/bytedance-opensource-cloudwego
资讯来源：https://mp.weixin.qq.com/s/43yN06UUcia-yWdJ50ghrw
