作为 web 工程师,我们每天都在和端口、socket 打交道,用的话可能很多人会用,但是问到它们的本质,可能能答出来的就很少了。
这篇文章,我们就来探究下端口和 socket 的本质。
端口
我们网络是分层的,OSI 中分了 7 层,TCP/IP 简化为 5 层或者 4 层。
网络层主要是 IP 协议,是路由器相关的协议,它的作用是把数据从从一台主机传输到另一台主机。
那到了另一台主机之后呢?每台主机都有很多的进程,怎么知道交给哪个进程?这就是运输层的 TCP、UDP 做的了。
如何定位一台主机的进程呢?
直接指定进程 id 行么?比如 x.x.x.x:进程id 的形式。
这样设计是可以,但是进程 id 是动态的,不固定,可能下次重启某个服务进程,进程 id 就变了。所以还得继续想。
那加一个中间层呢?计算机不是所以问题都可以加中间层解决么。数据不直接给进程,而是放到某段内存,这段内存叫做端口,进程就监听这个端口的数据。
这样就不需要固定进程 id 了,进程 bind 到这段内存(端口)就行,然后 listen 它的变化。
这样不直接依赖具体实现,而是双方都依赖抽象层的思想叫做 IOC( inverse of control 控制反转)。
为什么叫做端口呢?因为硬件中也有端口这个概念,如图:
硬件的端口是设备和外界通信的入口,软件的端口也是一样的定位,所以采用了端口的名字。
这样,我们定位一个网络上的进程,需要 IP + 端口 + 协议 就可以了,这是进程网络地址的三要素,可以看到 TCP、IP 等协议是共同其作用的,所以叫做 TCP/IP 协议族。
端口的本质就是一段内存中的数据结构,我们可以通过监听它的变化,当数据写入的时候就能收到消息。
那么每个进程都要指定端口也太麻烦了吧,能不能统一什么协议就一定是什么端口,这样只需要 协议 + ip 就可以访问了,端口自动填上。
于是就有专门的机构去协调这些,这个机构叫做 IANA(The Internet Assigned Numbers Authority),互联网数字分配机构。因为网络不是中央集权的,需要一个中间机构去协调各方,这个机构就是做这件事情的,包括域名、端口、协议等。
端口是一个 16 位的二进制数,两个字节,所以范围是 0 到 65535 的整数,IANA 把它们分为了 3 段:
- 0 到 1023 是公认端口,把协议绑定到固定的端口,比如 HTTP 是 80,HTTPS 是 443 等。
- 1024 到 49151 是可注册的端口,我们给进程绑定端口的时候就从这里面选。
- 49152 到 65535 是动态分配的端口,用于一些需要分配端口的进程,动态从这里面取。
通过固定协议的端口,我们定位一个网络中的进程只需要 协议 + ip 就行了。当然,有的时候还是需要 协议 + ip + 端口来指定的。
socket
有了端口之后,我们就能定位到网络中的进程,然后进行数据通信了。但是不同的协议的数据结构不同,也就是要做不同的操作,直接操作网络传过来的数据比较复杂,这件事应该操作系统来封装一下。所以 POSIX 就定义了 socket 的标准 api,我们通过这些 api 就可以很方便的操作不同协议的数据。(关于 POSIX 可以可以看我这篇文章: Node.js 的 api 设计的源头:POSIX)
socket 的 api 分为服务端和客户端两方面:
服务端:bind、listen、accept、read、write、close
客户端:connet、write、read、close
POSIX 的思想是一切皆文件,所以网络通信的 socket 的 api 也设计成了 read、write 的形式。
服务端通过 listen 来把进程绑定到端口,客户端连接上服务端的某个端口,通过网络把数据传输到该端口,之后进行数据的读写。
各种语言都对 socket api 做了封装,Node.js 也不例外。
Node.js 中的 socket
Node.js 的文件读写是通过 stream 的,而 POSIX 把网络操作 socket 也作为文件读写来处理,所以 Node.js 的 socket 也是 stream 形式的 api。
服务端 socket api:
- const net = require('net');
- const server = net.Server((socket) => {
- console.log('client connected');
- socket.on('data', (data) => {
- console.log(data.toString('UTF-8'))
- })
- socket.on('end', () => {
- console.log('client disconnected');
- });
- socket.write('hello\r\n');
- });
- server.on('error', (err) => {
- throw err;
- });
- server.listen(8124, () => {
- console.log('server bound');
- });
可以看到是通过 read、write 的形式,因为 Node.js 封装成了 stream,所以监听 data 事件。(关于 stream,可以看我这篇文章:彻底掌握 Node.js 四大流,解决爆缓冲区的“背压”问题)
客户端 socket api:
- const net = require('net');
- const socket = net.Socket({ host: 'xxxx', port: 8124 }, () => {
- console.log('connected to server!');
- client.write('world!\r\n');
- });
- socket.on('data', (data) => {
- console.log(data.toString());
- client.end();
- });
- socket.on('end', () => {
- console.log('disconnected from server');
- });
直接 new 的方式比较麻烦,所以 Node.js 进一步提供了工厂方法:
new Server 可以用 net.createServer
new Socket 可以用 net.createConnection
这样做了进一步的简化。
总结
网络中的两个进程通过 ip + 端口来通信,通过协议指定数据的格式。端口是一种 ioc 的思想,不直接绑定到进程 id,而是把数据写入到端口,进程 bind 到这个端口的形式。
端口号是 16 位的数字,表示范围是 0 到 65535,IANA 把它分成了 3 类来用:
0 到 1024 是协议对应的端口、1024 到 49151 是进程可以注册的端口,49152 到 65535 是动态分配用的端口。
通过 协议 + ip + 端口的 3 要素就可以定位网络上的进程,而具体协议的数据格式不同,所以 POSIX 规定了 socket 的一系列 api,包括服务端的 bind、read、write、close,客户端的 read、write、close 等,提供了类似文件读写的 api。
各种语言都对这些操作系统的 api 做了封装,Node.js 也是。Node.js 对文件读写使用 stream 的形式,所以 net.Socket、net.Server 也是 stream 的 api。为了简化创建,还分别提供了 net.createConnect 和 net.createServer 的工厂方法。
希望这篇文章可以帮助大家理解端口的本质(内存中用于接受网络数据的数据结构),socket 的本质(POSIX 定义的网络通信 api),以及熟悉 Node.js 的 net 的 api。