深入剖析Base64加解密中遇到的坑点

开发 前端
最近开发过程中遇到了关于使用base64​加密传输遇到的神奇问题。需求就是用户的id​在链接上露出时需要加密处理,于是后端把下发的用户id​改成了base64​加密处理后下发了,前端只需要把加密后的用户id​原样传给后端就行。

前言

最近开发过程中遇到了关于使用base64加密传输遇到的神奇问题。需求就是用户的id在链接上露出时需要加密处理,于是后端把下发的用户id改成了base64加密处理后下发了,前端只需要把加密后的用户id原样传给后端就行。就是这个看似简单的流程,折腾了半天,前端啥也没干只是原样透传,但后端有概率拿到的用户id不对。

问题描述

本地写个后端服务模拟当时的情景:

后端框架:nest

@Get('getUserInfo') 
getUserInfo(@Req() req) {
const query = req.query
const cookie = req.cookies
console.log('cookie', cookie)
// 优先取参数中的userId,没有则取cookie中的uid
const userId = query.userId || cookie.uid
// base64加密
const token = Buffer.from(userId).toString('base64')
console.log('加密后的token', token)
// 返回base64加密后的token
return {
    code: 0,
    data: {
      userId,
      // base64加密
      token: Buffer.from(userId).toString('base64')
    }
  }
}

前端请求后:

图片图片

服务这边能够正常拿到cookie并使用base64加密,然后把加密后的token返回给前端

前端也正常拿到了后端返回的加密后的token

图片图片

最后前端只需要在用户分享时把加密的token带在链接上,从这个链接进入时再把链接上加密的token带给后端即可,中间不需要做任何处理。

就是这个过程,出现了奇怪的现象,绝大多数用户都是OK,但是会有一些用户的token带给后端时,后端解不出来了。

心想这跟前端好像没啥关系,因为前端压根没处理后端返回的token,后端给我啥,我只是原样给他传了啥。

经排查发现,所有有问题的用户id都是加密后的token中包含了+符号

比如这样的:zm+3DQ/gYeMzQ/HM2L76+CA==传到后端时,所有的+都变成了空格,导致后端解出来是错的

图片图片

URL是如何进行编码的

这个问题的主要原因还是因为URL被编码造成的,由于请求是get请求,所以最终所有的参数都是拼接在链接上的,最开始前端传给后端的token是没有经过编码的,那它为什么自己编码了?并且编码后与预期的还不一致?

由于种种历史原因,RFC与W3C都定义过URL的编码标准

RFC规范

在RFC3986中提到:除了 数字 、 字母 、 -_.~ 不会被转义,其他字符都会被以百分号(%)后跟两位十六进制数 %{hex} 的方式进行转义。在这个规则中空格会被转为%20,而+会被转为%2B

图片图片

W3C规范

在W3C规范中却又说空格可以被编码为+或%20

图片图片

为什么会同时存在两种规范,这不是在挖坑吗?

这就是上面出现+变空格的原因,在你不确定正在以哪一个规范进行编解码时,就很容易出现这个问题。它可能是浏览器造成的,也可能是开发语言的规范不同造成的。

比如Google搜索:

当我们搜索s+2时,地址栏出现的是s%2B2

图片图片

当我们搜索s 2时,地址栏出现的却是s+2

图片图片

这里就是空格被编码为+了,你要是不了解W3C这条规范,是不是觉得匪夷所思了🤔

前端编码规范

在JS中对字符串进行编码的方法有三个:escape、encodeURI、encodeURIComponent

escape已经被废弃了,不再推荐使用,所以我们这里只需要关注后面两个的区别

encodeURI

该函数只会编码URI中完全禁止的字符。该函数的目的是对URI进行完整的编码,因此对以下在URI中具有特殊含义的 ASCII 标点符号,encodeURI是不会进行转义的(;/?:@&=+$,#)

所以对于encodeURI来说,空格会被编码为%20,但是+并不会编码。因为空格是URI中禁止的字符,而+不是

图片图片

总结来说就是:

encodeURL除了这些**A-Z a-z 0-9 ; , / ? : @ & = + $ – _ . ! ~ * ‘ ( ) #**不会被编码,其余字符都会被编码

encodeURIComponent

功能与encodeURI类似,但是encodeURIComponent编码的范围更广,并且该函数一般用于对URI的参数部分进行编码

对于encodeURIComponent来说,空格会被编码为%20,+会被编码为%2B

图片图片

总结来说就是:

encodeURLComponent除了这些 **A-Z a-z 0-9 - _ . ! ~ * ' ( )**不会被编码,其余字符都会被编码

两者使用场景的差异

  • 当encode的内容不作为URI参数时,使用encodeURI进行编码
const url = encodeURI('https://www.qidian.com')
// 'https://www.qidian.com'
  • 当encode的内容作为URI参数时,使用encodeURIComponent进行编码
const deepLink = `weixin://webview?url=${encodeURIComponent('https://www.baidu.com')}`
//  weixin://webview?url=https%3A%2F%2Fwww.baidu.com

结论

对于JS的编码方法来说,只有encodeURIComponent会对+进行编码,并且编码规范是RFC3986,也就是说使用这个方法空格会被转为%20,而+会被转为%2B。从而也就不会出现+变空格或空格变+的问题。

上述问题是如何产生的?

上面分别介绍了URL的编码规范,以及前端编码方法应用的规范。总结下来就是空格不会在前端产生,前端应用的编码规范不会将+变成空格

图片图片

并且特意写了个node服务来模拟当时的场景。

结论是:只要传给后端的base64字符串在前端经过了编码就不会有问题。因为上面我们介绍过浏览器的编码规范,确实是会存在+变空格的问题。所以我们需要主动编码,不要把编码的机会留给浏览器。

前端编码了,后端拿到的也是正常的

图片图片

没编码,后端拿到的+变成空格了

图片图片

所以当时前端未进行编码时,从CURL中就能看到+已经变成了空格,但后面前端编码后,curl看是正常的,后端解码出来却还是有问题的。

我这边怎么都复现不了当时传给后端是编码过的base64字符串,后端拿到的却还是+变成了空格

没办法,只好找后端同学问问他当时是怎么解码的...

经过一番验证后,结论是他那边多解码了一次,他们框架层有一次自动解码

'zm%2B3DQ%2FgYeMzQ%2FHM2L76CA%3D%3D'   ---->  'zm+3DQ/gYeMzQ/HM2L76CA=='

实际上这里就已经是正确的了,但后端同学又自己解码了一次,按理来说再次解码应该也不会有问题

图片图片

但是!!!这是因为javascript遵循的是RFC3986规范,但java好像并不是

java自带的decode方法底层是这样实现的

图片图片

这里直接把+替换成了空格。真相了....

解决方案

  • 按理来说我们只需要保证传给后端的+字符按RFC3986规范编码成了%2B就不会有问题,不要把编码的机会留给浏览器,在JS中只需调用encodeURIComponent即可
  • 后端接收到带空格的base64字符串时,通过正则将空格替换为+,因为base64中不会出现空格
  • 由于标准Base64编码包含64个字符A-Z, a-z,0-9,+,/,=,有一种URL safe的base64格式,把其中的+,/换成-,_,也能够解决上面的问题。

责任编辑:武晓燕 来源: 前端南玖
相关推荐

2023-11-07 08:35:26

2021-02-05 05:26:33

字节ASCII控制

2016-12-13 13:50:06

JAVA转换Base64

2014-02-20 10:28:28

JavaScriptBase64

2021-09-07 08:59:09

编码Base64解码

2010-03-03 16:14:05

Python base

2021-03-05 09:10:19

base64编码

2021-08-26 05:27:08

Base64 字节流算法

2024-07-31 10:22:49

Go语言编码

2024-02-28 23:07:42

GolangBase64编码

2022-10-29 19:58:09

Base64Bashshell

2022-06-06 08:31:05

Base64编码Base58

2024-07-11 08:42:57

2024-09-09 09:08:28

2019-08-09 11:40:38

JavaScriptCSS技术

2019-07-23 08:55:46

Base64编码底层

2024-03-14 10:31:33

JSbase64url

2023-03-01 11:02:12

2022-09-28 08:01:33

JavaScript二进制

2016-10-13 13:12:43

微信小程序javascript
点赞
收藏

51CTO技术栈公众号