MySQL支持emoji图标存储

数据库 MySQL
MYSQL 5.5 之前, UTF8 编码只支持1-3个字节,只支持BMP这部分的unicode编码区,而emoji图标恰好是4个字节的编码进行存储。从MYSQL5.5开始,可支持4个字节UTF编码utf8mb4,一个字符最多能有4字节,所以能支持更多的字符集。所以要解决问题,必需把数据库表字符编码全部改成utf8mb4。

在MySLQ中 UPDATA 和 INSERT 数据的时候,如果数据上面带有emoji图标,例如:💗、👽、💔 很容易更新或者插入不成功,导致报错。

  1. Error: ER_TRUNCATED_WRONG_VALUE_FOR_FIELD:  
  2. Incorrect string value: '\xF0\x9F\x91\xBD\xF0\x9F...' for column 'name' at row  

都快崩溃了,但是还好终于解决了这种鬼问题。资料显示原因是,MYSQL 5.5 之前, UTF8 编码只支持1-3个字节,只支持BMP这部分的unicode编码区,而emoji图标恰好是4个字节的编码进行存储。从MYSQL5.5开始,可支持4个字节UTF编码utf8mb4,一个字符最多能有4字节,所以能支持更多的字符集。所以要解决问题,必需把数据库表字符编码全部改成utf8mb4。

常用字符集

  • ASCII:美国信息互换标准编码;英语和其他西欧语言;单字节编码,7位表示一个字符,共128字符。
  • GBK:双字节,汉字内码扩展规范;中日韩汉字、英文、数字;双字节编码;共收录了21003个汉字,GB2312的扩展。
  • UTF-8:Unicode标准的可变长度字符编码;Unicode标准(统一码),业界统一标准,包括世界上数十种文字的系统;
  • UTF-8:使用一至三个字节为每个字符编码。
  • utf8mb4:存储四个字节,应用场景用于存储emoji表情,因为可以emoji表情四个字节。
  • utf8mb4:MySQL版本 > 5.5.3 。
  • 其他常见字符集:UTF-32,UTF-16,Big5,latin1
  • 数据库中的字符集包含两层含义
    各种文字和符号的集合,包括各国家文字、标点符号、图形符号、数字等。
    字符的编码方式,即二进制数据与字符的映射规则。

系统环境

  • MySQL 5.7.14
  • Mac OSX 10.11.6

首先备份

升级数据之前备份您服务器上的所有数据,保持良好习惯,安全***!

升级您的MySQL

新的数据库可以在这里下载Upgrade the MySQL server to v5.5.3+

修改您的数据库、表、字段

  1. # 对每一个数据库: 
  2. ALTER DATABASE 这里数据库名字 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci; 
  3. # 对每一个表: 
  4. ALTER TABLE 这里是表名字 CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; 
  5. # 对每一个字段: 
  6. ALTER TABLE 这里是表名字 CHANGE 字段名字 重复字段名字 VARCHAR(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; 
  7. # 上面一句或者使用modify来更改 
  8. ALTER TABLE 这里是表名字 modify 字段名字 VARCHAR(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT '' 

utf8mb4完全向后兼容utf8,无乱码或其他数据丢失的形式出现。理论上是可以放心修改,如果您不放心修改,您可以拿备份恢复数据,然后让程序员处理这种兼容emoji存储问题,存的时候过滤一遍转成base64,然后取的时候转回来?... 还是修改数据库比较方便。

检查你的字段和索引

不要将所有的都设置成utf8mb4,这个冒得必要。我只在我某些字段类型为VARCHAR的时候才设置成utf8mb4。

修改MySQL配置文件

这个地方最坑,我在我Mac osx 系统上找不到/etc/my.cnf 它根本不存在,所以我们需要创建这样一个文件并修改它。

  1. # 进入这个目录, 
  2. # 在这个目录下面有个后缀为`.cnf`的文件 
  3. cd /usr/local/mysql/support-files/ 
  4.  
  5. # 将这个文件复制到`etc`目录中并将名字命名为`my.cnf` 
  6. sudo cp my-default.cnf /etc/my.cnf 
  7.  
  8. # 然后编辑`my.cnf`文件,将下面内容复制到里面。 
  9. sudo vim /etc/my.cnf  

MySQL configuration file (/etc/my.cnf):

  1. [client] 
  2. default-character-set = utf8mb4 
  3.  
  4. [mysql] 
  5. default-character-set = utf8mb4 
  6.  
  7. [mysqld] 
  8. character-set-client-handshake = FALSE 
  9. character-set-server = utf8mb4 
  10. collation-server = utf8mb4_unicode_ci  

重启MySQL

重启步骤很重要,不然没有任何效果。

  1. 启动:/usr/local/mysql/support-files/mysql.server start
  2. 停止:/usr/local/mysql/support-files/mysql.server stop
  3. 重启:/usr/local/mysql/support-files/mysql.server restart

系统中可以以这种形式重启、停止或启动

  1. service mysqld stop 
  2. service mysqld start 
  3. service mysqld restart  

查看是否设置成功

通过下面命令查询是否设置成功!

  1. # 登陆MySQL进行查询 
  2. mysql> SHOW VARIABLES WHERE Variable_name LIKE 'character\_set\_%' OR Variable_name LIKE 'collation%'
  3.  
  4. # 运行上面代码显示下面结果 
  5. # +--------------------------+--------------------+ 
  6. # | Variable_name            | Value              | 
  7. # +--------------------------+--------------------+ 
  8. # | character_set_client     | utf8mb4            | 
  9. # | character_set_connection | utf8mb4            | 
  10. # | character_set_database   | utf8mb4            | 
  11. # | character_set_filesystem | binary             | 
  12. # | character_set_results    | utf8mb4            | 
  13. # | character_set_server     | utf8mb4            | 
  14. # | character_set_system     | utf8               | 
  15. # | collation_connection     | utf8mb4_unicode_ci | 
  16. # | collation_database       | utf8mb4_unicode_ci | 
  17. # | collation_server         | utf8mb4_unicode_ci | 
  18. # +--------------------------+--------------------+ 
  19.  
  20. # 查看表的情况 
  21. mysql>  SHOW FULL COLUMNS  FROM  users_profile;  

到这一步表示你成功了!恭喜你!~

修复和优化表

我跑到这一步其实没有任何必要修复和优化表,为了保险起见,我还是运行了这两条命令,虽然不知道它有什么卵用,放在这里做个笔记吧。 

  1. REPAIR TABLE 表名字; 
  2. OPTIMIZE TABLE 表名字;  
责任编辑:庞桂玉 来源: segmentfault
相关推荐

2016-08-24 21:24:27

MySQL存储数据库

2024-06-17 10:16:37

MySQLutf8mb4字节

2018-06-14 14:45:51

MySQLOracle文档存储

2022-01-12 10:30:44

Windows 11Windows微软

2024-04-15 10:30:22

MySQL存储引擎

2016-06-01 16:03:39

emoji圣经

2021-09-05 07:55:37

前端Emoji 表情

2011-07-01 10:07:22

VAAIVMware vSto

2015-03-11 10:10:37

惠普VMware

2020-11-26 10:33:44

MySQL存储函数

2021-10-15 06:43:11

数据库存储过程

2018-06-25 10:15:23

数据库MySQL文档存储

2011-05-16 10:41:43

MYSQL

2009-03-16 19:22:26

HPSSD虚拟化

2009-03-11 12:41:20

HP虚拟化存储

2021-03-14 18:23:18

边缘计算对象存储分布式计算

2017-03-07 17:57:45

NASITSAN

2021-05-08 19:16:38

Python开发Emoji

2019-12-23 09:42:19

Linux输入emoji

2024-07-26 08:49:18

微软Windows 11系统更新
点赞
收藏

51CTO技术栈公众号