MySQL系列-源码编译安装(v5.7.34)

一、系统环境要求

官方说明：

https://dev.mysql.com/doc/refman/5.7/en/source-installation-prerequisites.html

• CMake：编译工具，用作所有平台上的构建框架。
• 需要SSL库来支持加密连接，用于生成随机数的熵以及其他与加密有关的操作。默认情况下，构建使用主机系统上安装的OpenSSL库。
• Boost C++库是构建MySQL所必需的。MySQL编译需要特定的Boost版本。5.7.34版本需要的Boost版本是1.59.0
• 需要ncurses库，一个能提供功能键定义(快捷键),屏幕绘制以及基于文本终端的图形互动功能的动态库。
• 足够的可用内存。若编译时出现“内部编译器错误”之类的问题，则可能是内存太小。如果在虚拟机上编译，请尝试增加内存分配。
• 需要Git版本控制系统来获取开发源代码。

本文中使用本地VM虚机部署测试。

OS：CentOS Linux release 7.8.2003 (Core)

虚机配置：2核CPU、4G内存

关闭Selinux。

二、基础环境

1.清理环境(清理系统自带的Mariadb和boost)

CentOS 7 版本的系统默认自带安装了MariaDB，需要先清理。

## 查询已安装的mariadb

rpm -qa |grep mariadb 
或 
yum list installed | grep mariadb 

 

## 卸载mariadb包，文件名为上述命令查询出来的文件

rpm -e --nodeps mariadb-libs-5.5.65-1.el7.x86_64 
或 
yum -y remove mariadb-libs.x86_64 

 ## 检查boost版本，如果有，则卸载boost-*等库

rpm -qa boost* 
yum -y remove boost-* 

 2.基础库及依赖包文件

rpm -ivh http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm 
yum -y install make patch gcc gcc-c++ git libaio libaio-devel ncurses ncurses-devel \ 
perl bison bison-devel libxml libxml-devel libxml2 libxml2-devel zlib zlib-devel \ 
libgcrypt glibc glibc-devel glib2 glib2-devel flex bzip2* curl* openssl-devel openssl 

 3.安装cmake(编译工具)

官网：https://cmake.org/

cd /data/tools 
wget https://cmake.org/files/v3.8/cmake-3.8.2.tar.gz 
tar xf cmake-3.8.2.tar.gz 
cd cmake-3.8.2 
./bootstrap 
gmake 
make install 

 4.安装jemalloc(内存管理)

官网：http://jemalloc.net/

内存分配器，适合多线程下的内存分配管理软件。与其它内存分配器相比，它最大的优势在于多线程情况下的高性能以及内存碎片的减少。

cd /data/tools 
wget https://github.com/jemalloc/jemalloc/releases/download/5.2.1/jemalloc-5.2.1.tar.bz2 
tar xjf jemalloc-5.2.1.tar.bz2 
cd jemalloc-5.2.1 
./autogen.sh 
make && make install 
echo '/usr/local/lib' > /etc/ld.so.conf.d/local.conf 
ldconfig 

 5.安装Boost库

官网：https://www.boost.org/

无需最新版本，本文中编译安装的5.7.34版本对应需要的boost为1.59.0。

cd /data/tools 
wget https://udomain.dl.sourceforge.net/project/boost/boost/1.59.0/boost_1_59_0.tar.gz 
tar xf boost_1_59_0.tar.gz 
chown -R root.root boost_1_59_0 
chmod -R 755 boost_1_59_0 
mv boost_1_59_0 /usr/local/boost159 

 三、安装配置MySQL

1.添加mysql组及用户

groupadd -r mysql 
useradd -g mysql -r -s /sbin/nologin -M -d /data/mysql mysql 

 2.创建相关目录及修改目录属性

## 数据目录

mkdir -p /data/mysql 

## 修改目录属性

chown mysql.mysql /data/mysql 
chmod 0700 /data/mysql 

 3.安装MySQL

## 下载解压

cd /data/tools 
wget https://cdn.mysql.com/archives/mysql-5.7/mysql-5.7.34.tar.gz  
tar xf mysql-5.7.34.tar.gz 
cd mysql-5.7.34 

 ## Cmake配置

cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/mysql-5.7.34 \ 
 -DMYSQL_DATADIR=/data/mysql -DSYSCONFDIR=/etc \ 
 -DMYSQL_TCP_PORT=3306 \ 
 -DMYSQL_UNIX_ADDR=/usr/local/mysql-5.7.34/mysql.sock \ 
 -DWITH_EXTRA_CHARSETS=all \ 
 -DDEFAULT_CHARSET=utf8mb4 \ 
 -DDEFAULT_COLLATION=utf8mb4_general_ci \ 
 -DWITH_INNOBASE_STORAGE_ENGINE=1 \ 
 -DWITH_MYISAM_STORAGE_ENGINE=1 \ 
 -DWITH_ARCHIVE_STORAGE_ENGINE=1 \ 
 -DWITH_FEDERATED_STORAGE_ENGINE=1 \ 
 -DWITH_BLACKHOLE_STORAGE_ENGINE=1 \ 
 -DWITH_PERFSCHEMA_STORAGE_ENGINE=1 \ 
 -DWITHOUT_EXAMPLE_STORAGE_ENGINE=1 \ 
 -DWITH_ZLIB=bundled -DWITH_SSL=system \ 
 -DENABLED_LOCAL_INFILE=1 \ 
 -DWITH_DEBUG=0 \ 
 -DMYSQL_MAINTAINER_MODE=0 \ 
 -DWITH_EMBEDDED_SERVER=0 \ 
 -DINSTALL_SHAREDIR=share \ 
 -DDOWNLOAD_BOOST=0 \ 
 -DWITH_BOOST=/usr/local/boost159 \ 
 -DCMAKE_EXE_LINKER_FLAGS="-ljemalloc" 

 ## 编译安装

make 
make install 
cd /usr/local/ 
ln -sf mysql-5.7.34 mysql 

 备注：若make出错后要重新运行配置，需要删除CMakeCache.txt文件。

make clean  
rm -f CMakeCache.txt  

 ## Cmake配置参数说明

-DCMAKE_INSTALL_PREFIX=/usr/local/mysql-5.7.34：MySQL安装目录路径。 
-DMYSQL_DATADIR=/data/mysql：MySQL数据目录路径，初始化时目录必须为空。 
-DSYSCONFDIR=/etc：指定配置文件my.cnf的安装路径。 
-DMYSQL_TCP_PORT=3306：指定MySQL服务TCP/IP连接的端口号为3306。 
-DMYSQL_UNIX_ADDR=/usr/local/mysql-5.7.34/mysql.sock：指定套接字连接的Unix套接字文件路径。 
-DWITH_EXTRA_CHARSETS=all：指定包括的额外字符集，all表示所有。 
-DDEFAULT_CHARSET=utf8mb4：指定默认字符集为utf8mb4，因为历史遗留问题，MySQL中的utf8不是真正的utf8，而是阉割版的，最长只有三个字节，当遇到四个字节的utf8编码时，会导致存储异常。从5.5.3开始，使用utf8mb4实现完整的utf8。 
-DDEFAULT_COLLATION=utf8mb4_unicode_ci：指定排序规则，默认为utf8mb4_0900_ai_ci，属于utf8mb4_unicode_ci的一种。0900指的是Unicode校对算法版本，ai是指口音不敏感（as表示敏感），ci指不区分大小写（cs表示区分）。utf8mb4_unicode_ci表示基于标准的的Unicode来排序和比较，能够在各种语言之间精确排序，而utf8mb4_general_ci遇到某些特殊的字符集时排序结果可能不一致，准确性较差，但是性能较好，比较和排序时候更快。 
-DWITH_INNOBASE_STORAGE_ENGINE=1：启用INNOBASE存储引擎。 
-DWITH_MYISAM_STORAGE_ENGINE=1：启用MYISAM存储引擎。 
-DWITH_ARCHIVE_STORAGE_ENGINE=1：启用ARCHIVE存储引擎 
-DWITH_FEDERATED_STORAGE_ENGINE=1：启用FEDERATED存储引擎。 
-DWITH_BLACKHOLE_STORAGE_ENGINE=1：启用BLACKHOLE存储引擎。 
-DWITH_PERFSCHEMA_STORAGE_ENGINE=1：启用PERFSCHEMA存储引擎。 
-DWITHOUT_EXAMPLE_STORAGE_ENGINE=1：不启用或不编译EXAMPLE存储引擎。EXAMPLE存储引擎是一个不做任何事情的存根引擎。它的目的是作为MySQL源代码中的一个例子，用来演示如何开始编写一个新存储引擎。 
-DWITH_ZLIB=bundled：启用libz库支持，使用与发行版捆绑在一起的zlib库。 
-DWITH_SSL=system：启用ssl库支持，使用系统的SSL库，若不使用系统的请自定义路径。 
-DENABLED_LOCAL_INFILE=1：表示能使用load data命令。 
-DWITH_DEBUG=0：禁用debug调试支持。 
-DMYSQL_MAINTAINER_MODE=0：关闭特定于MySQL维护人员的开发环境。 
-DWITH_EMBEDDED_SERVER=0：不构建libmysqld嵌入式服务器库。从MySQL 5.7.17开始不推荐使用libmysqld嵌入式服务器库，并且已在MySQL 8.0中将其删除。 
-DINSTALL_SHAREDIR=share：指定aclocal/mysql.m4安装目录 
-DDOWNLOAD_BOOST=0：禁止下载Boost源。 
-DWITH_BOOST=/usr/local/boost159：指定Boost库目录位置。 
-DCMAKE_EXE_LINKER_FLAGS="-ljemalloc" ：使用jemalloc优化MySQL内存管理。 

 四、配置MySQL

1.创建配置文件

vi /etc/my.cnf 
//输入以下内容 
[client] 
port = 3306 
socket = /usr/local/mysql/mysql.sock 
default-character-set = utf8mb4 
 
[mysqld] 
port = 3306 
socket = /usr/local/mysql/mysql.sock 
basedir = /usr/local/mysql 
datadir = /data/mysql 
character-set-server = utf8mb4 
collation-server = utf8mb4_general_ci 
init_connect = 'SET NAMES utf8mb4' 
server-id = 1 
log-slave-updates=true 
skip-external-locking 
skip-name-resolve 
back_log = 300 
table_open_cache = 128 
max_allowed_packet = 16M 
read_buffer_size = 8M 
read_rnd_buffer_size = 64M 
sort_buffer_size = 16M 
join_buffer_size = 8M 
key_buffer_size = 128M 
thread_cache_size = 16 
log-bin = mysql-bin 
binlog_format = row 
######主从 
log-slave-updates = true 
######慢日志 
slow_query_log = on 
long_query_time = 1 
slow_query_log_file = /data/mysql/db-slow.log 
gtid_mode = ON 
enforce_gtid_consistency = ON 
expire_logs_days = 7    
default_storage_engine = InnoDB 
innodb_buffer_pool_size = 1G 
innodb_data_file_path = ibdata1:10M:autoextend 
innodb_file_per_table = on 
innodb_write_io_threads = 4 
innodb_read_io_threads = 4 
innodb_thread_concurrency = 8 
innodb_purge_threads = 1 
innodb_flush_log_at_trx_commit = 1 
innodb_log_buffer_size = 8M 
innodb_log_file_size = 512M 
innodb_log_files_in_group = 3 
innodb_max_dirty_pages_pct = 90 
innodb_lock_wait_timeout = 60 
max_connections = 5000 
interactive_timeout = 28800 
wait_timeout = 28800 
sql_mode = STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION 
symbolic-links=0 
######时间参数 
log_timestamps=SYSTEM 
 
[mysqldump] 
quick 
max_allowed_packet = 32M 
 
[mysql] 
no-auto-rehash 
default-character-set = utf8mb4 
 
[myisamchk] 
key_buffer_size = 64M 
sort_buffer_size = 64M 
read_buffer = 8M 
write_buffer = 8M 
 
[mysqlhotcopy] 
interactive-timeout 
 
[mysqld_safe] 
log-error = /data/mysql/mysql_err.log 
pid-file = /data/mysql/mysqld.pid 

 注：①上述配置仅供参考,请根据实际环境需求修改参数。

②query_cache_size 此参数配置在MySQL5.7.20就已经过时了，而在MySQL8.0之后就已经被移除了。

2.权限设置

cd /usr/local/mysql 
chown -R mysql:mysql . 

 3.初始化数据库

/usr/local/mysql/bin/mysqld --initialize-insecure --user=mysql --basedir=/usr/local/mysql --datadir=/data/mysql 

注：a.之前版本mysql_install_db是在mysql_basedir/script下，5.7放在了mysql_install_db/bin目录下,且已被废弃

b."--initialize"会生成一个随机密码(~/.mysql_secret)，而"--initialize-insecure"不会生成密码

c.--datadir目标目录下不能有数据文件

## 初始化完成提示：

##开启SSL连接，安全性提高了，但是相对地降低了QPS，还是比较影响性能的，谨慎选择!本文中不开启!

/usr/local/mysql/bin/mysql_ssl_rsa_setup 

4.安装MySQL的man帮助文件、头文件及lib库

cd /usr/local/mysql 
## 手册页帮助文件 
echo "MANPATH /usr/local/mysql/man" >> /etc/man.config 
## 头文件 
ln -sv /usr/local/mysql/include  /usr/include/mysql 
## lib库文件 
echo '/usr/local/mysql/lib' > /etc/ld.so.conf.d/mysql.conf 
## 加载动态库文件 
ldconfig 

 5.配置MySQL环境变量

echo '######MySQL' >> /etc/profile 
echo 'PATH=$PATH:/usr/local/mysql/bin' >> /etc/profile 
source /etc/profile 

 6.配置MySQL服务管理命令

cd /usr/local/mysql 
cp support-files/mysql.server /etc/rc.d/init.d/mysqld 

 7.启动数据库

/etc/init.d/mysqld start 
/usr/local/mysql/bin/mysql --version && echo -e  "\e[31m mysql install is OK\e[0m" 

 

8.验证jemalloc优化MySQL是否生效

lsof -n | grep jemalloc  | grep mysqld 

 

五、服务管理

启动：/etc/init.d/mysqld start 
关闭：/etc/init.d/mysqld stop 
重启：/etc/init.d/mysqld restart 
查看状态：/etc/init.d/mysqld status 
配置开机启动：echo "/etc/init.d/mysqld start" >> /etc/rc.local 

 六、配置root账号密码

## 设置本机登录密码

mysql -uroot -p 
//因初始化数据时没有设置密码，可以按两次确认键进入数据库 
use mysql;              
update user set authentication_string=password('youpassword') where user='root' and host='localhost'; 
FLUSH PRIVILEGES;  

 

## MySQL 5.7.5 或更早之前的版本使用下面的命令设置密码

update user set password=PASSWORD('youpassword') where User='root'; 

***特别提醒注意的一点：MySQL 5.7.6以及最新版本数据库下的user表中已经没有Password字段了，而是将加密后的用户密码存储于authentication_string字段。而且密码的复杂性要求高，需有大小字母、数字、特殊字符。

## 设置远程登录密码

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'youpassword' WITH GRANT OPTION; 
FLUSH PRIVILEGES; 

七、测试

1.创建测试数据库

mysql -uroot -p 
//输入上述步骤中设置的密码登录数据库 
## 创建test库，指定字符集及排序规则 
CREATE DATABASE test DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci; 
## 查看 
show databases; 

 

2.创建普通用户及授权

mysql -uroot -p 
//输入上述步骤中设置的密码登录数据库 
## 切换至mysql库 
use mysql; 
## 创建用户 
CREATE USER 'test'@'%' IDENTIFIED BY '123456'; 
## 授权 
GRANT select,insert,update,delete,create on test.* to 'test'@'%' ; 
## 刷新权限 
FLUSH PRIVILEGES; 
## 查看用户 
select user,host from user; 
## 查看test用户权限 
show GRANTS for 'test'@'%';