MySQL on Coinidea的博客

[LNMP]内存优化

Wed, 19 Dec 2018 03:01:19 +0000

问题描述

最近我的服务器出现了一个问题，内存不够的时候，常常 kill 掉我的 Tomcat。因为访问量整体不算大，目前 LNMP、Tomcat 都在一台机器上，但是这就导致了 Tomcat 相关的 Java 应用无法使用。

1

free -m

查看内存情况发现，操作系统的内存只剩下 60MB 左右，几乎用尽。这种状况持续了 1 个月，当时一直如鲠在喉。中间想过增加内存，又嫌贵。当资源不够的时候一般有两种思路，第一种是增加资源，第二种是优化现有资源。对于我这种穷人来说，第二种常常是我首选的方法。

开始我以为是 Tomcat 自身或者别的进程太吃内存，用

1

top

命令查看后发现，php-fpm 进程常常是占用内存最多的进程。

查看消耗内存最多的前 40 个进程：

1

ps auxw | head -1; ps auxw | sort -rn -k4 | head -40

发现前 40 的进程中，php-fpm 占了绝大部分，而且占用率从 2% 到 7% 不等，问题已经很明显了。罪魁祸首就是 php-fpm。

解决问题

可以通过配置 pm.max_children 属性，控制 php-fpm 子进程数量，首先，打开 php-fpm 配置文件，执行指令：

1

vim /etc/php-fpm.d/www.conf

pm.max_children 默认值为 50，每一个进程占用 1%-2.5% 的内存，加起来就耗费大半内存了，尝试将其值调小，博主这里将其设置为 25（也是参考了其他博客），同时，检查以下两个属性：

pm.max_spare_servers : 该值表示保证空闲进程数最大值，如果空闲进程大于此值，此进行清理
pm.min_spare_servers : 保证空闲进程数最小值，如果空闲进程小于此值，则创建新的子进程;

这两个值均不能大于 pm.max_children 值，通常设置 pm.max_spare_servers 值为 pm.max_children 值的 60%-80%。

最后，重启 php-fpm

1

service php-fpm restart

再次查看内存

1

free -m

发现有 600MB 内存的剩余，就算启动 Tomcat 之后，也能剩余 300MB。

参考链接： https://www.jb51.net/article/129528.htm

1
2

希望这对你有帮助！如果还有其他需要，请随时告诉我。

[MySQL]MySQL自动备份

Tue, 28 Nov 2017 02:59:06 +0000

创建 backup.sh 脚本

新建 backup.sh，输入以下内容：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


db_user="Your database user"
db_passwd="Your password"
db_name="Your database name"

# 备份文件存储目录，你需要更改此目录
backup_dir="/home/mysqlbackup"

# 备份文件的日期格式 (dd-mm-yyyy)
time="$(date +"%Y%m%d%H%M%S")"

# 执行备份命令
mysqldump -h localhost -u $db_user -p$db_passwd --all-databases --sock=/var/lib/mysql/mysql.sock > "$backup_dir/db_$time.sql"

然后，赋予脚本执行权限并执行脚本：

1
2


chmod +x ./backup.sh
bash -x ./backup.sh

如果报套接字错误，需要指定 sock，详见：http://blog.csdn.net/seteor/article/details/18356079。

创建定时任务

编辑定时任务：

1

crontab -e

在编辑界面中，添加以下内容：

1

00 23 * * * /home/mysqlbackup/backup.sh

上述命令将在每天23:00执行 backup.sh 文件，备份数据库到路径 /home/mysqlbackup。

查看定时任务：

1

crontab -l

[MySQL]is marked as crashed and should be repaired

Fri, 28 Apr 2017 08:45:59 +0000

某站点文章都不显示，保守估计数据库挂了。已连接，数据库能够连接，但是文章表不能打开，报错：

Table is marked as crashed and should be repaired.

当时心惊了一下，虽然有定时备份，难道数据库挂了，还是有安全漏洞?

根据字面意思，应该是repair一下这个表。
查了一下，正好Navicat具有这个功能，遂修复。
报错：
mysql table is marked as crashed and last (automatic?) repair failed

自动修复失败了。

准备连上服务器看日志
3.1 MySQL 运行中，重启，正常，但是就是文章表不能读。
3.2 因为表是ISAM引擎的，使用网上的方法

myisamchk -r /your/table/data/path.MYI

还是失败。
3.3 正准备看日志的时候，发现MySQL Data所在盘空间已经满了，剩余0字节

3.4 很明显，清理移动多余文件之后，使用navicat修复，一次成功
🙂

好久没写博客了，还是得加油。

[MySQL]删除字段中的回车符合换行符

Sat, 31 Dec 2016 06:32:25 +0000

1

update table set item=replace(replace(item, char(10), ''), char(13), '') where condition;

table: 表名
item: 字段名
condition: 查询条件

[PHP]ThinkPHP PHP MySQL大数据量导入导出

Thu, 08 Dec 2016 09:37:45 +0000

大数据量的导入导出

备注：大数据量指单文本（含Office相关文档docx，xlsx）10W+的导入导出。

MySQL有两种非常常用的表类型MyISAM和InnoDB。网上针对这两种表类型的介绍和比较非常多，其中主要的区别就是InnoDB支持事务和行级锁，但MyISAM不支持。MyISAM相对来讲效率比较高，二者各有优劣。

MyISAM 和 InnoDB的适用场景

MyISAM适合：

做很多count的计算；
插入不频繁，查询频繁；
没有事务。

InnoDB适合：

可靠性要求比较高，或者要求事务；
表更新和查询都相当的频繁，并且表锁定的机会比较大的情况。

MyISAM 和 InnoDB的区别

MyISAM类型不支持事务处理等高级处理，而InnoDB类型支持。
MyISAM表不支持外键。
在执行数据库写入的操作（insert, update, delete）的时候，MyISAM表会锁表，而InnoDB表会锁行。
当你的数据库有大量的写入、更新操作而查询比较少或者数据完整性要求比较高的时候就选择InnoDB表。当你的数据库主要以查询为主，相比较而言更新和写入比较少，并且业务方面数据完整性要求不那么严格，就选择MyISAM表。因为MyISAM表的查询操作效率和速度都比InnoDB要快。

综上，InnoDB在当前的场景下是不错的选择。

插入大量数据时的优化方法

当PHP需要插入大量数据的时候，当一条一条的插入时，会发现IO耗时严重拖性能。

Demo代码：

1
2
3
4
5
6
7


$params = array('value' => '50');
set_time_limit(0);
echo date("H:i:s");
for($i = 0; $i < 2000000; $i++) {
 $connect_mysql->insert($params);
}
echo date("H:i:s");

有两种方法可以解决这种问题：

1. 使用事务（InnoDB支持）

比如可以每隔10000或者100000条提交一次事务，这样大大降低了IO。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


echo date("H:i:s");
$connect_mysql->query('BEGIN');
$params = array('value' => '50');
for($i = 0; $i < 2000000; $i++) {
 $connect_mysql->insert($params);
 if($i % 100000 == 0) {
 $connect_mysql->query('COMMIT');
 $connect_mysql->query('BEGIN');
 }
}
$connect_mysql->query('COMMIT');
echo date("H:i:s");

2. SQL语句拼接

这是MySQL的一种特性，使用优化SQL语句：将SQL语句进行拼接，使用 insert into table () values (),(),(),() 然后再一次性插入，如果字符串太长，则需要配置下MySQL，在MySQL命令行中运行：

1

SET GLOBAL max_allowed_packet = 2 * 1024 * 1024 * 10;

1
2
3
4
5
6


$sql = "INSERT INTO twenty_million (value) VALUES";
for($i = 0; $i < 2000000; $i++) {
 $sql .= "('50'),";
}
$sql = substr($sql, 0, strlen($sql) - 1);
$connect_mysql->query($sql);

第一种方法较为常用，第二种方法多用于测试数据。

一般默认情况下，PHP的内存为128MB，当使用ThinkPHP超内存的时候，可以调高PHP的默认最大内存，也可以将只需要在入口文件中删除常量APP_DEBUG的定义或者定义为false。这个时候会很省很多内存。当然也可以使用事务模式每隔n条提交一次。当然一次性提交也可以用ThinkPHP的addAll函数，不过该函数Bug较多。

ThinkPHP开启和提交事务

1
2


$table->startTrans();
$table->commit();

当如果需要操作Office相关文件的时候推荐使用PHPWord和PHPExcel。

[SAE]SAE MySQL跨应用授权

Sat, 09 Apr 2016 07:50:12 +0000

在 SAE（新浪云计算）收费越来越贵的今天，节约成本变得越来越重要。2016 年三月开始，共享型 MySQL 也开始收费，这时多个应用共享一个 MySQL 是节约的一种重要方式。

实现多个应用共享一个 MySQL 的步骤

假设有多个应用（APP1, APP2, APP3）：其中共享型 MySQL 仅 APP1 保留，APP2 和 APP3 使用 APP1 的 MySQL。
导出 APP2 和 APP3 的 MySQL 作为备份，然后删除 APP2 和 APP3 的 MySQL，这样 APP2 和 3 的 MySQL 相当于没有初始化即不会再被扣费。
向 APP1 中的 MySQL 导入 APP2 和 3 的数据库文件（*.sql），导入之前注意表名别冲突。
选择 APP1 的 MySQL，点击跨应用授权可选择本帐号应用或其他帐号应用，此处授权到 APP2、APP3 应用。
编写脚本，显示本应用 APP1 的 MySQL 信息，供授权应用 APP2 和 APP3 使用（此处会泄露数据库的相关信息，请谨慎操作并及时删除）。

注意事项

安全性：由于脚本会暴露数据库的用户名、密码等敏感信息，请确保在使用完后及时删除该脚本，避免信息泄露。
表名冲突：在导入 APP2 和 APP3 的数据库文件到 APP1 的 MySQL 时，确保表名不冲突。如果有冲突，可以考虑在导入前修改表名。
授权管理：在 SAE 管理平台上进行跨应用授权时，确保只授权必要的应用，避免不必要的权限暴露。

通过这些步骤，可以有效地节约 SAE MySQL 的使用成本，同时确保多个应用能够正常访问共享的数据库。