PHP on Coinidea的博客

[LNMP]内存优化

Wed, 19 Dec 2018 03:01:19 +0000

问题描述

最近我的服务器出现了一个问题，内存不够的时候，常常 kill 掉我的 Tomcat。因为访问量整体不算大，目前 LNMP、Tomcat 都在一台机器上，但是这就导致了 Tomcat 相关的 Java 应用无法使用。

1

free -m

查看内存情况发现，操作系统的内存只剩下 60MB 左右，几乎用尽。这种状况持续了 1 个月，当时一直如鲠在喉。中间想过增加内存，又嫌贵。当资源不够的时候一般有两种思路，第一种是增加资源，第二种是优化现有资源。对于我这种穷人来说，第二种常常是我首选的方法。

开始我以为是 Tomcat 自身或者别的进程太吃内存，用

1

top

命令查看后发现，php-fpm 进程常常是占用内存最多的进程。

查看消耗内存最多的前 40 个进程：

1

ps auxw | head -1; ps auxw | sort -rn -k4 | head -40

发现前 40 的进程中，php-fpm 占了绝大部分，而且占用率从 2% 到 7% 不等，问题已经很明显了。罪魁祸首就是 php-fpm。

解决问题

可以通过配置 pm.max_children 属性，控制 php-fpm 子进程数量，首先，打开 php-fpm 配置文件，执行指令：

1

vim /etc/php-fpm.d/www.conf

pm.max_children 默认值为 50，每一个进程占用 1%-2.5% 的内存，加起来就耗费大半内存了，尝试将其值调小，博主这里将其设置为 25（也是参考了其他博客），同时，检查以下两个属性：

pm.max_spare_servers : 该值表示保证空闲进程数最大值，如果空闲进程大于此值，此进行清理
pm.min_spare_servers : 保证空闲进程数最小值，如果空闲进程小于此值，则创建新的子进程;

这两个值均不能大于 pm.max_children 值，通常设置 pm.max_spare_servers 值为 pm.max_children 值的 60%-80%。

最后，重启 php-fpm

1

service php-fpm restart

再次查看内存

1

free -m

发现有 600MB 内存的剩余，就算启动 Tomcat 之后，也能剩余 300MB。

参考链接： https://www.jb51.net/article/129528.htm

1
2

希望这对你有帮助！如果还有其他需要，请随时告诉我。

[消息推送]基于umeng服务的消息推送

Sun, 19 Nov 2017 11:48:10 +0000

在服务端与移动端交互的时候，常常需要将服务端的消息推送到用户的移动端。umeng提供这样的消息推送服务——upush。

下载sdk代码。基于demo，本文进行了一个简单ThinkPHP调用实现。

1
2
3
4
5
6


$appkey = "your app key";
$secret = "your app secret";
import('@.ORG.Notification');
$notification = new Notification($appkey, $secret);
$custom_data = array($key=>$value);
$notification->sendIOSBroadcast($your_title, $custom_data);

Notification.class.php是sdk提供的demo.php封装到了ThinkPHP的ORG文件夹中。
如果你有任何问题，亦可以在本文下留言，一般一天一个回复。

[ThinkPHP]ThinkPHP并发下锁表

Fri, 17 Nov 2017 03:10:04 +0000

最近需要写一个并发量不是很大的报名系统，但是还是有可能出现多人同时报名的情况。因为报名涉及到先后顺序，如果不进行锁行或者锁表，会出现下列这种情况。
例：
当前系统中只有用户A报名，顺序为1，记为(A, 1)；
某时刻t，用户B，用户C，用户D，同时报名，后端几乎同时接收到B、C、D的报名请求，于是查询报名表发现，目前只有(A, 1)，于是将(B, 2)，(C, 2)，(D, 2)插入报名表得到结果：

1
2
3
4


(A, 1)
(B, 2)
(C, 2)
(D, 2)

个人最开始想到的办法是：我不记录顺序，我记录插入时间戳，这样的话就是

1
2
3
4


(A, ta)
(B, tb)
(C, tc)
(D, td)

ta, tb, tc, td几乎不可能出现相等的情况。
但是这样做有三个问题无法解决，

有可能出现时间戳相等的情况，概率很低
不直观，需要用时间戳排序
报名的时候用人数限制，比如限制报名40人，而且立即反馈当前报名是否报上。

目前的解决办法是，通过数据库加锁来解决。
网上查了很多资料，ThinkPHP可以加悲观锁和乐观锁。目标系统访问量不大，使用悲观锁就行了。

MyISAM只能锁表，InnoDB可以行锁定。目标系统锁表即可。
官方文档给出的锁表方案是：

1

$User->lock(true)->save($data);// 使用悲观锁功能

但是目标系统要进行一些列操作，所以使用的锁表代码是：

1
2
3
4


M()->query("lock tables yourtable write");
// TODO
// your code
M()->query("unlock tables");

实际效果运行效果还不错[真实日期已被滤去]：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40


??-??-?? 10:00:00 1
??-??-?? 10:00:00 2
??-??-?? 10:00:00 3
??-??-?? 10:00:00 4
??-??-?? 10:00:01 5
??-??-?? 10:00:01 6
??-??-?? 10:00:01 7
??-??-?? 10:00:01 8
??-??-?? 10:00:02 9
??-??-?? 10:00:02 10
??-??-?? 10:00:02 11
??-??-?? 10:00:02 12
??-??-?? 10:00:02 13
??-??-?? 10:00:02 14
??-??-?? 10:00:03 15
??-??-?? 10:00:03 16
??-??-?? 10:00:03 17
??-??-?? 10:00:05 18
??-??-?? 10:00:06 19
??-??-?? 10:00:07 20
??-??-?? 10:00:08 21
??-??-?? 10:00:10 22
??-??-?? 10:00:15 23
??-??-?? 10:00:17 24
??-??-?? 10:00:19 25
??-??-?? 10:00:19 26
??-??-?? 10:00:24 27
??-??-?? 10:00:25 28
??-??-?? 10:00:34 29
??-??-?? 10:00:35 30
??-??-?? 10:00:38 31
??-??-?? 10:01:06 32
??-??-?? 10:01:11 33
??-??-?? 10:01:11 34
??-??-?? 10:01:17 35
??-??-?? 10:01:18 36
??-??-?? 10:02:27 37
??-??-?? 10:02:38 38
??-??-?? 10:02:39 39
??-??-?? 10:02:57 40

[PHP]PHP正则表达式过滤所有标点符号

Thu, 08 Dec 2016 09:40:15 +0000

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


// Filter 英文标点符号
$word = preg_replace("/[[:punct:]]/i", " ", $word);

// Filter 中文标点符号
mb_regex_encoding('utf-8');
$char = "。、！？：；﹑•＂…‘’“”〝〞∕¦‖—　〈〉﹞﹝「」‹›〖〗】【»«』『〕〔》《﹐¸﹕︰﹔！¡？¿﹖﹌﹏﹋＇´ˊˋ―﹫︳︴¯＿￣﹢﹦﹤‐­˜﹟﹩﹠﹪﹡﹨﹍﹉﹎﹊ˇ︵︶︷︸︹︿﹀︺︽︾ˉ﹁﹂﹃﹄︻︼（）";
$word = mb_ereg_replace("[".$char."]", " ", $word, "UTF-8");

// Filter 连续空格
$word = preg_replace("/\s+/", " ", $word);

mb_ereg_replace用于中文字符替换，正则的时候不需要加/ /。

[PHP]ThinkPHP PHP MySQL大数据量导入导出

Thu, 08 Dec 2016 09:37:45 +0000

大数据量的导入导出

备注：大数据量指单文本（含Office相关文档docx，xlsx）10W+的导入导出。

MySQL有两种非常常用的表类型MyISAM和InnoDB。网上针对这两种表类型的介绍和比较非常多，其中主要的区别就是InnoDB支持事务和行级锁，但MyISAM不支持。MyISAM相对来讲效率比较高，二者各有优劣。

MyISAM 和 InnoDB的适用场景

MyISAM适合：

做很多count的计算；
插入不频繁，查询频繁；
没有事务。

InnoDB适合：

可靠性要求比较高，或者要求事务；
表更新和查询都相当的频繁，并且表锁定的机会比较大的情况。

MyISAM 和 InnoDB的区别

MyISAM类型不支持事务处理等高级处理，而InnoDB类型支持。
MyISAM表不支持外键。
在执行数据库写入的操作（insert, update, delete）的时候，MyISAM表会锁表，而InnoDB表会锁行。
当你的数据库有大量的写入、更新操作而查询比较少或者数据完整性要求比较高的时候就选择InnoDB表。当你的数据库主要以查询为主，相比较而言更新和写入比较少，并且业务方面数据完整性要求不那么严格，就选择MyISAM表。因为MyISAM表的查询操作效率和速度都比InnoDB要快。

综上，InnoDB在当前的场景下是不错的选择。

插入大量数据时的优化方法

当PHP需要插入大量数据的时候，当一条一条的插入时，会发现IO耗时严重拖性能。

Demo代码：

1
2
3
4
5
6
7


$params = array('value' => '50');
set_time_limit(0);
echo date("H:i:s");
for($i = 0; $i < 2000000; $i++) {
 $connect_mysql->insert($params);
}
echo date("H:i:s");

有两种方法可以解决这种问题：

1. 使用事务（InnoDB支持）

比如可以每隔10000或者100000条提交一次事务，这样大大降低了IO。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


echo date("H:i:s");
$connect_mysql->query('BEGIN');
$params = array('value' => '50');
for($i = 0; $i < 2000000; $i++) {
 $connect_mysql->insert($params);
 if($i % 100000 == 0) {
 $connect_mysql->query('COMMIT');
 $connect_mysql->query('BEGIN');
 }
}
$connect_mysql->query('COMMIT');
echo date("H:i:s");

2. SQL语句拼接

这是MySQL的一种特性，使用优化SQL语句：将SQL语句进行拼接，使用 insert into table () values (),(),(),() 然后再一次性插入，如果字符串太长，则需要配置下MySQL，在MySQL命令行中运行：

1

SET GLOBAL max_allowed_packet = 2 * 1024 * 1024 * 10;

1
2
3
4
5
6


$sql = "INSERT INTO twenty_million (value) VALUES";
for($i = 0; $i < 2000000; $i++) {
 $sql .= "('50'),";
}
$sql = substr($sql, 0, strlen($sql) - 1);
$connect_mysql->query($sql);

第一种方法较为常用，第二种方法多用于测试数据。

一般默认情况下，PHP的内存为128MB，当使用ThinkPHP超内存的时候，可以调高PHP的默认最大内存，也可以将只需要在入口文件中删除常量APP_DEBUG的定义或者定义为false。这个时候会很省很多内存。当然也可以使用事务模式每隔n条提交一次。当然一次性提交也可以用ThinkPHP的addAll函数，不过该函数Bug较多。

ThinkPHP开启和提交事务

1
2


$table->startTrans();
$table->commit();

当如果需要操作Office相关文件的时候推荐使用PHPWord和PHPExcel。

[PHP]call to undefined function mb_convert_encoding

Tue, 02 Aug 2016 03:37:01 +0000

Windows下解决

在 php.ini 中开启 mbstring 函数库：去掉 extension=php_mbstring.dll 前面的分号。

Linux下解决

首先安装 php-mbstring 库文件：
1

yum install php-mbstring
之后，修改 /etc/php.ini 文件，在里面加一句：
1

extension=mbstring.so
保存后重启 httpd 服务：
1

service httpd restart

[Memcache]PHP连接测试Memcache

Tue, 08 Mar 2016 12:42:07 +0000

1
2
3
4
5


<?php
$memcache_obj = memcache_connect('127.0.0.1', 11211);
$memcache_obj->add("name", "test");
echo $memcache_obj->get("name");
?>

如果你在使用这段代码时遇到问题，请确保以下几点：

Memcache 服务是否已启动：确保你的 Memcache 服务在 127.0.0.1 的 11211 端口上运行。
PHP Memcache 扩展是否已安装和启用：确保你已经安装并启用了 PHP 的 Memcache 扩展。

你可以通过以下命令安装 Memcache 扩展：

1

sudo apt-get install php-memcache

并在 php.ini 文件中启用扩展：

1

extension=memcache.so

重启你的 Web 服务器以应用更改：

1

sudo service apache2 restart

或者，如果你使用的是 Nginx：

1

sudo service nginx restart

如果你使用的是 memcached 而不是 memcache，请确保使用正确的扩展和函数：

1
2
3
4
5
6


<?php
$memcached = new Memcached();
$memcached->addServer('127.0.0.1', 11211);
$memcached->set("name", "test");
echo $memcached->get("name");
?>

这种情况下，你需要安装 php-memcached 扩展：

1

sudo apt-get install php-memcached

[PHP]ZendGuard对PHP加密

Tue, 29 Dec 2015 07:28:22 +0000

ZendGuard下载

官方下载地址：http://www.zend.com/en/products/guard/downloads#Windows

下载之前需要注册，我下的版本是Zend Guard 6.0。双击运行即可傻瓜式安装。

最新的版本是7.0，如果想下载早期的版本，请点击：>Download here，当前页面下方会弹出早期版本的列表。

PHP下载

官方下载地址：http://php.net/downloads.php | http://php.net/releases/

我现在的版本是：http://windows.php.net/download/#php-5.4

php一个版本一般会发布两种类型的程序，一种是线程安全的（Thread Safe），另一种是非线程安全的（Non Thread Safe）。

值得注意的是： ZendGuard 只支持非线程安全的。所以请选择非线程安全的 PHP 下载。

配置PHP——ZendLoader.dll

下载ZendLoader.dll

官方下载地址：http://www.zend.com/en/products/loader/downloads#Windows

下载之前请注册，与ZendGuard下载类型，注意选择对应PHP版本的ZendLoader。

将ZendLoader.dll拷贝到PHP [PHP的根目录]\ext\ 中。

修改 php.ini-development 或者 php.ini-production 为 php.ini，
在 php.ini 文件中添加以下内容：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


zend_extension="./ext/ZendLoader.dll"

; Enables loading encoded scripts. The default value is On
zend_loader.enable=1

; Disable license checks (for performance reasons)
zend_loader.disable_licensing=0

; The Obfuscation level supported by Zend Guard Loader. The levels are detailed in the official Zend Guard Documentation. 0 - no obfuscation is enabled
zend_loader.obfuscation_level_support=3

; Path to where licensed Zend products should look for the product license. For more information on how to create a license file, see the Zend Guard User Guide
zend_loader.license_path=

新建PHP代码

新建 input 文件夹，在 input 文件夹中新建 test.php。

代码如下：

1
2
3
4
5


<?php
date_default_timezone_set("Asia/shanghai");
echo "Thanks ZendGuard!\n";
echo "Now datetime is ".date("Y-m-d h:i:s")."\n";
?>

上述代码输出：

Thanks ZendGuard

Now datetime is 当前时间.

ZendGuard安装及新建项目

ZendGuard是傻瓜式安装，安装之后，运行起来，效果如下。

新建 Zend Guard Project 工程。
指定输出文件为 output 文件夹。
添加输入文件夹为 input 文件夹。
选择PHP版本
点击
output 文件夹中新生成了 test.php，打开看是乱码。

运行源代码及加密代码

运行源代码效果：

运行加密代码效果：

至此，就可以用 ZendGuard 对PHP代码进行加密。

[PHP]ThinkPHP配置PHPUnit

Thu, 10 Dec 2015 14:19:57 +0000

版本描述

PHP: 5.3

PHPUnit

ThinkPHP 3.1.3

IDE: PHPStorm 10 （推荐）

PHPStorm配置PHPUnit

详见博文：

http://blog.coinidea.com/web开发/php-1088.html

ThinkPHP部署

官方代码下载：

http://www.thinkphp.cn/down.html

初始化站点：

http://www.thinkphp.cn/info/60.html

测试用例

本例中，根目录的index.php的配置如下：

1
2
3
4
5
6
7


<?php
define('APP_NAME', 'example');
define('APP_PATH', '../example/');
define('APP_PHPUNIT', false);
define('APP_DEBUG', true);
require('../ThinkPHP/ThinkPHP.php');
?>

首次访问之后，生成以下目录结构：

在example站点中新建文件夹，命名为“Testcase”。

测试Model

创建HelloModel.class.php：

1
2
3
4
5
6
7
8
9


<?php
class HelloModel extends Model
{
 public function sayHello()
 {
 print 'Hello';
 return 'Hello';
 }
}

在Test文件夹中新建Test.php文件作为PHPUnit，其中注意require ThinkPHP作为初始化框架环境，另外在Think.class.php中，修改

**start()**函数中，App::run()为!APP_PHPUNIT && App::run();

该区分站点运行与测试用例。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


<?php
define('APP_NAME', 'example');
define('APP_PATH', './../../example/');
define('APP_PHPUNIT', true);
require('./../../ThinkPHP/ThinkPHP.php');
class TestSayHello extends PHPUnit_Framework_TestCase {

public function setUp() { }

public function tearDown(){ }

}

在TestSayHello中加入测试用例：

1
2
3
4
5


public function testHelloModel()
{
 $hello = D('Hello');
 $this->assertTrue($hello->sayHello('Hello') == 'Hello');
}

测试Action

修改IndexAction.class.php如下：

1
2
3
4
5
6
7
8
9


<?php
class IndexAction extends Action
{
 public function index()
 {
 $hello = D("Hello");
 return $hello->sayHello();
 }
}

浏览器访问Index效果：

在TestSayHello中加入测试用例：

1
2
3
4
5


public function testHelloAction()
{
 $hello = new IndexAction();
 $this->assertTrue($hello->index() == 'Hello');
}

运行效果

运行Test.php效果如下：

Test通过，至此给ThinkPHP加上了单元测试。

poisonbian 2016/05/10 14:57

照着试了下，发现model无法使用，Common目录下自定义的一些函数也没有加载。研究了一下，觉得在Think.class.php中加APP_PHPUNIT的判断不太合理，不如在App.class.php中，在这儿添加： !APP_PHPUNIT && App::exec();

[PHP]PHPUnit安装配置及样例

Fri, 04 Dec 2015 14:45:19 +0000

PHPUnit的安装及样例测试

网上很多人推荐使用pear的安装方式，尝试了很多博客中的方法，均已失败。
我成功的方法是比较原生：

下载地址：

https://phpunit.de/index.html

下载下来的是.phar的PHP扩展。根据自己的PHP版本下载对应的PHPUnit版本

根据https://phpunit.de/manual/current/en/installation.html#installation.phar.windows按部就班即可。

下载PHPUnit.phar到某个文件夹比如：C:\bin\
将这个文件夹C:\bin\到环境变量Path中
在命令行中，当前路径移动到C:\bin，并在命令行下输入
echo @php "%~dpophpunit.phar"%*>phpunit.cmd

在任意位置的命令行中输入：

1

phpunit --version

能够看见

至此，PHPUnit安装成功。

测试样例：

SayHello.php

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


<?php

class SayHello
{
 public function printHello()
 {
 echo 'Hello';
 return 'Hello';
 }
}
?>

TestSayHello.php

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


<?php

require_once 'SayHello.php';

class TestSayHello extends PHPUnit_Framework_TestCase
{
 public function setUp() { }

 public function tearDown() { }

 public function testConnectionIsValid()
 {
 $hi = new SayHello();
 $this->assertTrue($hi->printHello() == 'Hello');
 }
}
?>

SayHello类会在屏幕上输出Hello并将Hello返回。

TestSayHello验证SayHello类是否会正确返回Hello字符串。

在命令行中输入，测试成功。

PHPStorm配置PHPUnit

低版本的PHPStorm不能很好的支持PHPUnit，会报：

Warning: require_once(PHPUnit/Runner/Version.php)

详见：

http://stackoverflow.com/questions/30278588/phpstorm-via-phpunit-phar-warning-require-oncephpunit-runner-version-php

本文使用的是PHPStorm10，下载地址：

https://www.jetbrains.com/phpstorm/?fromMenu

打开刚才的两个文件

设置settings， File=>Settings

配置PHP版本：

配置PHPUnit

样例测试

选中TestSayHello，直接运行即可。运行结果：

[Yii]Yii下防守CSRF与XSS[二]

Tue, 21 Jul 2015 16:04:21 +0000

之前已经写过Yii下防守CSRF与XSS[一] 但是真正面临测试的时候，有一个需求是说希望过滤掉特殊的字符，比如:,:,”,<,>,%等。

Yii中的CHtml::purifier实际上只针对html的过滤，CHtml::encode本质上调用的是htmlspecialchars：

htmlspecialchars只转化<、>、单引号、双引号、&符号
htmlentities会转化所有的html符号

可以看到PHP内置的函数都不能过滤全部的特殊字符，此时采用的方式是在Yii框架下，新建一个Filter类，自己重写specialchar函数，可以随心所欲的替换字符。为了提高性能，可以定义成public static调用。

1
2
3
4
5
6
7


class Filter {
 public static function ReplaceSpecialChar($str) {
 $str=str_replace(":",$str); //TODO: replace other chars
 $str = htmlspecialchars($str);
 return $str;
 }
}

[Redis]Yii配置Redis相关问题

Fri, 12 Jun 2015 06:24:58 +0000

基本配置操作：

yii main.php中：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


return array(
 ...
 'components'=>array(
 'redis_cache' => array (
 'class' => 'system.caching.CRedisCache',
 'hostname' =>'127.0.0.1',
 'port' => 6379,
 'password'=>'123456',
 'database'=>1
 ),
 ),
 ...
)

其中：
class中的CRedisCache是Redis的官方插件；
如果设置了密码需要password项；
database制定对应的数据库

调用操作：
$r_key = “key”;
Yii::app()->redis_cache->set($r_key, 99999);
echo Yii::app()->redis_cache->get($r_key);

但是在Redis数据库中并未发现名为“key”的键值，是因为yii的redis插件默认对key会进行md5加密。
通过查看CRedisCahce的父类CCache可以知道在CRedisCache.php中需要声明以下两个变量：

1
2


public $hashKey = false;
public $keyPrefix = "";

即可解决问题。

另外，如果遇到中文乱码不能查看的问题，是因为Redis数据库默认ANSIC编码，输入命令是请使用：
./redis-cli –raw -h 127.0.0.1
连接即可。

官方文档请查看：http://www.yiiframework.com/doc/api/1.1/CRedisCache/。

二维码在线生成

Sat, 30 May 2015 03:19:13 +0000

分享一个自己编写的简单的二维码在线生成工具，点击下方链接即可：