关于php mysql长连接、连接池的一些探索

作者: dplord, 访问量 7949





php连接mysql的方式,用的多的是mysql扩展、mysqli扩展、pdo_mysql扩展,是官方提供的。php的运行机制是页面执行完会释放所有该php进程中的所有资源的,如果有多个并发访问本地的测试页面 http://127.0.0.1/1.php 根据php跟web服务器的不同,会开相应的线程或者进程去处理该请求,请求完了会释放结果的。也就是php无法从语言层面从页面到页面之间传递一些数据,但是mysql_pconnect跟pdo中的ATTR, 设置array(PDO::ATTR_PERSISTENT => true)如下是可以实现长连接的。

$conn = new PDO($dsn, DB_USER, DB_PASSWORD,
    array(PDO::ATTR_PERSISTENT => true)
);

长连接的作用我觉得是在高负载的情况下,通过复用长连接,减少了每个页面的建立数据库连接的时间,而这个建立mysql connection的时间,在我的机器上

  • 在数据库connnections < 10的情况下 , mysql pdo 建立connection time 为0.003ms, mysqli建立connection time为0.14ms
  • 在数据库connection接近满的时候,mysql pdo建立connection time为0.13ms, mysqli建立connection time为0.13ms

以上样本都是在大概估测时间,时间太小不好估计。其实建立连接的时间并不长,那这样为什么需要mysql长连接、连接池这样的东西呢。那是在高负载下,比如server单机可以接受的mysql并发在200左右,web server的单机并发在700左右,那么当大批量500并发连接压过来的时候, web server没到满负荷, mysql提前到了满负荷,就会导致所有页面无法响应、或者已经建立好数据库连接的页面执行很慢。

php中的mysql长连接由于php的运行方式有多种,因而长连接实现也有多种。需要web服务器支持才可以实现长连接,因为php是没有进程池跟连接池这种概念的,绝大多数情况下php应用本身不是一个应用服务器(后起之秀swoole, 是一个优秀的php应用服务器,不过是在c层面做的)。因而php的长连接其实是搭载apache这样的带有mpm模块的webserver, linux 下apache会维护一个进程池,开启了apache mpm功能之后,apache会默认维持一个进程池,mysql长连接之后的连接,并没有作为socet连接关闭,而是作为一个不释放的东西,放进了进程池/线程池里面去。等需要连接的时,apache从它维护的进程池/线程池里面取出mysql  socket connnection, 然后就可以复用此连接了。

这里测试一下,首先本机环境是archlinux , 后文所用mysql httpd php都是自己编译的源代码,都在/home/dengpan/opt目录。httpd的mpm模型这里采用的是worker, httpd的mpm(apache用于并行方面功能的,俗称多路处理模块)其实有perfork、worker、event三种。mpm的好处是让apache随时有些备用的spare或者空闲的子进程(服务器线程池),随时等待新过来的请求,这样客户端不需要在请求服务之前等待子进程的产生。

使用什么mpm,需要单独指定编译进去apache里面去,比如编译work mpm到apache里面去,比如我的最简化httpd的编译参数是

./configure \
--with-apr=/home/dengpan/opt/apr-1.5.2 \
--with-apr-util=/home/dengpan/opt/apr-util-1.5.4 \
--prefix=/home/dengpan/opt/httpd-2.4.16 \
--with-mpm=worker

查看httpd加载的模块,

wp_1

看到worker.c 已经编译过去了,

mpm的配置参数为

<IfModule mpm_worker_module>
    StartServers             15
    MinSpareThreads         75
    MaxSpareThreads        250
    ThreadsPerChild         10
    MaxRequestWorkers      400
    MaxConnectionsPerChild   0
</IfModule>

启动apache用pstree看到 |-httpd—15*[httpd—11*[{httpd}]],说明起了15个server进程,每个server起了10个子线程。整个mpm要维持的最小的闲置线程数量在75,最大的闲置线程在250。满载的最大的工作线程在400个。下面准备一个shell脚本,每1秒输出下当前mysql的active连接数量, 查看mysql current连接数我用的较多的有2个方法

  • 进mysql shell, 执行SHOW STATUS WHERE `variable_name` = ‘Threads_connected'; 不过这个方法得mysql shell进的去才对,当connections很多的时候,mysql shell进不去也就无法查询了
  • shell直接查询,  find /proc/`pidof mysqld`/fd/ -follow -type s | wc -l , 需要root权限,好处是即使mysql因为too many connections无法进入shell的时候还是可以连接进去。

这里用方法2,因为后面回到机器的mysql满载负荷的。写一个shell如下:

#!/bin/bash
while(true)
do
    find /proc/`pidof mysqld`/fd/ -follow -type s | wc -l
	sleep 1
done

后面执行该shell不断的输出当前连接数,测试可得

  1. cli下执行php,长连接无效,cli下脚本一退出,连接即释放
  2. apche+mod_php不开启mpm模块的话,无论mysql mysql_pconnect、pdo_mysql长连接, 页面访问完毕, mysql连接即释放。
  3. apche+mod_php开启mpm模块(worker模式)的话,无论mysql mysql_pconnect、pdo_mysql长连接, 页面访问完毕, mysql连接+1,直到达到最大的mysql连接数,不在增加,但是访问页面还是可以复用连接查询到相应数据。
  4. nginx+php-fpm下mysql长连接基本无效果。

apache之所以能够复用mysql连接,说明apache肯定为mysql自己实现了一些功能函数、模块,否则不可能把一个未知类型的socket指针存下来的。用ldd查看,

➜  mysql_persist  ldd /home/dengpan/opt/httpd-2.4.16/bin/httpd
        linux-vdso.so.1 (0x00007ffffcbde000)
        libpcre.so.1 => /usr/lib/libpcre.so.1 (0x00007f8e8d17c000)
        libaprutil-1.so.0 => /home/dengpan/opt/apr-util-1.5.4/lib/libaprutil-1.so.0 (0x00007f8e8cf57000)
        libexpat.so.1 => /usr/lib/libexpat.so.1 (0x00007f8e8cd2d000)
        libapr-1.so.0 => /home/dengpan/opt/apr-1.5.2/lib/libapr-1.so.0 (0x00007f8e8cafb000)
        libuuid.so.1 => /usr/lib/libuuid.so.1 (0x00007f8e8c8f6000)
        librt.so.1 => /usr/lib/librt.so.1 (0x00007f8e8c6ee000)
        libcrypt.so.1 => /usr/lib/libcrypt.so.1 (0x00007f8e8c4b6000)
        libpthread.so.0 => /usr/lib/libpthread.so.0 (0x00007f8e8c299000)
        libdl.so.2 => /usr/lib/libdl.so.2 (0x00007f8e8c095000)
        libc.so.6 => /usr/lib/libc.so.6 (0x00007f8e8bcf3000)
        /lib64/ld-linux-x86-64.so.2 (0x00007f8e8d3ec000)

可以猜测出/home/dengpan/opt/apr-util-1.5.4/lib/libaprutil-1.so.0跟/home/dengpan/opt/apr-1.5.2/lib/libapr-1.so.0应实现了跟mysql相关的代码段。由于我是本地编译的,很方便找到函数入口,/home/dengpan/github/apache-httpd/apr-util-1.5.4/dbd/apr_dbd_mysql.c这个文件,其实是apache的mod_dbd对常见的数据库都做了长连接支持。而nginx跟php-fpm的关系并不像php跟apache那样,所以nginx+php-fpm无法实现对应的长连接。大概是php-fpm并没有做mysql的进程、线程池。

最后给出我的建议,一般小型php应用是没有性能问题的,php自身连接mysql很快,很多都处于性能过剩, 随着apache慢慢被nginx替代,php的mysql长连接也只会越来越鸡肋。单机的话,其实要是怕mysql创建connections有压力,最好把mysql的创建使用单例模式,这样一个页面只会创建一个mysql连接实例。诸如下面的单例例子代码,而这个更适合写在框架里去实现单例。

<?php
/**
 * Created by PhpStorm.
 * User: dengpan
 * Date: 15-7-24
 * Time: 下午2:56
 */
include "./db.php";

class DB {
    private static $_instance;
    private $db;

    private function __construct()
    {
        $this->db =  new mysqli(DB_HOST, DB_USER, DB_PASSWORD, 'my', 3307);
    }
    public static function getInstance()
    {
        if (!(self::$_instance instanceof DB)) {
            self::$_instance = new self();
        }
        return self::$_instance;
    }
    private function __clone()
    {

    }

    public function getConn()
    {
        return $this->db;
    }
}

$conn = DB::getInstance()->getConn();

至于非要有用mysql连接池的那种要求的,推荐使用swoole扩展实现的连接池,http://rango.swoole.com/archives/265 或者更大型点的直接使用qihoo360开源的 atlas数据库中间件,https://github.com/Qihoo360/Atlas。都很不错。mysql长连接的话,个人感觉可以在php中尽量不用。

  • dplord

    ss

  • Deng Aolin

    学习一下你博客的布局~~