解决注册并发问题并提高QPS

Posted on by hackdl

前言

前面在本地的windows通过apache的ab工具测试了600并发下“查询指定手机是否存在再提交数据”的注册功能会出现重复提交的情况，并且在注册完成时还需要对邀请人进行奖励，记录邀请记录，对该新用户自动发布动态信息，发短信或发邮件等其他业务功能。所以这里当并发时，注册功能就变得低效且容易出现问题。

方法

先对重复提交的问题通过redis解决，再把注册储存用户基本信息以后的操作放到队列中进行异步执行，可以很好的优化注册功能，提高QPS。

一、环境要求

PHP版本 >= 5.6.0
PHP框架：Thinkphp5.1.*
消息队列：Think-queue2.0
PHP扩展：Redis

二、下载框架和消息队列中间件

  1. 下载tp5.1。composer create-project topthink/think=5.1.* tp5 –prefer-dist
  2. 安装think-queue。composer require topthink/think-queue 
  3. php安装redis扩展和打开redis服务端和客户端。

三、解决注册重复提交

  1. 配置文件中cache设置为redis驱动，并新建控制器因为cache相关命名空间。

    use thinkException;
use thinkfacadeCache;
use thinkfacadeEnv;
use thinkQueue;
  2. 使用无序集合存手机号，通过判断当前手机号是否是在指定键里为成员(如果注册存入数据库失败，通过sRem删除该成员)，然后再通过查询数据库判断是否存在。
private $cache;
private  $handler;
// 实例化redis
public function __construct() {
    $this->cache = Cache::init();
    $this->handler = $this->cache->handler();
}

// 判断手机号是否在集合中
$is_existe = $this->handler->sIsMember("register:mobile",$mobile);
if(!$is_existe) {
   $this->handler->sAdd("register:mobile",$mobile);
}else {
   //Log::write('---压力测试'.date("Y-m-d h:i:s").'---手机号已存在');
   var_dump('手机号已存在');    // 用户已存在
   die;
}

// 查询手机号码是否已注册
$user = db('user')->field('mobile')->where('mobile', $mobile)->find();
if ($user) {
    //Log::write('---压力测试'.date("Y-m-d h:i:s").'---手机号注册了');
    var_dump('手机号已注册');    // 用户已存在
    die;
}

四、消息队列分解注册功能

  1. 配置消息队列，后面以redis驱动为例。
 'Redis',            // Redis 驱动
    'expire'     => 60,                // 任务的过期时间，默认为60秒; 若要禁用，则设置为 null
    'default'    => 'default',        // 默认的队列名称
    'host'       => '127.0.0.1',        // redis 主机ip
    'port'       => 6379,            // redis 端口
    'password'   => '',                // redis 密码
    'select'     => 0,                // 使用哪一个 db，默认为 db0
    'timeout'    => 0,                // redis连接的超时时间
    'persistent' => false,            // 是否是长连接

    //    'connector' => 'Database',   // 数据库驱动
    //    'expire'    => 60,           // 任务的过期时间，默认为60秒; 若要禁用，则设置为 null
    //    'default'   => 'default',    // 默认的队列名称
    //    'table'     => 'jobs',       // 存储消息的表名，不带前缀
    //    'dsn'       => [],

    //    'connector'   => 'Topthink',    // ThinkPHP内部的队列通知服务平台 ，本文不作介绍
    //    'token'       => '',
    //    'project_id'  => '',
    //    'protocol'    => 'https',
    //    'host'        => 'qns.topthink.com',
    //    'port'        => 443,
    //    'api_version' => 1,
    //    'max_retries' => 3,
    //    'default'     => 'default',

//        'connector'   => 'Sync',        // Sync 驱动，该驱动的实际作用是取消消息队列，还原为同步执行
];
  1. 完成添加新用户后将指定数据加入消息队列。
cache = Cache::init();
        $this->handler = $this->cache->handler();
    }

    public function index()
    {
        $data = input('post.');

        unset($data['balance']);
        unset($data['credit']);
        
        // $blacklist = [
        //     "18124198164","13401363108","17688552009","15089352898","13602940094","13346643336","13181351655","18301123028","13598020751","13014568187",
        //     "13428733909","17337991130","13275342497"
        // ];

        $rule = [
            'mobile' => 'require|number|length:11',
            'password' => 'require|length:6,32',
        ];

        $msg = [
            'mobile.require' => '手机号必须',
            'mobile.length' => '手机号为11位数字',
            'mobile.number' => '手机号为11位数字',
            'password.require' => '密码必须',
            'password.length' => '密码为6-12位之间',
        ];

        //验证数据是否合法
        $mobile = isset($data['mobile']) ? $data['mobile'] : '';

        $validate = new Validate($rule, $msg);
        $result = $validate->check($data);

        if (!$result) {
            var_dump($validate->getError());
            die;
        }
        
        // if(in_array($mobile,$blacklist)) {
        //     var_dump('该手机号已注册了');    // 黑名单
        //     die;
        // }
        
        // 判断手机号是否在集合中
        $is_existe = $this->handler->sIsMember("register:mobile",$mobile);
        if(!$is_existe) {
            $this->handler->sAdd("register:mobile",$mobile);
        }else {
            //Log::write('---压力测试'.date("Y-m-d h:i:s").'---手机号已存在');
            var_dump('手机号已存在');    // 用户已存在
            die;
        }

        // 查询手机号码是否已注册
        $user = db('user')->field('mobile')->where('mobile', $mobile)->find();
        if ($user) {
            //Log::write('---压力测试'.date("Y-m-d h:i:s").'---手机号注册了');
            var_dump('手机号已注册');    // 用户已存在
            die;
        }       

        // 用户不存在注册
        // $data['id']          = getNewUserid();
        $data['no'] = date("Ymdhis").rand(100, 999);
        $data['avatar'] = 'https://rumcdn-1255484416.cos.ap-chengdu.myqcloud.com/img/d_h.png';
        $data['password'] = md5($data['password']);
        $randomNickname = date("Ymdhis").rand(100, 999);         
        $data['nickname'] = 'rm_' . $randomNickname;
        $data['create_time'] = time();
        $data['type'] = 1;
        
        /***是否存在邀请人的跑步钱进号***/
        if(isset($data['pbqj_no']) && !empty($data['pbqj_no'])) {
            $inviter = db('user')->field('id')->where(["no"=>$data['pbqj_no']])->find();
            if($inviter) {
                $data['inviter_id'] = $inviter['id'];
            }
        }
        /***是否存在邀请人的跑步钱进号***/
        unset($data['pbqj_no']);
        $userid = db('user')->insertGetId($data);

        if ($userid) {
        /******************加入消息队列异步处理后续操作*******************/

            // 1.当前任务将由哪个类来负责处理。 
            // 当轮到该任务时，系统将生成一个该类的实例，并调用其 fire 方法
            $jobHandlerClassName  = 'appindexjobJobUser'; 
            // 2.当前任务归属的队列名称，如果为新队列，会自动创建
            $jobQueueName         = "userJobQueue"; 
            // 3.当前任务所需的业务数据 . 不能为 resource 类型，其他类型最终将转化为json形式的字符串
            // ( jobData 为对象时，需要在先在此处手动序列化，否则只存储其public属性的键值对)
            //$jobData              = ['ts' => time(), 'bizId' => uniqid() , 'a' => 1];
            $jobData              = ['userid'=>$userid,'time'=>time(),'mobile'=>$mobile,'inviterid'=>(isset($data['inviter_id']) ? $data['inviter_id'] : 0)];
            // 4.将该任务推送到消息队列，等待对应的消费者去执行
            $isPushed = Queue::push($jobHandlerClassName , $jobData , $jobQueueName);    
            // database 驱动时，返回值为 1|false  ;   redis 驱动时，返回值为 随机字符串|false
            if($isPushed !== false) { 
                var_dump('加入队列成功');
                die;
                //Log::write('-----------加入消息队列成功-----------');
                //echo date('Y-m-d H:i:s') . " a new Hello Job is Pushed to the MQ"."
";
            }else{
                var_dump('加入消息队列');
                die;
                //Log::write('-----------加入消息队列失败-----------');
                //echo 'Oops, something went wrong.';
            }
        /******************加入消息队列异步处理后续操作*******************/

            $res['id'] = $userid;
            $res['no'] = $data['no'];

            // // token处理类
            // $accessToken = new AccessToken();
            // $accessToken = $accessToken->getToken($userid);

            // if (empty($accessToken)) {
            //     //Log::write('---压力测试'.date("Y-m-d h:i:s").'---秘钥生成失败');
            //     var_dump('秘钥生成失败');
            // } else {
            //     $res['user_token'] = $accessToken;
            // }

            // if (method_exists(chatUser::class, 'getToken')) {
            //     $chat_token = chatUser::getToken($res['id'], $data['nickname'], $data['avatar']);
            //     if (!$chat_token) {
            //         //Log::write('---压力测试'.date("Y-m-d h:i:s").'---聊天秘钥生成失败');
            //         var_dump('聊天秘钥生成失败');
            //     } else {
            //         $res['chat_token'] = $chat_token;
            //     }
            // } else {
            //     $res['chat_token'] = '';
            // }
            
            //Log::write('---压力测试'.date("Y-m-d h:i:s").'---注册成功');
            var_dump($res);
            die;
        } else {
            //Log::write('---压力测试'.date("Y-m-d h:i:s").'---数据库错误');
            $this->handler->sRem("register:mobile",$mobile);
            var_dump('数据库错误');
            die;
        }
    }

    public function hello($name = 'ThinkPHP5')
    {
        return 'hello,' . $name;
    }
}
  1. 创建消费者(job)，对执行队列中的任务。
    (1). 在同一模块下新建job文件夹和一个执行类(JobUser), 需要对应生产者中jobHandlerClassName。
    (2). 前面执行完队列加入成功后，可以本地使用redis客户端通过lrange queues:userJobQueue 0 -1 查看队列成员 (queues:userJobQueue中,userJobQueue是自己在加入队列前自己起的队列名称，与queues: 拼接就是redis的list的键名，所以可以直接查看 )。

    (3).队列中的data就是自己传递的数据，后面需要在消费者中通过该数据进行注册功能后的业务操作: 送奖励，存储邀请记录，发动态，发短信，发邮件等等。
cache = Cache::init();
        $this->handler = $this->cache->handler();
    }

    /**
     * fire方法是消息队列默认调用的方法
     * @param Job            $job      当前的任务对象
     * @param array|mixed    $data     发布任务时自定义的数据
     */
    public function fire(Job $job,$data) {
        $job->delete();
        //print("hahahn");
        // print("The user already exists "."n");
        //     exit();
        if(empty($data) || empty($data['userid']) || empty($data['mobile'])) {
            $job->delete();
            print("canshu buzun");
            return;
        }

        // 如有必要,可以根据业务需求和数据库中的最新数据,判断该任务是否仍有必要执行.
        $isJobStillNeedToBeDone = $this->checkDatabaseToSeeIfJobNeedToBeDone($data);
        if(!$isJobStillNeedToBeDone) {
            print("hahahn");
            $job->delete();
            return;
        }

        $isJobDone = $this->doHelloJob($data);

        if ($isJobDone) {
            //如果任务执行成功， 记得删除任务
            $job->delete();
            print("Hello Job has been done and deleted"."n");
        }else{
            if ($job->attempts() > 3) {
                //通过这个方法可以检查这个任务已经重试了几次了
                print("Hello Job has been retried more than 3 times!"."n");
                //$job->delete();
                // 也可以重新发布这个任务
                //print("Hello Job will be availabe again after 2s."."n");
                //$job->release(2); //$delay为延迟时间，表示该任务延迟2秒后再执行
            }
        }
    }

    /**
     * 有些消息在到达消费者时,可能已经不再需要执行了
     * @param array|mixed    $data     发布任务时自定义的数据
     * @return boolean                 任务执行的结果
     */
    private function checkDatabaseToSeeIfJobNeedToBeDone($data) {
        // 判断手机缓存集合中是否存在
        // $is_existe = $this->handler->sIsMember("register:mobile",$data['mobile']);
        // if($is_existe) {
        //     return false;  
        // } 

        // // 查询当前用户是否在数据库中存在
        // $userinfo = Db::name('user')->field('id')->where('id',$data['userid'])->find();
        // if($userinfo) {
        //     return false;  
        // } 

        return true;
    }

    /**
     * 根据消息中的数据进行实际的业务处理
     * @param array|mixed    $data     发布任务时自定义的数据
     * @return boolean                 任务执行的结果
    */
    private function doHelloJob($data) {
        try{

            if(isset($data['inviterid']) && !empty($data['inviterid'])) {

                // 添加邀请记录
                $res_record = Db::name('user_inviter')
                    ->insert([
                        'inviterid'   => $data['inviterid'],
                        'userid'      => $data['userid'],
                        'code'        => $data['inviterid'] . 'T' . $data['userid'],
                        'create_time' => $data['time'],
                ]);

                // 给邀请人赠送300步币
                Db::name('user_credit')
                    ->insert([
                        'userid'      => $data['inviterid'],
                        'type'        => 1,
                        'credit'      => 300,
                        'source'      => $res_record,
                        'create_time' => $data['time']
                ]);

                // 更新邀请人步币（用户表）
                Db::name('user')->where('id', $data['inviterid'])->setInc('credit', 300);              
            }
            
            {   // 注册成功发表动态
                $dynamic_data['userid'] = $data['userid'];
                $dynamic_data['dynamic'] = base64_encode('号外！号外！我加入跑步钱进了，大家一起走路领红包吧！');
                $dynamic_data['images'][] = 'https://rumcdn-1255484416.cos.ap-chengdu.myqcloud.com/img/d_d.png';
                $dynamic_data['images'] = serialize($dynamic_data['images']);
                $dynamic_data['create_time'] = $data['time'];

                $result = Db::name('dynamic')->insert($dynamic_data);
            }

        }catch(Exception $e) {
            Log::write('---执行消息队列出错---'.$e->getMessage());
            return false;
        }

        return true;

        // 根据消息中的数据进行实际的业务处理...
        //var_dump($data);
//        print("Hello Job Started. job Data is: ".var_export($data,true)." n");
//        print("Hello Job is Fired at " . date('Y-m-d H:i:s') ." n");
//        print("Hello Job is Done!"." n");

        //return true;
    }

    /**
     * 该方法用于接收任务执行失败的通知，你可以发送邮件给相应的负责人员
     * @param $jobData  string|array|...      //发布任务时传递的 jobData 数据
    */
    public function failed($jobData) {
        //send_mail_to_somebody() ;
        print("Warning: Job failed after max retries. job data is :".var_export($jobData,true)."n");
    }

}

(4). 设置任务执行失败后的处理，比如记录日志或发邮件给开发者。
a. 在tags.php中配置失败后执行了类。

 [],
    // 应用开始
    'app_begin'    => [],
    // 模块初始化
    'module_init'  => [],
    // 操作开始执行
    'action_begin' => [],
    // 视图内容过滤
    'view_filter'  => [],
    // 日志写入
    'log_write'    => [],
    // 应用结束
    'app_end'      => [],
    'queue_failed' => [
        // 数组形式，[ 'ClassName' , 'methodName']
        ['applicationbehaviorMyQueueFailedLogger', 'logAllFailedQueues']

        // 字符串(静态方法)，'StaicClassName::methodName'
        // 'MyQueueFailedLogger::logAllFailedQueues'

        // 字符串(对象方法)，'ClassName'，此时需在对应的ClassName类中添加一个名为 queueFailed 的方法
        // 'applicationbehaviorMyQueueFailedLogger'

        // 闭包形式
        /*
        function( &$jobObject , $extra){
            // var_dump($jobObject);
            return true;
        }
        */
    ],
    
];

b. 在application目录下创建任务错误执行后的处理脚本，根据业务需求自定。

 $jobObject->getName(), // 'applicationindexjobHello'
            'queueName' => $jobObject->getQueue(),               // 'helloJobQueue'
            'jobData'   => $jobObject->getRawBody()['data'],  // '{'a': 1 }'
            'attempts'  => $jobObject->attempts(),            // 3
        ];
        var_export(json_encode($failedJobLog,true));

        $data = [
            "content" => json_encode($failedJobLog,true),
            "create_time" => time(),
        ];
        Db::name('ztest')->insertGetId($data);

        // $jobObject->release();     //重发任务
        //$jobObject->delete();         //删除任务
        //$jobObject->failed();      //通知消费者类任务执行失败

        return self::should_run_hook_callback;
    }
}

五、通过命令运行消息队列，以下以windows举栗

  1. cmd进入当前项目, 然后输入 “php think queue:listen –queue userJobQueue”   (userJobQueue是自己的队列名)。
  2. 也可以在项目的根目录创建bat文件，文件写入”php think queue:listen –queue userJobQueue”，保存只需双击就可以执行。 

六、测试

结果使用了消息队列后，同样610的并发，使用时间就缩短了

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net

相关推荐: msvc++中的预编译头文件pch.hpp和stdafx.h

预编译头文件 在 Visual Studio 中创建新项目时，会在项目中添加一个名为 pch.h 的“预编译标头文件”。 （在 Visual Studio 2017 及更高版本中，该文件名为 stdafx.h）此文件的目的是加快生成过程。 应在此处包含任何稳定…

服务器托管，北京服务器托管，服务器租用，机房机柜带宽租用

服务器托管

咨询：董先生

电话13051898268 QQ/微信93663045！

上一篇:
下一篇: