memcached 高性能内存对象缓存

• memcached 高性能内存对象缓存

  • memcache是一款开源的高性能分布式内存对象缓存系统，常用于做大型动态web服务器的中间件缓存。

  • mamcached做web服务的中间缓存示意图

    • 当web服务器接收到请求需要处理动态页面元素时，通常要去数据库调用数据，但是通过memcached-api接口程序不去直接访问数据库，而去访问mamcached，再由memcached去访问数据库获取数据，获得到数据后自己缓存一分，在发送给web服务器一份，下次再进行通向的访问就不需要访问数据库，从而实现降低数据库的io压力。

  • memcached的存储数据方式

    • slab allocation

      • 按组分配：每次先分配一个slab，大小相当于一个1M，在1M的这个大小内划分出等大小的chunk，该方法有效的解决了内存碎片问题，但也会因为不满足chunk的大小而造成空间浪费。

        • 

      • slab 按。。。分片

      • chunk 块

  • memcached的数据过期方式：随着数据越来越多内存不足的情况下，会清理一些数据。依据过期条件

    • LRU：最近最少使用的记录，会被清理

    • laxzy expiration：惰性过期，用get查看记录时间，从而决定是否过期。

  • memcached分布式缓存架构

    • 

    • 每个memcached独立存在，数据分配根据路由算法选择存储的memcached。读取数据时根据保存时的路由算法选择相同的服务器来读取数据，将memcached做一个互相复制，可以确保能读取到数据。路由算法由api接口指定

      • 路由算法

        • 求余数hash算法

          • 将key做hash运算得到一个整数，再进行哈希算法根据余数进行路由，这种方法简单，但只适合数据更改不太频繁的场景下，节点的变动也会有影响。

        • 一致性hash算法

          • 该算法适合动态环境，原理是按照hash算法把对应的key通过hash运算后映射成一个首尾相闭合的循坏，再把节点服务器也通过这种方法也映射到环中，顺时针计算将对象存储到离自己最近的机器中。

            • 

  • memcached部署

    • 单节点的memcached部署

      • 一台做memcached服务器，一台做lamp应用程序测试，宿主机用来访问验证。

      • 安装过程

        • 准备前奏

          • 处理内核安全机制与防火墙

          • 安装gcc

        • 源码安装memcached

          • 安装依赖工具

            • libevent

              • libevent是一款基于C语言编写的，轻量级的，开源的，高性能事件通知库，常用于构建高性能网络服务器，对高并发有很好的抗压能力。可移植性强。

              • 本案例以libevent-2.18源码包为例

                • 拉取到源码包后进行解压编译安装

                  • 只需要在配置时指定安装路径，其他一切照常即可。

                  • ./configure --prefix=/usr/local/libevent

          • 本案例以memcached-1.5.1为例

          • 在配置时指定配置参数

            • ./configure \ --prefix=/usr/local/memcached \ --with-libevent=/usr/local/libevent

              • 一个安装路径，一个指定libevent的安装路径。

          • 编译与编译安装照常

          • 可以编写memcached的服务控制脚本

            • #!/bin/bash CMD="/usr/local/memcached/bin/memcached" start(){ $CMD -d -m 128 -u root } stop(){ killall memcached; } ACTION=$1 case $ACTION in 'start') start;; 'stop') stop;; 'restart') stop sleep 2 start;; *) echo 'Usage:{start|stop|restart}' esac

            • 测时前检查psmisc安装包是否安装，否则killall命令无法使用

            • 赋予该脚本执行权，就可以利用该脚本进行控制

          • 进行启动验证，查看是否监听了11211端口

        • 部署memcached api客户端

          • 搭建web网站，快速部署

            • 需要利用网络资源

            • yum -y install httpd mariadb mariadb-server php php-devel php-mysql

            • 之后启动相关服务

              • httpd

              • mariadb

              • 设置数据库密码

                • mysqladmin -u root password 'pwd123'

            • 编写php测试网页检查php能否正常工作

          • 源码安装libmemcached

            • 该软件提供了api的接口，以libmemcached1.0.18为例。

            • 配置参数

              • ./configure \ --prefix=/usr/local/libmemcached \ --with-memcached=/usr/local/memcached

                • 第二条指定了memcached扩展的位置

          • 源码包安装memcached扩展

            • 本案例以memcached2.2.0为例

              • 安装安装编译环境

                • zlib zlib-devel

              • 解压进入cd目录

                • memcached源码包本身不带配置项需要借用php工具生成对应的配置文件

                • /usr/bin/phpize

                  • 该目录为yum方式安装的php工具的路径，如果是源码包安装通常会在/usr/local下的php安装目录中。

                  • 该命令需要autoconf软件包的支持，会在当前目录下生成对应的配置脚本.

                • 生成配置文件后就可以进行配置了

                  • ./configure --with-php-config=/usr/bin/php-config --with-libmemcached-dir=/usr/local/libmemcached --disable-memcached-sasl --with-zlib-dir

                    • --with-php-config=/usr/bin/php-config

                      • 指定php配置文件的路径

                    • --with-libmemcached-dir=/usr/local/libmemcached

                      • 指定libmemcached的位置

                    • --disable-memcached-sasl

                      • 禁用sasl认证机制

                        • 1.SASL全称Simple Authentication and Security Layer，是一种用来扩充C/S模式验证能力的机制。简单来说SASL是一个胶合(glue)库，通过这个库把应用层与形式多样的认证系统整合在一起。这有点类似于 PAM，但是后者是认证方式，决定什么人可以访问什么服务，而SASL是认证过程，侧重于信任建立过程，这个过程可以调用PAM来建立信任关系。在这里Memcached就是上面提到的应用层，具体的认证交给SASL库，SASL会根据相应的认证机制来完成验证功能。

                    • --with-zlib-dir

                      • 指定压缩函数库的位置，yum装的不需要指定路径，可以为空。

                • 配置后进行编译安装，如果php是7的版本，编译安装会报错。

          • 配置php让其支持memcached组件

            • yum安装的的配置文件位置/etc/php.ini

              • 添加一行语句重启httpd即可

                • extension=memcached.so

            • 如果是源码包安装的需要额外指定路径

              • extension_dir = "/usr/local/php5/lib/php/extensions/no-debug-zts-20121212/"

          • 重启httpd之后通过phpinfo可以查看是否开启了memcached的扩展模块。

          • 测试memcached-API功能

            • 在web'服务器网页文档目录下编写测试文档

              • <?php $memcache = new Memcached(); $memcache->addServer('192.168.10.101', 11211); $memcache->set('key', 'Memcache test successful!', 0, 60); $result = $memcache->get('key'); unset($memcache); echo $result; ?>

              • 最后访问时出现Memcache test successful!，表示api接口成功。

        • memcached作为非关系型数据库的基础操作

          • memcached本身没提供入口工具需要用telnet进行访问，需要下载。

          • 添加键值对

            • add 键名 0 0 8 值

              • 出现STORED表示存储成功

              • 第一个0表示标记位 ，例如压缩或加密，通常为0

              • 第二个0表示过期时间，为0表示永不过期，单位m 8表示值的字符长度，注意必须一样，少/多都不行。

              • 回车后输入值

          • 查看键值对

            • get 键名

          • 查看键名的更新因子

            • gets 键名

              • 通常最后一位数字表示更新因子

          • 更新键值

            • set 键名 0 0 8

          • 清除一条键值对

            • delete 键名

          • 键名重新复制

            • cas 键名 0 0 8 更新因子数

          • 追加数据

            • append 键名 0 0 追加字节数

          • 清除所有数据

            • flush_all

          • 查看状态信息

            • 

    • 总结单节点部署，服务器与应用程序各自需要的软件包

      • 服务器

        • libevent

        • memcached1.5.1

      • 应用程序

        • 除了本身必备的lamp以外

        • libmemcached

        • 安装memcached扩展 2.2.0

    • memcached主主复制与高可用

      • memcached支持多个memcached之间相互复制，已解决memcached的容灾问题。

      • memcached提供了专门用于高可用配置的软件八包。本案例以memcached-1.2.8-repcached-2.2.tar.gz为例。

      • 实验过程

        • 处理内核安全机制与防火墙

        • 两台主机构建高可用环境

          • 实验步骤基本一样，因此可以同步执行

        • 安装libevent

          • 安装编译环境及服务控制脚本所需软件包

            • 光盘的仓库安装gcc* psmisc

          • 解压后配置项

            • 指定安装路径即可

              • ./configure --prefix=/usr/local/libevent

            • 编译安装

              • make && make install

        • 安装memcached-1.2.8-repcached-2.2.tar.gz

          • 解压后配置项

            • ./configure \ --prefix=/usr/local/memcached_replication \ --enable-replication \ --with-libevent=/usr/local/libevent

              • --enable-replication一定要启用，否则无法进行主主复制操作。

              • --with-libevent指定事件通知函数库

          • 在进行编译前需要修改源代码

            • memcached.c

              • 在55~60行去掉

                • #if defined(__FreeBSD__) || defined(__APPLE__)

                • #endif

            • 之后进行编译安装

        • ln -s /usr/local/libevent/lib/libevent-2.1.so.6 /usr/lib64/

          • memcached的启动需要在该命令行下寻找函数

        • 启动memcached

          • /usr/local/memcached_replication/bin/memcached -d -u root -m 128 -x 192.168.10.102

            • -d 以守护进程的方式允许

            • -u 指定运行用户

            • -x 指定复制对端服务器的地址，如果在编译中没有启用复制功能则会在报错没有该选项。

            • -m 最大内存使用量，默认64M

            • 该位置需要修改为对方的IP

            • 

        • 之后再两台服务器上查看是否开启服务进程与联系对端的进程。

          • 利用telnet再一台主机上创建，在另一台主机上查询以验证复制功能。

        • memcached的高可用

          • 准备前奏

            • 关闭NetworkManager

              • 不关闭会让vip无法漂移

          • 安装keepalived

            • 修改配置文件

              • router_id LVS_01

                • 两台主机不同用于区分。

              • #vrrp_strict

                • 注释掉严格模式，否则无法实现单播通信

              • vrrp_script check_down { ##定义要执行的脚本 script "/etc/keepalived/memcached.sh" ##脚本路径和名称 interval 1 ##间隔1秒执行一次 }

                • 添加脚本单元，不单对整机进行检查，还要对服务进行检查。

                • #!/bin/bash # if [ $(ps -C memcached --no-header | wc -l) -eq 0 ]; then systemctl restart keepalived fi

              • state BACKUP

              • interface ens33

                • 确定承载网卡

              • virtual_router_id 51

                • 保证两台服务器用同一个id

              • priority 100

                • 注意主服务器与从服务器的优先级

              • nopreempt

                • 根据性能优劣来选择是否关闭抢占功能

              • virtual_ipaddress { 192.168.10.100 }

                • 设定vip

              • track_script { check_down }

                • 调用脚本

          • 之后进行验证测试

            • 需要修改访问测试页面的缓存服务器地址，如果搭建dns服务器则修改域名对应IP即可。

            • 关闭memcached进行高可用检测

      • 总结双节点部署memcached需要的软件包

        • memcached-1.2.8-repcached-2.2.tar.gz，memcached分布式高可用专用版软件包

        • 实现高可用的keepalived

全文复制到xmind中即可形成条理性笔记。