ceph数据分布

ceph的存储是无主结构，数据分布依赖client来计算，有两个条主要路径。

1、数据到PG

2、PG 到OSD

有两个假设： 第一，pg的数量稳定，可以认为保持不变； 第二， OSD的数量可以增减，OSD的存储空间权重不等；

由于 PG的数量保持不变，由数据来找PGID的环节可以简单处理，对数据的key来取hash值再对pg的总数取模即可唯一确认pgid，pgid=hash(data_key)/pg_num。

难点在于从PG到OSD，如果直接用 hash(pgid)/osd_num的模式，则OSD有增减的时候数据就有无规律的迁移，并且也无法体现OSD的不同权重。

Crush算法就是来解决这个问题的，Crush目的是随机跳出一个OSD，并且要满足权重越大的OSD，挑中的概率越大。

每个OSD有不同的容量，比如是4T还是12T的容量，可以根据每个OSD的容量定义它的权重，以T为单位， 比如4T权重设为4，12T则设为12。

如何将PG映射到不同权重的OSD上面？这里可以直接采用CRUSH里面的Straw抽签算法。

核心步骤：

1）计算HASH

draw = CRUSH＿HASH（ PG＿ID， OSD＿ID， r )，其中把r当做一个常数，将PG＿ID， OSD＿ID一起作为输入，得到一个HASH值。

2）增加OSD权重

osd＿straw =（ draw ＆0xffff ） ＊ osd＿weight

draw &0xffff 得到一个0-65535的数字，再与OSD的权重相乘，以这个作为每个OSD的签长， 权重越大的，数值越大。

3）遍历选取最高的权重

high_draw

Crush所计算出的随机数，是通过HASH得出来，可以保障相同的输入会得出同样的输出结果。

这里只是计算得出了一个OSD，在Ceph集群中是会存在多个副本，如何解决一个PG映射到多个OSD的问题？

将常量r加1， 再去计算一遍，如果和之前的OSD编号不一样， 那么就选取它；如果一样的话，那么再把r+2，再重新计算，直到选出三个不一样的OSD编号。

如果样本容量足够大， 随机数对选中的结果影响逐渐变小， 起决定性的是OSD的权重，OSD的权重越大， 被挑选的概率也就越大。

样本容量足够大，到底是多大？ 到底多大才能按照尽可能按照权重来分布，当然是尽量小的样本才好。

样本容量主要由PG和OSD的数量多少来决定，其中最关键的还是OSD数量，如果OSD很少（比如5块盘）也能尽量按照权重分布才好。

PG的数量主要是根据数据预估和OSD的数量来定，有个理论参考数，PG数量 =（OSD数量* 100）/副本数，但是PG数量少影响后面的扩容，太多又占用过多资源，需要有一个平衡。

基于上述考虑，写了一个很简单的程序来验证下数据分布平衡性。

假定OSD数量为5并且权重随机，PG的数量为5000。

结果1:

1.随机生成5个OSDID和对应权重

OSDID=I0N@6nt5pOhjY$g;权重=32.0

OSDID=.nIjl%3zs3aoE7K;权重=16.0

OSDID=S5O9bSS4NMo%qDN;权重=1.0

OSDID=t$lZF91ofuvOKcn;权重=24.0

OSDID=!E2Ia8XE^Jzb5Dz;权重=12.0

2.在pg数量为5000的时候，PG的分布结果：

OSDID=!E2Ia8XE^Jzb5Dz;权重=12.0;拥有的PG数量=625

OSDID=I0N@6nt5pOhjY$g;权重=32.0;拥有的PG数量=2682

OSDID=t$lZF91ofuvOKcn;权重=24.0;拥有的PG数量=1554

OSDID=.nIjl%3zs3aoE7K;权重=16.0;拥有的PG数量=139

结果2:

1.随机生成5个OSDID和对应权重

OSDID=C%EN$UM!e8nZy.R;权重=1.0

OSDID=1iTDBnZeeQ6^Uos;权重=32.0

OSDID=%EMc6a4V5cWi%7D;权重=2.0

OSDID=M7WKDUjLrQaV42D;权重=64.0

OSDID=7OVTO@l$XLE$OV$;权重=8.0

2.在pg数量为5000的时候，PG的分布结果：

OSDID=1iTDBnZeeQ6^Uos;权重=32.0;拥有的PG数量=1201

OSDID=7OVTO@l$XLE$OV$;权重=8.0;拥有的PG数量=18

OSDID=M7WKDUjLrQaV42D;权重=64.0;拥有的PG数量=3781

结果3:

1.随机生成5个OSDID和对应权重

OSDID=TSvabIIG#9IssWW;权重=12.0

OSDID=XglajmN2q3f5qRI;权重=0.8

OSDID=ZEeeX^Wp9tHaxuA;权重=0.5

OSDID=PSiiRAwddyc^ThW;权重=32.0

OSDID=nPI^YbDr0ttVzGa;权重=8.0

2.在pg数量为5000的时候，PG的分布结果：

OSDID=nPI^YbDr0ttVzGa;权重=8.0;拥有的PG数量=319

OSDID=PSiiRAwddyc^ThW;权重=32.0;拥有的PG数量=3816

OSDID=TSvabIIG#9IssWW;权重=12.0;拥有的PG数量=865

package com.test.zhangzk.crush;import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Random;public class TestCephCrush {static String str = "abcdefghijklmnopqrstuvwxyzABCDEDFGHIJKLMNOPQRSTUVWXYZ0123456789.@!#$%^&*";static Float[] factories =new Float[] {0.25f,0.5F,0.8f,1f,2f,4f,8f,12f,16f,20f,24f,32f,64f};static int pgidCount = 5000;static int osdCount = 5;public static void main(String[] args) {List<String> pgidList = getRandomPgIdList(pgidCount);List<OSDBean> osdList = getRandomOSDIdList(osdCount);HashMap<String,Integer> keyCount = new HashMap<String,Integer>();for(int i=0;i<pgidCount;i++) {float maxStraw = 0.0f;float osdFactor = 0.0f;String osdId = "";for( int j=0;j<osdCount;j++) {String key = pgidList.get(i) + osdList.get(j);int hashCode = key.hashCode() & 0xffff;float straw = hashCode * osdList.get(j).getFactor();if( maxStraw < straw) {maxStraw = straw;osdFactor = osdList.get(j).getFactor();osdId = osdList.get(j).getId();}}String key =  "OSDID="+osdId  + ";权重=" + osdFactor;Integer v = keyCount.get(key);if( v == null ) {keyCount.put(key, 1);}else {keyCount.put(key, v+1);}	}System.out.println("2.在pg数量为" + pgidCount +"的时候，PG的分布结果：");for(String k:keyCount.keySet()){System.out.println(k + ";拥有的PG数量=" +keyCount.get(k));}}private static List<String> getRandomPgIdList(int pgidCount){// TODO Auto-generated method stubList<String> pgidList = new ArrayList<String>();java.util.Random r = new Random(System.currentTimeMillis());for( int i=0;i<pgidCount;i++) {StringBuilder sb = new StringBuilder();for( int j=0;j<10;j++) {sb.append(str.charAt(r.nextInt(str.length()-1)));}pgidList.add(sb.toString());}return pgidList;}private static List<OSDBean> getRandomOSDIdList(int osdCount){System.out.println("1.随机生成"+ osdCount + "个OSDID和对应权重");// TODO Auto-generated method stubList<OSDBean> osdList = new ArrayList<OSDBean>();java.util.Random r = new Random(System.currentTimeMillis());for( int i=0;i<osdCount;i++) {StringBuilder sb = new StringBuilder();for( int j=0;j<15;j++) {sb.append(str.charAt(r.nextInt(str.length()-1)));}OSDBean osd = new OSDBean();osd.setId(sb.toString());osd.setFactor(factories[r.nextInt(factories.length)]);System.out.println( "OSDID=" + sb.toString()+ ";权重="+ osd.getFactor() );osdList.add(osd);}return osdList;}
}class OSDBean {private String id;private float factor;public String getId() {return id;}public void setId(String id) {this.id = id;}public float getFactor() {return factor;}public void setFactor(float factor) {this.factor = factor;}
}