HBase中缓存的优先级

ava代码  

1. // Instantiate priority buckets
2. BlockBucket bucketSingle = new BlockBucket(bytesToFree, blockSize,
3. singleSize());
4. BlockBucket bucketMulti = new BlockBucket(bytesToFree, blockSize,
5. multiSize());
6. BlockBucket bucketMemory = new BlockBucket(bytesToFree, blockSize,
7. memorySize());
8. // Scan entire map putting into appropriate buckets
9. for(CachedBlock cachedBlock : map.values()) {
10. switch(cachedBlock.getPriority()) {
11. case SINGLE: {
12. bucketSingle.add(cachedBlock);
13. break;
14. }
15. case MULTI: {
16. bucketMulti.add(cachedBlock);
17. break;
18. }
19. case MEMORY: {
20. bucketMemory.add(cachedBlock);
21. break;
22. }
23. }
24. }
25. PriorityQueue<BlockBucket> bucketQueue =
26. new PriorityQueue<BlockBucket>(3);
27. bucketQueue.add(bucketSingle);
28. bucketQueue.add(bucketMulti);
29. bucketQueue.add(bucketMemory);
30. int remainingBuckets = 3;
31. long bytesFreed = 0;
32. BlockBucket bucket;
33. while((bucket = bucketQueue.poll()) != null) {
34. long overflow = bucket.overflow();
35. if(overflow > 0) {
36. long bucketBytesToFree = Math.min(overflow,
37. (bytesToFree - bytesFreed) / remainingBuckets);
38. bytesFreed += bucket.free(bucketBytesToFree);
39. }
40. remainingBuckets--;
41. }

hbase内部的blockcache分三个队列：single、multi以及memory，分别占用25%，50%,25%的大小。这涉及到family属性中的in-memory选项，默认是false。

    设为false的话，第一次访问到该数据时，会将它写入single队列，否则写入memory队列。当再次访问该数据并且在single中读到了该数据时，single会升级为multi

    这三个队列其实是在共用blockcache的资源，区别是在LRU淘汰数据时，single会优先淘汰，其次为multi，最后为memory。



    所以结论有两点：

    1 同一个family不会占用全部的blockcache资源

    2 当某些family特别重要时，可以将它的in-memory设为true，单独使用一个缓存队列，保证cache的优先使用