VictoriaMetrics源码：索引文件结构 - 服务器托管|北京服务器租用|机房托管租用|IDC托管租用|机房机柜带宽租用-价格及费用咨询

VictoriaMetrics的索引文件，保存在{storagePath}/indexdb目录下：

# tree ./indexdb/ -L 1
./indexdb/
├── 1759A6CAD53ABA2E
├── 1759A6CAD53ABA2F
└── snapshots

一. 基本概念

indexdb目录下，通常有2个索引目录：

一个为pre，即上个retentionPeriod使用的索引；
一个为cur，即当前retentionPeriod使用的索引；

当retentionPeriod到期后，将删掉pre，将cur配置为pre，同时创建新的索引目录作为cur；
保留2个目录后，可以防止retentionPeriod到期后，没有index可用的现象。

pre与cur的索引目录，在代码中被称为table。

1. part

# ls indexdb/1759A6CAD53ABA2F -alh
总用量 4.0K
drwxr-xr-x 28 root root 4.0K 5月   5 09:01 .
drwxr-xr-x  5 root root   71 4月  27 09:35 ..
drwxr-xr-x  2 root root   98 5月   5 08:00 1141_2_1759A6CADA292254
drwxr-xr-x  2 root root   98 5月   5 07:16 13868_28_1759A6CADA29209F
drwxr-xr-x  2 root root   98 5月   5 07:53 1574_3_1759A6CADA29220F
drwxr-xr-x  2 root root   98 5月   5 07:52 16467_45_1759A6CADA292207

2. 索引文件

每个part目录下，包含若干个索引文件：

# ls indexdb/1759A6CAD53ABA2F/1141_2_1759A6CADA292254/ -alh
总用量 36K
drwxr-xr-x  2 root root   98 5月   5 08:00 .
drwxr-xr-x 28 root root 4.0K 5月   5 09:01 ..
-rw-r--r--  1 root root  149 5月   5 08:00 index.bin
-rw-r--r--  1 root root  15K 5月   5 08:00 items.bin
-rw-r--r--  1 root root 2.3K 5月   5 08:00 lens.bin
-rw-r--r--  1 root root  335 5月   5 08:00 metadata.json
-rw-r--r--  1 root root   48 5月   5 08:00 metaindex.bin

其中：

metaindex.bin:
- 保存[]metaindexRow，用于索引index.bin；
- 文件内容会被加载到内存，以加速查询；
index.bin:
- 保存[]indexBlock，用于索引items.bin和lens.bin；
items.bin:
- 保存index items的内容；
- index item即各种索引项及其索引内容；
lens.bin:
- 保存items的len信息；

二. 索引文件中的Item

items.bin文件保存索引的item内容，item用以描述索引数据，以KV结构存储，共有7种item类型：

const (
    // Prefix for MetricName->TSID entries.
    nsPrefixMetricNameToTSID = 0

    // Prefix for Tag->MetricID entries.
    nsPrefixTagToMetricIDs = 1

    // Prefix for MetricID->TSID entries.
    nsPrefixMetricIDToTSID = 2

    // Prefix for MetricID->MetricName entries.
    nsPrefixMetricIDToMetricName = 3

    // Prefix for deleted MetricID entries.
    nsPrefixDeletedMetricID = 4

    // Prefix for Date->MetricID entries.
    nsPrefixDateToMetricID = 5

    // Prefix for (Date,Tag)->MetricID entries.
    nsPrefixDateTagToMetricIDs = 6
)

items的创建代码：

func (is *indexSearch) createGlobalIndexes(tsid *TSID, mn *MetricName) error {
    // The order of index items is important.
    // It guarantees index consistency.

    ii := getIndexItems()            // type indexItems
    defer putIndexItems(ii)

    // Create MetricName -> TSID index.
    ii.B = append(ii.B, nsPrefixMetricNameToTSID)
    ii.B = mn.Marshal(ii.B)
    ii.B = append(ii.B, kvSeparatorChar)
    ii.B = tsid.Marshal(ii.B)
    ii.Next()

    // Create MetricID -> MetricName index.
    ii.B = marshalCommonPrefix(ii.B, nsPrefixMetricIDToMetricName, mn.AccountID, mn.ProjectID)
    ii.B = encoding.MarshalUint64(ii.B, tsid.MetricID)
    ii.B = mn.Marshal(ii.B)
    ii.Next()

    // Create MetricID -> TSID index.
    ii.B = marshalCommonPrefix(ii.B, nsPrefixMetricIDToTSID, mn.AccountID, mn.ProjectID)
    ii.B = encoding.MarshalUint64(ii.B, tsid.MetricID)
    ii.B = tsid.Marshal(ii.B)
    ii.Next()

    prefix := kbPool.Get()
    prefix.B = marshalCommonPrefix(prefix.B[:0], nsPrefixTagToMetricIDs, mn.AccountID, mn.ProjectID)
    ii.registerTagIndexes(prefix.B, mn, tsid.MetricID)
    kbPool.Put(prefix)

    return is.db.tb.AddItems(ii.Items)
}

三. table目录的轮转

indexdb目录下有2个table目录，一个是pre，一个是cur。

这两个目录在VictoriaMetrics启动时，被自动创建出来。

// lib/storage/storage.go
func (s *Storage) openIndexDBTables(path string) (curr, prev *indexDB, err error) {
    ...
    var tableNames []string
    for _, fi := range fis {
        if !fs.IsDirOrSymlink(fi) {
            continue
        }
        tableName := fi.Name()
        if !indexDBTableNameRegexp.MatchString(tableName) {
            // Skip invalid directories.
            continue
        }
        tableNames = append(tableNames, tableName)
    }
    sort.Slice(tableNames, func(i, j int) bool {
        return tableNames[i]

当到达retentionPeriod时，发生目录的轮转，cur变成pre，创建新目录变成cur。

VictoriaMetrics的代码中，使用一个定时器实现：

// lib/storage/storage.go
func (s *Storage) retentionWatcher() {
    for {
        d := nextRetentionDuration(s.retentionMsecs)    // retentionPeriod
        select {
        case

轮转的逻辑：

首先，创建新的indexdb；
然后，标记删掉老的indexdb；
最后，配置cur=新的indexdb，同时exDB=老的indexdb；

// lib/storage/storage.go
func (s *Storage) mustRotateIndexDB() {
    // 1.创建新的
    newTableName := nextIndexDBTableName()
    idbNewPath := s.path + "/indexdb/" + newTableName
    rotationTimestamp := fasttime.UnixTimestamp()
    idbNew, err := openIndexDB(idbNewPath, s, rotationTimestamp, &s.isReadOnly)
    
    // 2.删掉老的
    idbCurr := s.idb()
    idbCurr.doExtDB(func(extDB *indexDB) {
        extDB.scheduleToDrop()
    })
    idbCurr.SetExtDB(nil)

    // 3.使用新的
    idbNew.SetExtDB(idbCurr)
    s.idbCurr.Store(idbNew)

    // Persist changes on the file system.
    fs.MustSyncPath(s.path)
    ...
}

参考：

1.https://zhuanlan.zhihu.com/p/368912946
2.https://mp.weixin.qq.com/s?__biz=MzU4MjQ0MTU4Ng==&mid=2247499…
3.https://mp.weixin.qq.com/s/fa_3TJuZ-p2uzjUvqAwung

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net

相关推荐: 【视频】复杂网络分析CNA简介与R语言对婚礼数据聚类社区检测和可视化|数据分享|附代码数据

最近我们被客户要求撰写关于复杂网络分析的研究报告，包括一些图形和统计输出。为了用R来处理网络数据，我们使用婚礼数据集（查看文末了解数据获取方式）。 CNA 研究和应用爆炸式增长的突出原因是两个因素 – 一个是廉价而强大的计算机的可用性，使在数学、物理…

一. 基本概念

1. part

2. 索引文件

二. 索引文件中的Item

三. table目录的轮转

参考：

服务器托管，北京服务器托管，服务器租用，机房机柜带宽租用