摘要

为了验证当前集群经常出现索引超时以及请求拒绝的问题，现模拟线上集群环境及索引设置，通过压测工具随机生成测试数据，针对当前的 850 个分片的索引，以及减半之后的索引，以及更小分片索引的写入进行压测，使用不同的并发、不同的批次大小来观察索引的吞吐情况，并记录写入队列的堆积情况，用来分析分片数、批次数对写入的影响，从而确定后续的优化方案。

压测场景

Elasticsearch 版本 v7.7.1, 共有 57 个节点，其中 3 个独立 Master，3 个协调节点，31GB JVM。

压测流程

单索引 850 分片

索引定义

PUT idx-xxxx-xxxxxx

{

    "aliases" : {

      "alias-xxxx-xxxxxx" : { }

    },

    "mappings" : {

      "dynamic" : "strict",

      "_routing" : {

        "required" : true

      },

      "_source" : {

        "excludes" : [

          "isExtract*",

          "batchNo"

        ]

      },

      "properties" : {

        "addxxxx" : {

          "type" : "text",

          "term_vector" : "with_positions_offsets"

        },

        "clxxxx" : {

          "type" : "byte"

        },

        "contxxxx" : {

          "type" : "text",

          "boost" : 4.0,

          "term_vector" : "with_positions_offsets"

        },

        "conxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "con1xxxx" : {

          "type" : "text",

          "boost" : 16.0,

          "term_vector" : "with_positions_offsets",

          "fields" : {

            "keyword" : {

              "type" : "keyword",

              "normalizer" : "keyword_normalizer"

            }

          },

          "analyzer" : "name_analyzer",

          "search_analyzer" : "keyword_analyzer"

        },

        "contSxxxx" : {

          "type" : "long",

          "index" : false,

          "doc_values" : false

        },

        "contSxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "contTxxxx" : {

          "type" : "short"

        },

        "crtxxxx" : {

          "type" : "date",

          "ignore_malformed" : true,

          "format" : "yyyyMMddHHmmss"

        },

        "duration" : {

          "type" : "long",

          "index" : false,

          "doc_values" : false

        },

        "largeTxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "md5" : {

          "type" : "keyword",

          "index" : false,

          "doc_values" : false

        },

        "orderxxxx" : {

          "type" : "alias",

          "path" : "contName.keyword"

        },

        "ownxxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "ownxxxxxxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "ownxxxxxxxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "ownxxxxxxxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "parenxxxxxxxxxx" : {

          "type" : "keyword"

        },

        "pathxx" : {

          "type" : "text",

          "boost" : 8.0,

          "term_vector" : "with_positions_offsets",

          "fields" : {

            "keyword" : {

              "type" : "keyword"

            }

          },

          "analyzer" : "path_analyzer"

        },

        "presexxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "presexxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "presxxxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "prixxxxxx" : {

          "type" : "short",

          "index" : false

        },

        "search_xxxxxx" : {

          "type" : "alias",

          "path" : "contName"

        },

        "servixxxxxx" : {

          "type" : "byte"

        },

        "shotxxxxxx" : {

          "type" : "date",

          "ignore_malformed" : true,

          "format" : "yyyyMMddHHmmss"

        },

        "xxxxxxlThuxxxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "tagxxxxxx" : {

          "type" : "text",

          "term_vector" : "with_positions_offsets"

        },

        "thumxxxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "xxxxxxpdxxxxxx" : {

          "type" : "date",

          "ignore_malformed" : true,

          "format" : "yyyyMMddHHmmss"

        },

        "xxxxxxderAcxxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "xxxxxxerAccouxxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "xxxxxxerxxxxxxID" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "xxxxxxderNxxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        }

      }

    },

    "settings" : {

      "index" : {

        "max_ngram_diff" : "50",

        "refresh_interval" : "1s",

        "number_of_shards" : "850",

        "analysis" : {

          "normalizer" : {

            "keyword_normalizer" : {

              "filter" : [

                "lowercase"

              ],

              "type" : "custom"

            }

          },

          "analyzer" : {

            "keyword_analyzer" : {

              "filter" : [

                "lowercase"

              ],

              "type" : "custom",

              "tokenizer" : "keyword"

            },

            "name_analyzer" : {

              "filter" : [

                "lowercase"

              ],

              "type" : "custom",

              "tokenizer" : "name_tokenizer"

            },

            "path_analyzer" : {

              "filter" : [

                "lowercase"

              ],

              "type" : "custom",

              "tokenizer" : "path_tokenizer"

            }

          },

          "tokenizer" : {

            "name_tokenizer" : {

              "type" : "ngram",

              "min_gram" : "1",

              "max_gram" : "5"

            },

            "path_tokenizer" : {

              "pattern" : "/",

              "type" : "pattern"

            }

          }

        },

        "number_of_replicas" : "1"

      }

    }

  }

样例数据

POST idx-owncloud-img/_doc/1?routing=1

{

  "ownerxxxxxx" : "002#######0oV",

  "serxxxxxx" : 1,

  "tagxxxxxx" : "",

  "contxxxxxx" : "",

  "xxxxxxAccoxxxxxxe" : "1",

  "presxxxxxx" : "",

  "conxxxxxx" : "jpg",

  "xxxxxxerBxxxxxx" : "6#######573",

  "ownerxxxxxxx" : "13#######62",

  "presxxxxxxL" : "",

  "duxxxxxx" : 0,

  "paxxxxxx" : "00##########################################043",

  "crtxxxxxx" : "20#######45",

  "pxxxxxxtCatxxxxxx" : "001############################043",

  "sxxxxxxThumxxxxxx" : "http://downl#################################################961",

  "uxxxxxxerAxxxxxxt" : "1##############2",

  "uxxxxxxderAccoxxxxxxe" : "1",

  "uxxxxxxderxxxxxxID" : "0#####################V",

  "lxxxxxxhumxxxxxxl" : "http://d###################################D961",

  "thxxxxxxl" : "http://do###############################################################61",

  "axxxxxxss" : "",

  "uxxxxxxm" : "20##############8",

  "cxxxxxx" : 3,

  "coxxxxxx" : 1,

  "prxxxxxx" : 10,

  "coxxxxxx" : "0###################################cm",

  "co2xxxxxx" : 5##############8,

  "shoxxxxxx" : "20##############4",

  "contxxxxxx" : "mm##############g",

  "presxxxxxx" : "",

  "oxxxxxxBmpxxxxxx" : "6#######3",

  "md5" : "7##############1E"

}

loadgen 配置

root@loadgen:/opt/loadgen# cat loadgen.yml

statsd:

  enabled: false

  host: 192.168.3.98

  port: 8125

  namespace: loadgen.

variables:

  - name: ip

    type: file

    path: dict/ip.txt

  - name: message

    type: file

    path: dict/nginx.log

#  - name: user

#    type: file

#    path: dict/user.txt

  - name: id

    type: sequence

  - name: uuid

    type: uuid

  - name: now_local

    type: now_local

  - name: now_utc

    type: now_utc

  - name: now_unix

    type: now_unix

  - name: suffix

    type: range

    from: 12

    to: 12

  - name: bool

    type: range

    from: 0

    to: 1

requests:

  - request:

      method: POST

      runtime_variables:

        batch_no: id

      runtime_body_line_variables:

        routing_no: uuid

      basic_auth:

        username: elastic

        password: ####

      url: https://xxx.elasticsearch.xxx.cn:9243/_bulk

      body_repeat_times: 50

      body: "{ \"create\" : { \"_index\" : \"idx-xxxxxx-xxxxxx\",\"_type\":\"_doc\", \"_id\" : \"$[[uuid]]\" , \"routing\" : \"$[[routing_no]]\" } }\n{ \"ownerxxxxxx\" : \"0011WsjCK0oV\", \"servxxxxxx\" : $[[bool]], \"tagxxxxxx\" : \"\", \"contxxxxxx\" : \"\", \"ownexxxxxxunxxxxxx\" : \"$[[bool]]\", \"prxxxxxxentLxxxxxx\" : \"\", \"conxxxxxx\" : \"jpg\", \"uxxxxxxexxxxxxID\" : \"$[[id]]\", \"owxxxxxxccxxxxxxt\" : \"$[[routing_no]]\", \"prxxxxxxtUxxxxxxL\" : \"\", \"durxxxxxxn\" : 0, \"paxxxxxx\" : \"00019700101000000001/0011WsjCK0oV00019700101000000043\", \"crxxxxxx\" : \"$[[id]]\", \"paxxxxxxntxxxxxxogIxxxxxx\" : \"0011WsjCK0oV00019700101000000043\", \"sxxxxxxThumxxxxxx\" : \"http://xxx.xxx.cn:80/storageWeb/servlet/GetFileByURLServlet?root=/mnt/wfs133&fileid=KB1af35f100578d655b2cfbd7edd2cb50e.jpg&ct=1&type=0&code=80B0EAB7F429F1A32F76EB895F5FF4DE1853D254604FAB67A7C33FDF92BE7220&exp=315&account=MTM2MzgzMTU1NjI=&p=0&ui=0011WsjCK0oV&ci=0011WsjCK0oV06320210812125345tcm&userSiteId=usersite-s&cn=mmexport162592513503...&oprChannel=10000000&dom=D961\", \"xxxxxxderAxxxxxxnt\" : \"$[[routing_no]]\", \"upxxxxxxerAcxxxxxxtype\" : \"$[[bool]]\", \"uploaderNDUserID\" : \"$[[uuid]]\", \"largeThumbnail\" : \"http://xxx.xxx.cn:80/storageWeb/servlet/GetFileByURLServlet?root=/mnt/wfs133&fileid=KB1af35f100578d655b2cfbd7edd2cb50e.jpg&ct=1&type=1&code=80B0EAB7F429F1A32F76EB895F5FF4DE1853D254604FAB67A7C33FDF92BE7220&exp=315&account=MTM2MzgzMTU1NjI=&p=0&ui=0011WsjCK0oV&ci=0011WsjCK0oV06320210812125345tcm&userSiteId=usersite-s&cn=mmexport162592513503...&oprChannel=10000000&dom=D961\", \"xxxxxxil\" : \"http://download.xxx.xxx.com:80/storageWeb/servlet/GetFileByURLServlet?root=/mnt/wfs133&fileid=KB1af35f100578d655b2cfbd7edd2cb50e.jpg&ct=1&type=2&code=80B0EAB7F429F1A32F76EB895F5FF4DE1853D254604FAB67A7C33FDF92BE7220&exp=315&account=MTM2MzgzMTU1NjI=&p=0&ui=0011WsjCK0oV&ci=0011WsjCK0oV06320210812125345tcm&userSiteId=usersite-s&cn=mmexport162592513503...&oprChannel=10000000&dom=D961\", \"adxxxxxx\" : \"\", \"upxxxxxx\" : \"$[[now_unix]]\", \"cxxxxxx\" : 3, \"contxxxxxxe\" : $[[bool]], \"prixxxxxx\" : 10, \"conxxxxxx\" : \"0011WsjCK0oV06320210812125345tcm\", \"contxxxxxx\" : $[[id]], \"shoxxxxxx\" : \"$[[id]]\", \"contxxxxxxe\" : \"mmexport1625925135032.jpg\", \"prxxxxxxtHxxxxxx\" : \"\", \"oxxxxxxrBmxxxxxxID\" : \"$[[id]]\", \"md5\" : \"$[[uuid]]\" }\n"

运行测试``

开启 gzip 流量压缩，执行压测：

root@loadgen:/opt/loadgen# ./loadgen-linux-amd64 -config loadgen.yml -d 6000 -c 100  -compress

1 副本 100 并发

0 副本 100 并发

0 副本 200 并发



写入队列已经存在大量堆积和拒绝的现象了：

1 副本 200 并发



1 副本 400 并发

1 副本 800 并发



1 副本批次 500 并发 100



1 副本批次 2000 并发 100



1 副本批次 5000 并发 100

1 副本批次 5000 并发 200



单索引 425 分片

索引定义

PUT idx-xxxxxx-xxxxxx-425

{

    "aliases" : {

      "alias-xxxxxx-xxxxxx" : { }

    },

    "mappings" : {

      "dynamic" : "strict",

      "_routing" : {

        "required" : true

      },

      "_source" : {

        "excludes" : [

          "isExtract*",

          "batchNo"

        ]

      },

      "properties" : {

        "addxxxxxx" : {

          "type" : "text",

          "term_vector" : "with_positions_offsets"

        },

        "cxxxxxx" : {

          "type" : "byte"

        },

        "coxxxxxxc" : {

          "type" : "text",

          "boost" : 4.0,

          "term_vector" : "with_positions_offsets"

        },

        "coxxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "conxxxxxxe" : {

          "type" : "text",

          "boost" : 16.0,

          "term_vector" : "with_positions_offsets",

          "fields" : {

            "keyword" : {

              "type" : "keyword",

              "normalizer" : "keyword_normalizer"

            }

          },

          "analyzer" : "name_analyzer",

          "search_analyzer" : "keyword_analyzer"

        },

        "coxxxxxxze" : {

          "type" : "long",

          "index" : false,

          "doc_values" : false

        },

        "conxxxxxxfix" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "coxxxxxxpe" : {

          "type" : "short"

        },

        "cxxxxxxm" : {

          "type" : "date",

          "ignore_malformed" : true,

          "format" : "yyyyMMddHHmmss"

        },

        "duxxxxxxon" : {

          "type" : "long",

          "index" : false,

          "doc_values" : false

        },

        "laxxxxxxbnail" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "md5" : {

          "type" : "keyword",

          "index" : false,

          "doc_values" : false

        },

        "ordxxxxxxNamxxxxxx" : {

          "type" : "alias",

          "path" : "contName.keyword"

        },

        "oxxxxxxccoxxxxxxt" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "owxxxxxxcounxxxxxxpe" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "owxxxxxxpUsxxxxxxD" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "oxxxxxxDUsexxxxxxD" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "pxxxxxxtalxxxxxxD" : {

          "type" : "keyword"

        },

        "patxxxxxx" : {

          "type" : "text",

          "boost" : 8.0,

          "term_vector" : "with_positions_offsets",

          "fields" : {

            "keyword" : {

              "type" : "keyword"

            }

          },

          "analyzer" : "path_analyzer"

        },

        "prxxxxxxntHxxxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "prxxxxxxntLxxxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "prxxxxxxURxxxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "pxxxxxxity" : {

          "type" : "short",

          "index" : false

        },

        "sxxxxxxch_nxxxxxxe" : {

          "type" : "alias",

          "path" : "contName"

        },

        "sexxxxxxeTxxxxxxe" : {

          "type" : "byte"

        },

        "sxxxxxxTm" : {

          "type" : "date",

          "ignore_malformed" : true,

          "format" : "yyyyMMddHHmmss"

        },

        "smxxxxxxThuxxxxxxl" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "taxxxxxxa" : {

          "type" : "text",

          "term_vector" : "with_positions_offsets"

        },

        "txxxxxxnaxxxxxx" : {

          "type" : "keyword",

          "boost" : 8.0,

          "index" : false,

          "doc_values" : false

        },

        "uxxxxxxm" : {

          "type" : "date",

          "ignore_malformed" : true,

          "format" : "yyyyMMddHHmmss"

        },

        "upxxxxxxdexxxxxxount" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "upxxxxxxrAcxxxxxxpe" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "upxxxxxxmpUsxxxxxx" : {

          "type" : "keyword",

          "doc_values" : false

        },

        "uxxxxxxerNDxxxxxxD" : {

          "type" : "keyword",

          "doc_values" : false

        }

      }

    },

    "settings" : {

      "index" : {

        "max_ngram_diff" : "50",

        "refresh_interval" : "1s",

        "number_of_shards" : "425",

        "analysis" : {

          "normalizer" : {

            "keyword_normalizer" : {

              "filter" : [

                "lowercase"

              ],

              "type" : "custom"

            }

          },

          "analyzer" : {

            "keyword_analyzer" : {

              "filter" : [

                "lowercase"

              ],

              "type" : "custom",

              "tokenizer" : "keyword"

            },

            "name_analyzer" : {

              "filter" : [

                "lowercase"

              ],

              "type" : "custom",

              "tokenizer" : "name_tokenizer"

            },

            "path_analyzer" : {

              "filter" : [

                "lowercase"

              ],

              "type" : "custom",

              "tokenizer" : "path_tokenizer"

            }

          },

          "tokenizer" : {

            "name_tokenizer" : {

              "type" : "ngram",

              "min_gram" : "1",

              "max_gram" : "5"

            },

            "path_tokenizer" : {

              "pattern" : "/",

              "type" : "pattern"

            }

          }

        },

        "number_of_replicas" : "1"

      }

    }

  }

{{< /expand >}}

1 副本批次 50 并发 100



1 副本批次 50 并发 200

1 副本批次 50 并发 400

1 副本批次 50 并发 800

1 副本批次 500 并发 100



1 副本批次 2000 并发 100

1 副本批次 5000 并发 100



单索引 50 分片

1 副本批次 50 并发 100



1 副本批次 500 并发 100



1 副本批次 1000 并发 100



1 副本批次 5000 并发 100



走网关单索引 425 分片

1 副本批次 50 并发 400>200

1 副本批次 500 并发 100

1 副本批次 500 并发 200

1 副本批次 500 并发 400



1 副本批次 5000 并发 100



1 副本批次 5000 并发 200



1 副本批次 5000 并发 400



走网关单索引 850 分片

1 副本批次 50 并发 400

1 副本批次 500 并发 400

1 副本批次 5000 并发 400

压测结果

索引数 分片数 副本数 批次大小 压测并发 平均写入吞吐(eps)
1 850 1 50 100 10,000
1 850 0 50 100 30,000
1 850 0 50 200 40,000
1 850 1 50 200 18,000
1 850 1 50 400 27,500
1 850 1 50 800 29,700
1 850 1 500 100 30,187
1 850 1 2000 100 68,000
1 850 1 5000 100 98,915
1 850 1 5000 200 78,462
1 425 1 50 100 12,695
1 425 1 500 100 46818
1 425 1 2000 100 100,000
1 425 1 5000 100 130,000
1 50 1 50 100 32,987
1 50 1 500 100 96,207
1 50 1 1000 100 147,719
1 50 1 5000 100 156,961

走网关节点异步合并模式：

索引数 分片数 副本数 批次大小 压测并发 平均写入吞吐(eps)
1 425 1 50 100 500
1 425 1 50 200 1,000
1 425 1 50 400 2,000
1 425 1 500 100 4,800
1 425 1 500 200 9,350
1 425 1 500 400 17,000
1 425 1 5000 100 50,000
1 425 1 5000 200 100,000
1 425 1 5000 400 175,000
1 850 1 50 400 2000
1 850 1 500 400 18,800
1 850 1 5000 400 137,000

结论

大分片索引，850 或者 425，在并发即使只有 100 的情况下就有可能出现占满线程池，出现请求拒绝的情况，单个批次的文档数比较小的情况下，更容易出现。

而同样格式的索引，在 50 个分片的情况下，索引的吞吐是 425 分片的两倍，850 分片的三倍，且线程池基本上没有堆积，或者堆积很快处理完。单次请求的文档数越多，写入的效率越高。

某些场景下索引分片虽然做了 Routing 处理，但是超大分片索引存在严重的转发效率问题，建议按照业务维度，或者当前的 Routing 维度进行索引的划分，将超大索引拆分成若干个子索引，单个索引的分片数尽量不要超过 20 个。

关于 Elasticsearch 不同分片设置的压测报告的更多相关文章

  1. 关于springmvc的helloworld的压测报告

    都说hello world 很简单,应该能承受很大的请求压力,那么到底有多大?你知道吗?如果知道,那咱们就不继续了.如果不知道,我们来看一下! 1. 准备工作,快速建立一个基于springmvc的he ...

  2. 支付宝LR集群压测报告

    支付宝压力测试报告 时间:2016-03-23                                             测试人员:XXX 目录 支付宝压力测试报告 1 目录 1 一   ...

  3. Jemeter 压测 Elasticsearch

    Jemeter 版本 apache-jmeter-5.5 Elasticsearch 版本 7.17.6 自行官网下载 Elasticsearch压测报告 Elasticsearch 服务器当前情况: ...

  4. jmeter压测学习7-登录参数化(CSV 数据文件设置)

    前言 我们在压测登录接口的时候,如果只用一个账号去设置并发压测,这样的结果很显然是不合理的,一个用户并发无法模拟真实的情况. 如果要压测登录接口,肯定得准备几百,甚至上千的账号去登录,测试的结果才具有 ...

  5. 全链路压测平台（Quake）在美团中的实践

    背景 在美团的价值观中,以“客户为中心”被放在一个非常重要的位置,所以我们对服务出现故障越来越不能容忍.特别是目前公司业务正在高速增长阶段,每一次故障对公司来说都是一笔非常不小的损失.而整个IT基础设 ...

  6. 性能压测诡异的Requests/second 响应刺尖问题

    最近一段时间都在忙着转java项目最后的冲刺,前期的coding翻代码.debug.fixbug都逐渐收尾,进入上线前的性能压测. 虽然不是大促前的性能压测要求,但是为了安全起见,需要摸个底心里有个数 ...

  7. 压测过程中出现ops断崖式下跌原因及排解

    压测机器: 100台docker redis集群:16个分片 在开始压测的半个小时中,一直很稳定,ops稳定在20w左右.但是接下来突然ops断崖式下跌,ops降到了3w以下.然后持续一段时间,直至变 ...

  8. 京东全链路压测军演系统(ForceBot)架构解密

    摘要:全链路压测是应对电商大促容量规划最有效的手段,如何有效进行容量规划是其中的架构关键问题.京东在全链路压测方面做过多年尝试,本文转载京东商城基础平台技术专家文章,介绍其最新的自动化压测 Force ...

  9. JMeter分布式压测实战（2020年清明假期学习笔记）

    一.常用压力测试工具对比 简介:目前用的常用测试工具对比 1.loadrunner 性能稳定,压测结果及颗粒度大,可以自定义脚本进行压测,但是太过于重大,功能比较繁多. 2.Apache ab(单接口 ...

  10. Loadrunner11简单压测接口教程

    一.需求 使用Loadrunner压测目标接口,要求支持1000并发数. 目标接口:https://www.xxx.com/digitaldata/api/signer/1.0/signerRegis ...

随机推荐

  1. DTCC 2020 | 阿里云王涛：阿里巴巴电商数据库上云实践

    简介: 第十一届中国数据库技术大会(DTCC2020),在北京隆重召开.大会以"架构革新 高效可控"为主题,重点围绕数据架构.AI与大数据.传统企业数据库实践和国产开源数据库等内容 ...

  2. 选轻量应用服务器or云服务器ECS？一图帮你彻底区分

    简介:轻量应用服务器适合轻量级且访问量低的应用场景,更适合个人开发者.对新手小白更友好:而云服务器ECS可覆盖全业务场景(如大数据分析,深度学习等),要求用户有一定的开发技术能力. 本文首发于公众号& ...

  3. [Go] 有了 cast 组件, golang 类型转换从此不再困扰

    在 golang 中,参数和返回值之间往往涉及 int.string.[].map 等之间的转换. 如果是手动去处理,一容易出错,二不能兼容多数类型,比较麻烦. 使用 cast,能够让代码更健壮.可维 ...

  4. dotnet 使用 FormatterServices 的 GetUninitializedObject 方法在丢失 DLL 情况下能否执行

    在 dotnet 里面,可以使用 FormatterServices 的 GetUninitializedObject 方法可以实现只创建对象,而不调用对象的构造函数方法.而如果在使用此方法时,存在了 ...

  5. selenium操作浏览器模块

    selenium模块用途 selenuim原先多用于测试部门测试,由于它可以操作浏览器,有时候也用于爬虫领域 优点:操作浏览器访问网站 缺点:速度较慢 下载模块 # 下载模块 pip3 install ...

  6. VSCode+VUE+ESLint以达到保存自动格式化

    首先打开VSCode在.eslintrc.js中加入以下代码(不知道怎么找可以ctrl+shift+p进行搜索),添加 vscode 终端启动服务 // 添加⾃定义规则 'prettier/prett ...

  7. BIN文件格式

    BIN文件里面包含的只有代码生成的机器码,不像ELF文件或者obj文件一样还包含其他东西.MS-DOS.设备驱动文件以及操作系统的bootloader文件都是BIN文件. 在NASM中,BIN文件默认 ...

  8. C 语言编程 — 高级数据类型 — 指针

    目录 文章目录 目录 前文列表 指针 声明指针 使用指针 NULL 指针 指针的算术运算 指向指针的指针 将指针作为实际参数传入函数 从函数返回指针 一个古老的笑话 前文列表 <程序编译流程与 ...

  9. C#.Net筑基-类型系统②常见类型

    01.结构体类型Struct 结构体 struct 是一种用户自定义的值类型,常用于定义一些简单(轻量)的数据结构.对于一些局部使用的数据结构,优先使用结构体,效率要高很多. 可以有构造函数,也可以没 ...

  10. quartzui 的界面管理

    基于Quartz.NET3.0的定时任务Web可视化管理.docker打包开箱即用.内置SQLite持久化.语言无关.业务代码零污染.支持 RESTful风格接口.傻瓜式配置 quartzuiquar ...