[Udemy] AWS Certified Data Analytics Specialty - 4.Analysis

Kinesis Data Analytics

Analytics 可以和 Lambda集成

RANDOM_CUT_FOREST, 异常检测算法

OpenSearch = ElasticSearch

OpenSearch 包含了ES生态里的ElasticSearch+Kibaba, 分别叫OpenSearch+Dashboard, ES生态里的Beats/LogStach用Kinesis替代了。

OpenSearch 是Fully-managed, 但不是serverless的，我理解serverless 是说啥也不用管，AWS会根据用户使用情况auto scale, fully-managed还是需要用户指定需要多少Node、跑什么软件在上面，等等，好像Glue就是serverless的，EMR就是fully-managed.

OpenSearch Security

OpenSearch放在VPC里面就不能拿出来了，所有怎么从public访问OpenSearch呢？

Athena

Athena我理解是从给数据(结构、非结构、半结构) 提供一层SQL接口，操作Athena后面的数据就像操作一个数据库一样。具体比如非结构数据，Athena需要下层的Glue Catalog支持。

Athena+Glue

Glue 的 Crawler 查看S3里面的非结构化数据，尝试建立table definition, 如果生成的不合适，可以在Glue console里面refine. Glue Data Catalog生成后，Athena能自动发现, 并自动生成一个table

RedShift

Scale up or down 很简单，但是不是自动的

Compute Node 有 DS（Dense Stroage） 和 DC（Dense Compute） 型

支持压缩

如果是drive坏了，能自动恢复，因为cluster上有其他盘的replica数据，功能不受影响，指示重建新的drive时候性能有影响；

如果是node 坏了，也能自动恢复，但是功能不能用了，只能等恢复好了再用

如果所在的AZ坏了，因为Redshift 只在一个AZ有，那就只有等好了，或者是在这个region里其他AZ里用snapshot恢复

按照什么规则往slices上放:

Even - round robin规则，把每行数据轮流放在slices里

Key - 就是根据某列数据值hash过后的key,然后放到对应的slices。

ALL - 好像是数据在每个node上都有保存一份

Sort Key 和关系型数据库的index类似，有 single， compound, interleaved 3种

single 就是单列

compound 是多列, 默认类型，但是查询时候也要按照定义好的顺序来，help improve compression

interleaved 也是多列，每列权重一样，可以任意选某列query, 不像compound有顺序

建立一个带KMS key 的 copy grant 作为目标，可以把KMS加密的 Redshift snapshot 跨region的拷贝过去

query的优先级管理

可以有不同的queue, 由WLM管理，哪个queue支持concurrency scaling cluster, 哪个queue不支持

WLM 中的一种是 Automatic WLM. Large queries 和 Small queries 分别用不同queue提高资源利用率

下面queue 的 concurrency scaling mode 就是可以对接 concurrency scaling cluster的

WLM的另一种是manual WLM

SQA是WLM的可替代品. 自动把short query优先级提升

VACUUM 恢复删除rows后的空间，重新排序。 Full就是两个事情都做，Delete Only 就是只做回收deleted rows后的空间；Sort Only 只re-sort； Reindex是先reanalyze distributes of value然后 Full

如果 concurrency scaling 还不行的时候, 就需要 Resize Redshift Cluster了.