为什么Kubernetes和容器与机器学习密不可分?
原文出自infosecurity
当前,数字化转型的热潮在IT领域发展的如火如荼,越来越多的企业投身其中,机器学习和人工智能等现代技术的融合在公司组织内部也逐渐流行起来。
随着那些构成企业复杂IT基础架构的技术日益成熟,部署云原生环境以及在该环境中使用容器早已成为企业技术轨道中的“家常便饭”。
幸运的是,对于企业所有者而言,Kubernetes和容器部署技术不仅可以与机器学习技术并驾齐驱,而且可以引入到云原生模型中,从而为企业提供良多裨益,包括实施有效的业务策略以及安全性的培养。
当我们谈到机器学习时,你会想到什么?机器的应用场景是多种多样的 -- 从简单的欺诈/网络犯罪侦查,到量身定制的客户体验,再到像供应链优化这样复杂的操作,一切都证明了机器学习能够为企业所带来的丰厚利润。
此外,Gartner的预测进一步证明了机器学习所提供的众多优势,该预测指出,到2021年,70%的企业都将依赖于某种形式的人工智能。
人工智能在业务中的应用
企业若想充分利用人工智能和机器学习,并将其应用于DevOps和DevSecOps等新业务组中,他们必须拥有可靠的IT基础架构。
强大的IT环境能够为数据科学家提供尝试各种数据集、计算模型和算法的环境,而不会影响其他操作,也不会给IT人员造成损失。
为了在业务中有效实现机器学习,企业需要找到一种在本地和云环境中重复部署代码的方法,并建立与所有所需数据源的连接。
对于现代企业而言,时间是帮助他们实现目标的基本工具,因此,他们迫切需要一种支持快速开发代码的IT环境。
说到容器,容器通过将代码及其特定的运行要求打包在“包装”中,从而加快了企业应用程序的部署过程,这一特性使容器成为了企业的理想选择,也因此成为了机器学期和人工智能的理想搭档。
综上所述,基于容器环境下进行的人工智能项目的三个阶段,包括探索、训练模型和部署,是非常有潜力的。每个阶段具体又包括什么呢?下文将对这三个阶段展开说明。
01 探索
在构建AI模型时,数据科学家们遵循的规范是尝试不同的数据集以及各种ML算法,以确定要使用的数据集和算法,以便他们可以提高预测水平效率和准确性。
通常,数据科学家依靠大量的库和框架来为不同行业中的各种情况和问题创建ML模型。当数据科学家们试图发现新的收入来源并努力实现企业的业务目标时,他们还需要具备运行测试并快速执行测试的能力。
尽管AI技术的使用日新月异,但已有数据表明,令数据科学家和工程师使用容器化开发的企业比其竞争者更据优势。
渥太华DevOps工程师Gary Stevens的一份报告指出,加拿大网络托管提供商HostPapa的表现优于其他领先的网络托管提供商,这要归功于它早早地采用了Kubernetes。
在AI或ML项目的探索阶段结合容器,能够使数据团队根据他们的特定领域,自由打包库;相应地部署算法,并根据团队需求明确正确的数据源。
随着基于容器的程序(例如Kubernetes)的成功实施,数据科学家有权访问隔离的环境。这使得他们可以自定义探索过程,而不必在共享环境中管理多个库和框架。
02 模型训练
设计完模型后,数据科学家需要利用大量数据,跨平台训练AI程序,以最大程度地提高模型的准确性,并减少任何人工资源的使用。
考虑到训练AI模型是一项高度计算密集型操作的事情,容器被证明在扩展的工作负荷以及快速与其他节点通信方面非常有利。但是,通常情况下IT团队的成员或调度程序会确定最佳节点。
此外,通过容器进行现代数据管理平台进行数据训练,极大地影响并简化了AI模型中的数据管理流程。此外,数据科学家还具有在多种不同类型的硬件(例如GPU)上运行AI或ML项目的优势,这也使他们能够一直使用那些最具准确性的硬件平台。
03 部署
作为AI项目中最棘手的部分,在机器学习应用程序的生产和部署阶段中可能经常会出现多个ML模型的组合,而每个模型都有其不同的用途。
通过在ML应用程序中结合容器,IT团队可以将每个特定模型部署为单独的微服务。那么,微服务又是什么?微服务是指一个独立的轻量级程序,开发人员能够在其他应用程序中重复使用该程序。
容器不仅为快速部署ML和AI模型提供了一个可移植的、隔离且一致的环境,也拥有可能改变当今IT格局的能力,那就是使企业能够更快更好地实现其目标。
原文链接:
https://www.infosecurity-magazine.com/opinions/kubernetes-containers-machine/
为什么Kubernetes和容器与机器学习密不可分?的更多相关文章
- Docker应用:Kubernetes(容器集群)
阅读目录: Docker应用:Hello World Docker应用:Docker-compose(容器编排) Docker应用:Kubernetes(容器集群) 前言: 终于出第三篇了,上个月就已 ...
- 三小时学会Kubernetes:容器编排详细指南
三小时学会Kubernetes:容器编排详细指南 如果谁都可以在三个小时内学会Kubernetes,银行为何要为这么简单的东西付一大笔钱? 如果你心存疑虑,我建议你不妨跟着我试一试!在完成本文的学习后 ...
- [转帖]Kubernetes及容器编排的总体介绍【译】
Kubernetes及容器编排的总体介绍[译] 翻译自The New Stack<Kubernetes 生态环境>作者:JANAKIRAM MSV和 KRISHNAN SUBRAMANIA ...
- 通过 Kubernetes 和容器实现 DevOps
https://mp.weixin.qq.com/s/1WmwisSGrVyXixgCYzMA1w 直到 Docker 的出现(2008 年),容器才真正具备了较好的可操作性和实用性.容器技术的概念最 ...
- [5.19 线下活动]Docker Meetup杭州站—拥抱Kubernetes,容器深度实践
对本次线下活动感兴趣的朋友,欢迎点击此处报名,领取免费票. 今年3月,Docker刚刚过完5岁生日,五年期间,Docker也逐渐在技术和实践方面趋于成熟,更是在去年年底主动拥抱Kubernetes. ...
- IBM基于Kubernetes的容器云全解析
基于Kubernetes的容器云 容器云最主要的功能是以应用为中心,帮助用户把所有的应用以容器的形式在分布式里面跑起来,最后把应用以服务的形式呈现给用户.容器云里有两个关键点,一是容器编排,二是资源调 ...
- Win10上的Docker应用:Kubernetes(容器集群)
阅读目录: Docker应用:Hello World Docker应用:Docker-compose(容器编排) Docker应用:Kubernetes(容器集群) 前言: 终于出第三篇了,上个月就已 ...
- DevOps与Kubernetes 、容器的关系
近两年,随着容器.Kubernetes 等技术的兴起,DevOps 这个概念被广泛提及并被大量使用. 本文将会从以下几个方面着手,结合实验展现的方式,让读者真正理解 DevOps 的含义. DevOp ...
- CRI 与 ShimV2:一种 Kubernetes 集成容器运行时的新思路
摘要: 关于 Kubernetes 接口化设计.CRI.容器运行时.shimv2.RuntimeClass 等关键技术特性的设计与实现. Kubernetes 项目目前的重点发展方向,是为开发 ...
- Kubernetes家族容器小管家Pod在线答疑?
Kubernetes家族容器小管家Pod在线答疑 不知道学习k8s的小伙伴们有没有跟我一样的疑问? k8s为什么不是直接运行容器,而是让Pod介入? Pod又是什么?为什么在应用容器化如此普遍的情况下 ...
随机推荐
- 性能测量工具-DevTools/PageSpeed/LightHouse
前端的性能优化有诸多有迹可循的理论和方法,比如 Yahoo!性能军规(Best Practices for Speeding Up Your Web Site).Google PageSpeed In ...
- Flutter加固原理及加密处理
引言 为了保护Flutter应用免受潜在的漏洞和攻击威胁,加固是必不可少的措施之一.Flutter加固原理主要包括代码混淆.数据加密.安全存储.反调试与反分析.动态加载和安全通信等多个方面.通过综 ...
- 【Java 进阶篇】使用 Stream 流和 Lambda 组装复杂父子树形结构(List 集合形式)
目录 前言 一.以部门结构为例 1.1实体 1.2返回VO 1.3具体实现 1.4效果展示 二.以省市县结构为例 2.1实体 2.2返回VO 2.3具体实现 2.4效果展示 三.文章小结 前言 在最近 ...
- 【Go】函数高级 包的使用 gin框架入门 if-else 循环 switch 数组
目录 昨日回顾 今日内容 1 函数高级 2 包的使用 3 gin框架使用 4 if-else 5 循环 6 switch 7 数组 昨日回顾 # 1 go 基础数据类型 -数字:整数,正整数,浮点数, ...
- ChatGpt玩法(一):prompt使用的重要性
前言 登录https://www.topgpt.one即可免费体验ChatGPT带来的强大魅力. ChatGpt是一个强大的自然语言处理工具,可以用于多种任务,如文本生成.问答系统以及对话生成等等.其 ...
- JSP | 常见 JSP 简答题
一.简述 JSP 的工作原理 当我们访问一个JSP页面的时候,这个文件首先会被JSP引擎翻译为一个Java源文件,其实就是一个Servlet,并进行编译,然后像其他Servlet一样,由Servlet ...
- POJ 3259 Wormholes(bellman_ford、Floyd、SPFA判断负环)
POJ 3259 http://poj.org/problem?id=3259 题意: 农夫 FJ 有 N 块田地[编号 1...n] (1<=N<=500) 田地间有 M 条路径 [双向 ...
- 你折腾一天都装不上的插件,函数计算部署 Stable Diffusion 都内置了
在进行函数计算 Stable Diffusion 答疑的过程中,遇到很多同学在装一些插件的过程中遇到了难题,有一些需要安装一些依赖,有一些需要写一些代码,很多时候安装一个插件就能折腾几天,我们收集了很 ...
- 云原生体系下 Serverless 弹性探索与实践
Serverless 时代的来临 Serverless 顾名思义,是一种"无服务器"架构,因为屏蔽了服务器的各种运维复杂度,让开发人员可以将更多精力用于业务逻辑设计与实现.在 Se ...
- LaTeX 公式识别问题
问题 想要方便的图片公式识别工具来写Latex(论文)/markdown(笔记)文件 工具推荐 1.mathpix 识别成功率最高(无论是多行,表格表现都非常良好),最好用的工具,但是收费高且付费麻烦 ...