从锅炉工到AI专家(4)】的更多相关文章

引言 原来引用过一个段子,这里还要再引用一次.是关于苹果的.大意是,苹果发布了新的开发语言Swift,有非常多优秀的特征,于是很多时髦的程序员入坑学习.不料,经过一段头脑体操一般的勤学苦练,发现使用Swift做开发,不仅要学习Swift,还要学习Swift2.Swift3.Swift4... 后来我发现,这个段子很有普遍性,并非仅仅苹果如此,今天的TensorFlow 2.0也有点这样的趋势.以至于我不得不专门写一个课程的续集,来面对使用新版本软件开始机器学习的读者. 事实上大多具有革命性的公司…
TensorFlow从1到2(十二)生成对抗网络GAN和图片自动生成 那些令人惊艳的TensorFlow扩展包和社区贡献模型  从锅炉工到AI专家(11)(END) 从锅炉工到AI专家(10)  从锅炉工到AI专家(9)  从锅炉工到AI专家(8)  从锅炉工到AI专家(7)  从锅炉工到AI专家(6)  从锅炉工到AI专家(5)  从锅炉工到AI专家(4)  从锅炉工到AI专家(3)  从锅炉工到AI专家(2)  从锅炉工到AI专家(1)  出处:https://www.cnblogs.com…
大数据 上一节说到,大多的AI问题,会有很多个变量,这里深入的解释一下这个问题. 比如说某个网站要做用户行为分析,从而指导网站建设的改进.通常而言如果没有行为分析,并不需要采集用户太多的数据. 比如用户注册,最少只需要用户名.用户密码就够了.随后比如为了当用户过生日的时候,自动给用户发送一封贺卡(潜台词,我们可能需要给用户推送广告),我们再增加两项生日日期和邮箱地址.再下来国家规定网站注册必须实名制,我们可能又增加了用户姓名和身份证号码,可能还需要增加用户手机号码,用于同移动通信部门打通,验证用…
序言 标题来自一个很著名的梗,起因是知乎上一个问题:<锅炉设计转行 AI,可行吗?>,后来就延展出了很多类似的问句,什么"快递转行AI可行吗?"."xxx转行AI在线等挺急的"诸如此类. 其实知乎原文是个很严肃的问题,很多回答都详尽.切题的给出了可行的方案.AI的门槛没有很多人想象的那么高,关键在于你是满足于只是看几个概念就惊呼"人工智能将颠覆xxxx行业,xxxx人将失去工作"."人工智能将会毁灭人类",还是你真…
说说计划 不知不觉写到了第七篇,理一下思路: 学会基本的概念,了解什么是什么不是,当前的位置在哪,要去哪.这是第一篇希望做到的.同时第一篇和第二篇的开始部分,非常谨慎的考虑了非IT专业的读者.希望借此沟通技术人员和产品人员,甚至管理和销售人员.我信服"上下同欲者胜",所以也非常害怕因为大家对概念完全不同的理解而影响到团队的合作. 从最简单的部分入手,由概念到代码,完成技术破冰.这是第二.三篇希望做到的. 逐步迭代,从简单概念到复杂概念,从简单算法到复杂算法,接触到机器学习现实最常用的技…
图像识别基本原理 从上一篇开始,我们终于进入到了TensorFlow机器学习的世界.采用第一个分类算法进行手写数字识别得到了一个91%左右的识别率结果,进展可喜,但成绩尚不能令人满意. 结果不满意的原因,当然还是算法太简单了.尽管我们都已经接受了"所有问题都可以用数学公式来描述"这个观点,但直接把一幅图片展开的784个数字作为方程式参数进行一个线性运算+非线性分类器就叫做"人工智能"怎么都感觉那么不靠谱...至于能得到91%不高的识别率,从这个意义上说,似乎都令人有…
手写数字识别问题 图像识别是深度学习众多主流应用之一,手写数字识别则是图像识别范畴简化版的入门学习经典案例.在TensorFlow的官方文档中,把手写数字识别"MNIST"案例称为机器学习项目的"Hello World".从这个案例开始,我们的连载才开始有了一些"人工智能"的感觉. 问题的描述是这样: 有一批手写数字的图片,对应数字0-9.通过机器学习的算法,将这些图片对应到文本字符0-9.用通俗的话来说,就是计算机认出了图片上面手写的数字. 从…
图片样本可视化 原文第四篇中,我们介绍了官方的入门案例MNIST,功能是识别手写的数字0-9.这是一个非常基础的TensorFlow应用,地位相当于通常语言学习的"Hello World!". 我们先不进入TensorFlow 2.0中的MNIST代码讲解,因为TensorFlow 2.0在Keras的帮助下抽象度比较高,代码非常简单.但这也使得大量的工作被隐藏掉,反而让人难以真正理解来龙去脉.特别是其中所使用的样本数据也已经不同,而这对于学习者,是非常重要的部分.模型可以看论文.在网…
语音识别 TensorFlow 1.x中提供了一个语音识别的例子speech_commands,用于识别常用的命令词汇,实现对设备的语音控制.speech_commands是一个很成熟的语音识别原型,有很高的正确率,除了提供python的完整源码,还提供了c/c++的示例程序,方便你移植到嵌入设备及移动设备中去. 官方提供了关于这个示例的语音识别教程.不过实际就是一个使用说明,没有对代码和原理做过多解释. 这个程序相对前面的例子复杂了很多,整体结构.代码.算法都可以当做范本,我觉得我已经没有资格…
RNN循环神经网络(Recurrent Neural Network) 如同word2vec中提到的,很多数据的原型,前后之间是存在关联性的.关联性的打破必然造成关键指征的丢失,从而在后续的训练和预测流程中降低准确率. 除了提过的自然语言处理(NLP)领域,自动驾驶前一时间点的雷达扫描数据跟后一时间点的扫描数据.音乐旋律的时间性.股票前一天跟后一天的数据,都属于这类的典型案例. 因此在传统的神经网络中,每一个节点,如果把上一次的运算结果记录下来,在下一次数据处理的时候,跟上一次的运算结果结合在一…
无监督学习 前面已经说过了无监督学习的概念.无监督学习在实际的工作中应用还是比较多见的. 从典型的应用上说,监督学习比较多用在"分类"上,利用给定的数据,做出一个决策,这个决策在有限的给定可能性中选择其中一种.各类识别.自动驾驶等都属于这一类. 无监督学习则是"聚类",算法自行寻找输入数据集的规律,并把它们按照规律分别组合,同样特征的放到一个类群.像自然语言理解.推荐算法.数据画像等,都属于这类(实际实现中还是比较多用半监督学习,但最早概念的导入还是属于无监督学习)…
ImageNet 基础部分完成,从本篇开始,会略微的增加一些难度. 通常说,在解决问题的时候,大多程序员都会在网上搜索,寻找一些相似相近的案例作为参考.这个方式在机器学习领域同样有效.可惜早期的时候,各公司的保密还是做的比较严格,时至今日有了很大改善,但在整个IT行业中,机器学习领域,各公司的研发成果保密仍然是最严重的. 因此,ImageNet对机器学习的推动更是难能可贵和功不可没.在机器学习尚处于摸索阶段,大家在都没有大规模投资的情况下艰苦研究的时候,ImageNet提供了一个迄今也是最大的已…
欠拟合和过拟合 几乎所有的复杂方程都存在结果跟预期差异的情况,越复杂的方程,这种情况就越严重.这里面通常都是算法造成的,当然也存在数据集的个体差异问题. 所以"欠拟合"和"过拟合"是机器学习过程中重要的调优指标之一. 如图所示: 以篇(2)中房价的程序为例,上图中间的那幅图,是比较满意的一种结果.对于我们给出的所有样本,模型的预测结果同实际房价比较贴切的"拟合". 左图则是"欠拟合",有些样本和房价能对应的比较好,有些预测出来…
剖析第一个例子 学习<机器学习>,很多IT高手是直接去翻看TensorFlow文档,但碰壁的很多.究其原因,TensorFlow的文档跨度太大了,它首先假设你已经对"机器学习"和人工智能非常熟悉,所有的文档和样例,都是用于帮助你从以前的计算平台迁移至TensorFlow,而并不是一份入门教程. 所以本文尽力保持一个比较缓慢的节奏和阶梯,希望弥合这种距离.本文定位并非取代TensorFlow文档,而是希望通过对照本文和TensorFlow文档,帮助你更顺利的进入Google的…
欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由腾讯云AI中心发表于云+社区专栏 腾讯云高级研究员讲述,从成像到图像分析如何入门 文︱冀永楠 "AI来了"邀请到我们腾讯云的高级研究员冀永楠讲述图像分析的那些事儿. 从2012年开始,深度学习席卷了图像识别领域,在图像分类.目标检测.语义分割等领域秒杀了传统的方法.之前也有人写过如何20分钟内得到猫狗分类大赛第二名的卷积神经网络.尽管识别和检测问题是图像分析中难度最高的一部分,在实际应用中,图像问题都是多个问题的组合,而…
<从锅炉工到AI专家(6)>一文中,我们把神经网络模型降维,简单的在二维空间中介绍了过拟合和欠拟合的现象和解决方法.但是因为条件所限,在该文中我们只介绍了理论,并没有实际观察现象和应对. 现在有了TensorFLow 2.0 / Keras的支持,可以非常容易的构建模型.我们可以方便的人工模拟过拟合的情形,实际来操作监控.调整模型,从而显著改善模型指标. 从图中识别过拟合和欠拟合 先借用上一篇的两组图: 先看上边的一组图,随着训练迭代次数的增加,预测的错误率迅速下降. 我们上一篇中讲,达到一定…
结构化数据的预处理 前面所展示的一些示例已经很让人兴奋.但从总体看,数据类型还是比较单一的,比如图片,比如文本. 这个单一并非指数据的类型单一,而是指数据组成的每一部分,在模型中对于结果预测的影响基本是一致的. 更通俗一点说,比如在手写数字识别的案例中,图片坐标(10,10)的点.(14,14)的点.(20,20)的点,对于最终的识别结果的影响,基本是同一个维度. 再比如在影评中,第10个单词.第20个单词.第30个单词,对于最终结果的影响,也在同一个维度. 是的,这里指的是数据在维度上的不同.…
Keras内置的预定义模型 上一节我们讲过了完整的保存模型及其训练完成的参数. Keras中使用这种方式,预置了多个著名的成熟神经网络模型.当然,这实际是Keras的功劳,并不适合算在TensorFlow 2.0头上. 当前TensorFlow 2.0-alpha版本捆绑的Keras中包含: densenet inception_resnet_v2 inception_v3 mobilenet mobilenet_v2 nasnet resnet50 vgg16 vgg19 xception 这…
在TensorFlow热起来之前,很多人学习python的原因是因为想写爬虫.的确,有着丰富第三方库的python很适合干这种工作. Scrapy是一个易学易用的爬虫框架,尽管因为互联网多变的复杂性仍然有很多爬虫需要自己编写大量的代码,但能够有一个相对全面均衡的基础框架,工作还是会少许多. 框架安装 不好意思用别人网站作为被爬取的例子,下面从头开始,以本站为例,开始一个简单的爬虫之旅. 因为习惯原因,本文均以python2作为工作环境. scrapy框架的安装非常简单,只要一行命令,前提是你已经…
基本概念 机器翻译和语音识别是最早开展的两项人工智能研究.今天也取得了最显著的商业成果. 早先的机器翻译实际脱胎于电子词典,能力更擅长于词或者短语的翻译.那时候的翻译通常会将一句话打断为一系列的片段,随后通过复杂的程序逻辑对每一个片段进行翻译,最终组合在一起.所得到的翻译结果应当说似是而非,最大的问题是可读性和连贯性非常差. 实际从机器学习的观点来讲,这种翻译方式,也不符合人类在做语言翻译时所做的动作.其实以神经网络为代表的机器学习,更多的都是在"模仿"人类的行为习惯. 一名职业翻译通…
风格迁移 <从锅炉工到AI专家(8)>中我们介绍了一个"图片风格迁移"的例子.因为所引用的作品中使用了TensorFlow 1.x的代码,算法也相对复杂,所以文中没有仔细介绍风格迁移的原理. 今天在TensorFlow 2.0的帮助,和新算法思想的优化下,实现同样功能的代码量大幅减少,结构也越发清晰.所以今天就来讲讲这个话题. "风格迁移"指的是将艺术作品的笔触.技法等表现出来的视觉效果,应用在普通照片上,使得所生成的图片,类似使用同样笔触.技法所绘制完…
https://www.wandouip.com/t5i183316/ 引言 原来引用过一个段子,这里还要再引用一次.是关于苹果的.大意是,苹果发布了新的开发语言Swift,有非常多优秀的特征,于是很多时髦的程序员入坑学习.不料,经过一段头脑体操一般的勤学苦练,发现使用Swift做开发,不仅要学习Swift,还要学习Swift2.Swift3.Swift4...后来我发现,这个段子很有普遍性,并非仅仅苹果如此,今天的TensorFlow 2.0也有点这样的趋势.以至于我不得不专门写一个课程的续集…
导语:非AI专业技术人员转型AI技术,或是作为一名学生学习AI技术开发,对每个有这样诉求和经历的人来说,都希望能够看到AI技术人才的成长经历,给出自己的真实经历分享. 前言 参考塞缪尔.约翰逊(18世纪英国文学评论家.诗人,著有<英语大辞典>.<莎士比亚集>)的思路,“当一个人厌倦了学习技术,那他肯定也厌倦了IT行业:因为只有持续学习,才会有IT行业带给你的一切,包括金钱”.这是IT行业的实际情况,没有哪个人可以靠吃老本长期生存,AI技术更是如此.最近我在读<伦敦人>,…
导读:2017 年的时候,AI 前线进行了一场有关人工智能领域薪资差异的专题策划,这篇名为<25 万年薪的你与 25 万月薪的他,猎头来谈你们之间的差别>的文章引起了读者们的热烈讨论.一年过去了,又到了“金九银十”的招聘旺季,对于应届生们来说,今年的招聘形势如何?相比去年,AI 岗位的热度还那么高吗?我们同时也采访了一些 AI 企业的 HR,他们将从自身的角度给求职者们一些建议,如果你正在 AI 求职的茫茫大海中寻觅方向,这篇文章是你绝对不可错过的! 去年的文章里,我们用各种数据“震惊”了读者…
https://blog.csdn.net/weixin_42137700/article/details/81628028 首先,本文不是为了增加大家的焦虑感,而是站在一名学生的角度聊聊找AI算法岗位的那些事儿(不喜请喷). 熟悉Amusi的同学应该知道,Amusi 是一名十八线过气211院校的研二学生.因此有幸成为秋招大军的一员.原本想着秋招完,拿到不错的Offer,再来写篇文章来总结的,但随着指针在转,越发觉得写一篇相关文章很重要. 这里先申明一下,AI算法工程师范围很大,细分一下:深度学…
欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由腾讯云AI中心发表于云+社区专栏 AI到底有多火?看看下面这组数据: 腾讯研究院<2017全球人工智能人才白皮书>报告中提到,现全球AI领域人才约30万,而市场对人才的需求在百万量级,每年从各大高校毕业的学生约2万人,远远不能满足市场对人才的需求. 有AI小白可能动心了:是否还能赶上AI这趟车呢? Sure.因为有这款"神器"-- 腾讯智能钛机器学习(TI-ML):降低AI初学者的实践门槛.提升AI专家的工作…
昨日,谷歌在上海举办了一年一度的Google中国开发者大会.在本届大会上,谷歌云首席科学家李飞飞宣布了一个重磅消息,即在北京将成立谷歌AI中国中心.对于这个即将成立的AI中心谷歌寄予厚望,希望与中国本土AI研发力量合作共同致力于人工智能领域的研究. 该中心由李飞飞和 Google Cloud 研发负责人李佳博士共同领导.李飞飞将会负责中心的研究工作,也会统筹 Google Cloud AI, Google Brain 以及中国本土团队的工作. 这是谷歌在亚洲的第一个AI中心. 根据李飞飞教授的介…
昨日,谷歌在上海举办了一年一度的Google中国开发者大会.在本届大会上,谷歌云首席科学家李飞飞宣布了一个重磅消息,即在北京将成立谷歌AI中国中心.对于这个即将成立的AI中心谷歌寄予厚望,希望与中国本土AI研发力量合作共同致力于人工智能领域的研究.该中心由李飞飞和 Google Cloud 研发负责人李佳博士共同领导.李飞飞将会负责中心的研究工作,也会统筹 Google Cloud AI, Google Brain 以及中国本土团队的工作. 这是谷歌在亚洲的第一个AI中心. 根据李飞飞教授的介绍…
一.学习NLP背景介绍:      从2019年4月份开始跟着华为云ModelArts实战营同学们一起进行了6期关于图像深度学习的学习,初步了解了关于图像标注.图像分类.物体检测,图像都目标物体检测等,基本了解了卷积神经网络(CNN)原理及相关常用模型,如:VGG16.MaxNet等.之后从9月份开始在华为云AI专家的带领指引下,对AI深度学习的另外一个重要领域:自然语言处理(NLP)的学习,到目前为止学习了:命名实体识别.文本分类.文本相似度分析.问答系统.人脸检测.在这一个多月对NLP的处理…
现如今,在火爆的人工智能领域,面临的最窘迫的问题是越来越庞大的产业规模和国家每年约500万的相关人才需求的矛盾.广阔的发展前景.巨大的人才缺口和令人心动的行业薪资,让越来越多的年轻人选择了进入这一行业.然而,目前国内开设人工智能专业的高校不多,学科建设不完善,相当多的开发者是跨界入门,需要自学大量知识并在实践中摸索.面对网络讯息碎片化,培训班种类繁多.收费昂贵的局面,该如何高效学习成为了人工智能入门的首要难题. 以下,笔者盘点了学生中最受欢迎的人工智能网络课程,包括吴恩达的公司Coursera出…