CA周记 - 带你进⼊ OpenAI 的世界
2021年11月的 Microsoft Ignite , 微软带来了全新的 Azure OpenAI Service,通过新的 Azure 认知服务能够访问 OpenAI 强大的 GPT-3 模型 。 虽然微软还没有正式开放 Open AI Service , 但 GitHub 和 OpenAI 已经推出了基于 GPT-3 的新模型 Codex 的工具 - Copilot ,通过它可以帮助软件开发人员更高效地编写代码。我相信不少小伙伴都已经开始在 Visual Studio Code / Visual Studio 使用 Copilot 感受到 GPT-3 的威力。 作为开发者, 希望微软能尽快开放相关文档, 能尽快掌握相关技能 。 为了满足各位要求, 今天我就带大家进入 OpenAI 。
GPT-3 介绍
2020 年 5 月,Open AI 发表了一篇开创性的论文,题为 Language Models Are Few-Shot Learners。 他们展示了 GPT-3语言模型,它使用了一个具有 1750 亿个参数的神经网络。 GPT-3 使用来自 CommonCrawl、WebText、维基百科和书籍语料库的数据进行训练, 并在各种自然语言处理任务中表现出惊人的性能,包括翻译、问答和完形填空任务。在性能上 GPT-3 也是非常优秀, 超过了很多现有的模型。2020 年 7 月,也就是论文发表两个月后,OpenAI 开放了一个 beta API playground,大家可以通过 API 方式访问 GPT-3 模型。
GPT-3 的几个主要特点
1. 零/单/少样本学习(Zero/one/few-shot learning): 通常,深度学习会针对一组特定的类别进行训练和测试。 如果计算机视觉中对星球大战中的 BB8 , R2D2 , C3PO 进行分类,在测试过程中就只能针对这三个类别进行。 但在零样本学习设置中,系统在测试时,可以使用不在训练内的类别(例如,用曼努达人做测试)。 单/少样本学习(one-shot 和few-shot) 也是一个道理,在测试时,系统会分别看到一个或几个新的类别。
2. 零/单/少样本任务迁移(Zero/one/few-shot task transfer): 这个整合了 零/单/少样本学习和多任务学习的概念。 新任务(或者显示零个、一个或几个新任务的示例)可以随时执行,而不是在测试时才展示新类。 例如, 输入 “I love you -> 我爱你。 I miss you -> ____。” GPT-3 就可以通过单样本任务迁移 ,把之前没有训练过的英语转中文的任务执行起来
3. Transformers: Transformers 是解决机器翻译问题的框架, 有一个简单的网络结构,基于自注意机制,不依赖于递归和卷积完全。通过并行计算使Transformer效率高,需要更少的训练时间。
4. 生成模型(Generative models): 统计学中分类任务有两种模型-判别模型,生成模型。 判别模型对给定的可观察变量和目标变量对的条件概率进行编码:p(y|x)。 生成模型对联合概率进行编码:p(x,y)。 生成模型可以“生成类似于现有数据的新数据”,GPT-3 模型就是应用生成模型来。
5. 多任务学习(Multitask learning): 大多数深度学习系统都是单任务的, 只针对特定的场景。多任务系统克服了这一限制。 他们受过训练,能够针对给定的输入解决不同的任务。 例如我输入一个苹果,他可以帮我翻译成英文的 Apple ,可以找到一张苹果的图片,也可以找到苹果的一些特征等。
6. 半监督学习(Semi-supervised learning): 是以无监督的方式训练具有非常大数据集的模型,然后通过在较小的数据集中使用监督训练来调整模型以适应不同的任务。
通过 OpenAI API 调用GPT-3
由于微软现在还没开放 OpenAI 的 GPT-3 功能 , 现阶段我们只能通过 OpenAI (beta.openai.com) 提供的 API 使用 GPT-3 。(当然你需要有一个美国的电话号码来激活该功能) ,OpenAI 有非常丰富的文档, 以及示例 ,让开发者可以非常快上手使用 API。
Python 调用 API 几个必须的步骤
- 安装 openai 库
pip install openai
申请 API 的密钥
可以通过 Notebook 测试一下
几个注意的点
- 模型 engine ,现在针对 GPT-3 有2个比较主要的模型
模型 | 介绍 |
---|---|
text-davinci-002 | GPT-3 关于自然语言处理场景的模型,通常需要较少的上下文。 除了响应提示外,还支持在文本中插入补全。 |
code-davinci-002 | 可以理解和生成程序代码的模型,包括将自然语言翻译成代码(这个模型需要另外申请) |
关于一些示例,你可以通过访问
https://beta.openai.com/examples 学习更多的应用场景
你可以通过 OpenAI 提供的 Playground 做一些测试 https://beta.openai.com/playground
你可以针对自己的业务定义 GPT-3 模型 ,你可以通过该链接了解更多 https://openai.com/blog/customized-gpt-3/
展望
GPT-3 功能强大 ,让 AI 应用场景更贴近实际的生活 。 我非常希望微软的 OpenAI Service 能尽快开放 ,让更多的开发者能使用。 还有现在 OpenAI GPT-3 在中文的支持还是非常有限的, 我也寄望微软版本的服务能有更好的中文支持。
相关资料
了解 Azure OpenAI Service 功能,请访问 https://azure.microsoft.com/en-us/services/cognitive-services/openai-service/
Azure OpenAI Service 介绍,请访问
https://blogs.microsoft.com/ai/new-azure-openai-service/OpenAI 的相关博客 https://openai.com/blog/
CA周记 - 带你进⼊ OpenAI 的世界的更多相关文章
- 小丁带你走进git的世界三-撤销修改
一.撤销指令 git checkout还原工作区的功能 git reset 还原暂存区的功能 git clean 还没有被添加进暂存区的文件也就是git还没有跟踪的文件可以使用这个命令清除他们 g ...
- 小丁带你走进git的世界三-撤销修改(转)
一.撤销指令 git checkout还原工作区的功能 git reset 还原暂存区的功能 git clean 还没有被添加进暂存区的文件也就是git还没有跟踪的文件可以使用这个命令清除他们 g ...
- 小丁带你走进git的世界二-工作区暂存区分支
小丁带你走进git的世界二-工作区暂存区分支 一.Git基本工作流程 1.初始化一个仓库 git init git clone git仓库分为两种情况: 第一种是在现有项目或目录下导入所有文件到 ...
- 带你走进rsync的世界
导读 Rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件,也可以使用 Rsync 同步本地硬盘中的不同目录.rsync共有3种使用方 ...
- 让 Python 带你进入开源的世界——Git 从入门到与他人协作开发
让 Python 带你进入开源的世界--Git 从入门到与他人协作开发 我认为开源社区中有很多优秀的资源,并且可以帮助进阶中的程序员提高编程能力和水平.所以,我发起了<HelloGitHub&g ...
- 两篇文章带你走入.NET Core 世界:Kestrel+Nginx+Supervisor 部署上云服务器(二)
背景: 上一篇:两篇文章带你走入.NET Core 世界:CentOS+Kestrel+Ngnix 虚拟机先走一遍(一) 已经交待了背景,这篇就省下背景了,这是第二篇文章了,看完就木有下篇了. 直接进 ...
- 带你剖析WebGis的世界奥秘----Geojson数据加载(高级)(转)
带你剖析WebGis的世界奥秘----Geojson数据加载(高级) 转:https://zxhtom.oschina.io/zxh/20160819.html 编程 java 2016/08/ ...
- 带你剖析WebGis的世界奥秘----点和线的世界(转)
带你剖析WebGis的世界奥秘----点和线的世界 转:https://zxhtom.oschina.io/zxh/20160813.html 编程 java 2016/08/13 0留言, 0 ...
- 带你剖析WebGis的世界奥秘----瓦片式加载地图(转)
带你剖析WebGis的世界奥秘----瓦片式加载地图 转:https://zxhtom.oschina.io/zxh/20160805.html 编程 java 2016/08/05 0留言, ...
随机推荐
- 如果有大量的 key 需要设置同一时间过期,一般需要注意什么?
如果大量的 key 过期时间设置的过于集中,到过期的那个时间点,redis 可能 会出现短暂的卡顿现象.一般需要在时间上加一个随机值,使得过期时间分散一 些.
- Java 中,编写多线程程序的时候你会遵循哪些最佳实践?
这是我在写 Java 并发程序的时候遵循的一些最佳实践: a)给线程命名,这样可以帮助调试. b)最小化同步的范围,而不是将整个方法同步,只对关键部分做同步. c)如果可以,更偏向于使用 volati ...
- CountDownLatch和CyclicBarrier:如何让多线程步调一致?
案例:对账系统的业务是这样的,用户通过在线商城下单,会生成电子订单,保存在订单库:之后物流会生成派送单给用户发货,派送单保存在派送单库.为了防止漏派送或者重复派送,对账系统每天还会校验是否存在异常订单 ...
- Python - 本地文件读写(初级)
- C 语言中 static 的作用
在 C 语言中,static 的字面意思很容易把我们导入歧途,其实它的作用有三条. (1)先来介绍它的第一条也是最重要的一条:隐藏 当我们同时编译多个文件时,所有未加 static 前缀的全局变量和函 ...
- 推荐一款强大的轻量级模块化WEB前端快速开发框架--UIkit
前言 今天给大家分享一款强大的轻量级模块化WEB前端快速开发框架--UIkit 到目前(2016-06-20)为止,UIkit在github上的Forks已达到了1350个,而Stars更是达到了69 ...
- python-正整数的因子展开式
[题目描述]编写程序,输出一个给定正整数x(x>1)的质因子展开式. [输入格式]请在一行中输入整数x的值. [输出格式]对每一组输入的x,按以下格式输出x的质因子展开式(假如x的质因子分别为a ...
- Android回到页面并刷新数据
通过对Android Activity的生命周期的了解,需要在后退页面重写onResume()的方法. 建立自己更新数据的函数,并在onCreate()方法中调用. @Override protect ...
- uniapp中生成二维码(附代码和插件)
wxqrcode.js文件: https://github.com/Clearlovesky/-js-jq-/tree/master/wxqrcode // 引入二维码库 import QR fro ...
- JavaScript实现指定格式字符串表单校验
运行效果: 源代码: 1 <!DOCTYPE html> 2 <html lang="zh"> 3 <head> 4 <meta char ...