获取了文心一言的内测及与其ChatGPT、GPT-4 对比结果

百度在3月16日召开了关于文心一言（知识增强大语言模型）的发布会，但是会上并没现场展示demo。如果要测试的文心一言 也要获取邀请码，才能进行测试的。

我这边通过预约得到了邀请码，大概是在3月17日晚就收到了，原本想着18号来测试一下文心一言到底怎么样，但是因为有事忙(拖延症)拖到今天来才测试一下，并且对比一下了ChatGPT 、GPT-4 的结果（其中GPT-4的测试，我这边只能测试一两个问题）。

首先问个简单的问题

1. 你最新的数据更新到什么时候？

文心一言

chatGPT



可以看到的，文心一言回答基于隐私不能回答，ChartGPT回答是截止到2021年9月

结果有点翻车，没想到百度这边的有这个隐私限制，后面测试会发现文心一言那边其他还有比较多这种隐私限制的，可能由于是国内，这种情况也可以理解

1. 车水马龙是什么意思？

文心一格

chatGPT



两个都回答了比较正确的答案

1. 有哪些副业机会？
   
   文心一格
   
   
   
   chatGPT
   
   

同样，两个都回答得中规中矩，基本可以替换搜索引擎的搜索，可以看出，在比较广泛客观类的问题或者答案较为唯一确定的简单解释类问题基本可以回答比较清晰

下面我们换一个比较专业的一些问题

1. 给你一个字符串s ，找到s 中最长的回文串。如果字符串的反序与原始字符串相同，则该字符串称为回文字符串。

文心一格

chatGPT

这个题目为LeetCode上的原题。从回答结果来看来，文心一格和chatGPT 都支持追问，它们出来的结果我去LeetCode 运行了，发现了文心一格的结果是运行错误的☹️，而且生成的java 代码是语法有问题的，chatGPT的则可以运行通过。

我之前也在网上看到其他人有对文心一格测试了其他相关的代码问题，都说文心一格代码问题这方面回答得不好，估计这块没怎么弄，也可能chatGPT使用的是github代码来计算回答

1. 拜登会连任吗？

文心一言



chatGPT



这里找到了一个文心一言无法回答的问题bug，而chatGPT 那边则可以正常回答，可以看到文心一言无法回答的时候，会尽量告诉你还没学习

1. 工作的图片

文心一格

chatGPT



chatGPT 这边是不支持生成图片的，而文心一言在这里功能更加强大，可以生成图片，发布会上说还可以生成视频的，但是实际我测试的时候是不能生成的，可能后面做了什么限制吧

例如下面：

1. 在网上看了一个bug 问题 “父亲和母亲可以结婚吗？”

文心一言 （文心一言好像目前修了，之前看到网上说返回的结果类似于chatGPT的）

chatGPT

GPT-4

这个bug问题，目前看文心一言好过chatGPT了，我目前chatGPT还没修复这个问题，但是GPT-4的回答得更好一些，已经知道我可能在问一个已经发生的关系。

文心一言语与chatGPT有什么不同？我来让文心一言回答一下

我是文心一言，一个由百度研发的知识增强大语言模型，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。

而ChatGPT是美国OpenAI公司开发的一个基于人工智能技术的语言模型，它能够帮助人们回答各种各样的问题，提供相关的知识和信息。

每个语言模型都有自己的优势和适用环境，但我们的设计目标是一致的，都是为了辅助人、帮助人、为人类提供更好的服务。

总得来说，文心一言在大部分基本问题问答上已经能比肩chatGPT了的，图片生成方面更是强于chatGPT，但是在一些代码专业问题问答上明显较弱。不过发布会上也说文心一言还有“很多不完美之处”，国内百度能在那么多短时间内发布一个类似于chatGPT的产品，而且大部分问答是没问题的，说明百度在AI 这边的积累还是比较强的，绝对为国内第一梯队。

彩蛋

如果要体验 chatGPT/GPT-4 ，可以在 CrudBoys 公众号，回复 chatgpt 即可获取到体验地址，只需要谷歌账号登录即可体验

如果需要体验 文心一言 可以在官网https://yiyan.baidu.com/申请，临时要问一个问题的体验一下的话，可以打开微信文章链接 在评论区要问文心一言的问题，我可以提交到文心一言提问再回复你（手动回复，一天看一次）