分类: Java技术

为应用程序加上语音能力有什么好处呢?粗略地讲,是为了趣味,它适合所有注重趣味的应用,比如游戏。当然,从更严肃的角度来讲,它还涉及到应用的可用性问题。注意,这里我考虑的不仅是可视化界面固有的不足,而且还有这样一些情形:一些时候,让双眼离开当前的工作很不方便,甚至是不合法的。比如,假设有一个带语音功能的浏览器,你就可以在外出散步或开车上班的同时,用听的方式浏览自己喜爱的网站。[@more@]为应用程序加上语音能力有什么好处呢?粗略地讲,是为了趣味,它适合所有注重趣味的应用,比如游戏。当然,从更严肃的角度来讲,它还涉及到应用的可用性问题。注意,这里我考虑的不仅是可视化界面固有的不足,而且还有这样一些情形:一些时候,让双眼离开当前的工作很不方便,甚至是不合法的。比如,假设有一个带语音功能的浏览器,你就可以在外出散步或开车上班的同时,用听的方式浏览自己喜爱的网站。

??从目前来看,邮件阅读器或许是语音技术更实际的应用,在JavaMail API的帮助下,这一切已经可能。邮件阅读器可以定期地检查收件箱,然后用语音“You have new mail, would you like me to read it to you?”引起你的注意。按照类似的思路,我们还可以考虑一个带语音功能的提醒器,把它连接到一个日历应用:它会及时地提醒你“Don't forget your meeting with the boss in 10 minutes!”。

??也许你已经被这些主意吸引,或者有了自己更好的主意,现在让我们继续。首先我将介绍如何启用本文提供的语音引擎,这样,如果你认为语音引擎的实现细节过于复杂,就可以直接使用它而忽略其实现细节。

  一、试用语音引擎

要使用这个语音引擎,你必须在CLASSPATH中加入本文提供的javatalk.jar文件,然后从命令行运行(或者从Java程序调用)com.lotontech.speech.Talker类。如果从命令行运行,则命令为:

java com.lotontech.speech.Talker "h|e|l|oo"

如果从Java程序调用,则代码为:

com.lotontech.speech.Talker talker=new com.lotontech.speech.Talker();

talker.sayPhoneWord("h|e|l|oo");

现在,对于在命令行上(或者调用sayPhoneWord()方法时)提供的“h|e|l|oo”字符串,你或许有所不解。下面我就来解释一下。

语音引擎的工作原理是把细小的声音样本连接起来,每一个样本都是人的语言发音(英语)的一个最小单位。这些声音样本称为音素(allophone)。每一个因素对应一个、二个或者三个字母。从前面“hello”的语音表示可以看出,一些字母组合的发音显而易见,还有一些却不是很明显:

h -- 读音显而易见

e -- 读音显而易见

l -- 读音显而易见,但注意两个“l”被简缩成了一个“l”。

OO -- 应该读作“hello”中的读音,不应读作“bot”、“too”中的读音。

下面是一个有效音素的清单:

a : 如cat
b : 如cab
c : 如cat
d : 如dot
e : 如bet
f : 如frog
g : 如frog
h : 如hog
i : 如pig
j : 如jig
k : 如keg
l : 如leg
m : 如met
n : 如begin
o : 如not
p : 如pot
r : 如rot
s : 如sat
t : 如sat
u : 如put
v : 如have
w : 如wet
y : 如yet
z : 如zoo
aa : 如fake
ay : 如hay
ee : 如bee
ii : 如high
oo : 如go
bb : b的变化形式,重音不同
dd : d的变化形式,重音不同
ggg : g的变化形式,重音不同
hh : h的变化形式,重音不同
ll : l的变化形式,重音不同
nn : n的变化形式,重音不同
rr : r的变化形式,重音不同
tt : t的变化形式,重音不同
yy : y的变化形式,重音不同
ar : 如car
aer : 如care
ch : 如which
ck : 如check
ear : 如beer
er : 如later
err : 如later (长音)
ng : 如feeding
or : 如law
ou : 如zoo
ouu : 如zoo (长音)
ow : 如cow
oy : 如boy
sh : 如shut
th : 如thing
dth : 如this
uh : u 的变化形式
wh : 如where
zh : 如Asian

人说话的时候,语音在整个句子之内起落变化。语调变化使得语音更自然、更富有感染力,使得问句和陈述句能够相互区别。请考虑下面两个句子:

It is fake -- f|aa|k

Is it fake? -- f|AA|k

也许你已经猜想到,提高语调的方法是使用大写字母。

以上就是使用该软件时你需要了解的东西。如果你对其后台实现细节感兴趣,请继续阅读。

  二、实现语音引擎

语音引擎的实现只包括一个类,四个方法。它利用了J2SE 1.3包含的Java Sound API。在这里,我不准备全面地介绍这个API,但你可以通过实例学习它的用法。Java Sound API并不是一个特别复杂的API,代码中的注释将告诉你必须了解的知识。

下面是Talker类的基本定义:

package com.lotontech.speech;

import javax.sound.sampled.*;

import java.io.*;

import java.util.*;

import java.net.*;

public class Talker

{

private SourceDataLine line=null;

}

如果从命令行执行Talker,下面的main()方法将作为入口点运行。main()方法获取第一个命令行参数,然后把它传递给sayPhoneWord()方法:

/*

* 读出在命令行中指定的表示读音的字符串

*/

public static void main(String args[])

{

Talker player=new Talker();

if (args.length>0) player.sayPhoneWord(args[0]);

System.exit(0);

}
sayPhoneWord()方法既可以通过上面的main()方法调用,也可以在Java程序中直接调用。从表面上看,sayPhoneWord()方法比较复杂,其实并非如此。实际上,它简单地遍历所有单词的语音元素(在输入字符串中语音元素以“|”分隔),通过一个声音输出通道一个元素一个元素地播放出来。为了让声音更自然一些,我把每一个声音样本的结尾和下一个声音样本的开头合并了起来:

/*

* 读出指定的语音字符串

*/

public void sayPhoneWord(String word)

{

// 为上一个声音构造的模拟byte数组

byte[] previousSound=null;

// 把输入字符串分割成单独的音素

StringTokenizer st=new StringTokenizer(word,"|",false);

while (st.hasMoreTokens())

{

// 为音素构造相应的文件名字

String thisPhoneFile=st.nextToken();

thisPhoneFile="/allophones/"+thisPhoneFile+".au";

// 从声音文件读取数据

byte[] thisSound=getSound(thisPhoneFile);

if (previousSound!=null)

{

// 如果可能的话,把前一个音素和当前音素合并

int mergeCount=0;

if (previousSound.length>=500 && thisSound.length>=500)

mergeCount=500;

for (int i=0; i

{

previousSound[previousSound.length-mergeCount+i]

=(byte)((previousSound[previousSound.length

-mergeCount+i]+thisSound[i])/2);

}

// 播放前一个音素

playSound(previousSound);

// 把经过截短的当前音素作为前一个音素

byte[] newSound=new byte[thisSound.length-mergeCount];

for (int ii=0; ii

newSound[ii]=thisSound[ii+mergeCount];

previousSound=newSound;

}

else

previousSound=thisSound;

}

// 播放最后一个音素,清理声音通道

playSound(previousSound);

drain();

}

在sayPhoneWord()的后面,你可以看到它调用playSound()输出单个声音样本(即一个音素),然后调用drain()清理声音通道。下面是playSound()的代码:

/*

* 该方法播放一个声音样本

*/

private void playSound(byte[] data)

{

if (data.length>0) line.write(data, 0, data.length);

}

下面是drain()的代码:

/*

* 该方法清理声音通道

*/

private void drain()

{

if (line!=null) line.drain();

try {Thread.sleep(100);} catch (Exception e) {}

}

现在回过头来看sayPhoneWord(),这里还有一个方法我们没有分析,即getSound()方法。

getSound()方法从一个au文件以字节数据的形式读入预先录制的声音样本。要了解读取数据、转换音频格式、初始化声音输出行(SouceDataLine)以及构造字节数据的详细过程,请参考下面代码中的注释:

/*

* 该方法从文件读取一个音素,

* 并把它转换成byte数组

*/

private byte[] getSound(String fileName)

{

try

{

URL url=Talker.class.getResource(fileName);

AudioInputStream stream = AudioSystem.getAudioInputStream(url);

AudioFormat format = stream.getFormat();

// 把一个ALAW/ULAW声音转换成PCM以便回放

if ((format.getEncoding() == AudioFormat.Encoding.ULAW) ||

(format.getEncoding() == AudioFormat.Encoding.ALAW))

{

AudioFormat tmpFormat = new AudioFormat(

AudioFormat.Encoding.PCM_SIGNED,

format.getSampleRate(), format.getSampleSizeInBits() * 2,

format.getChannels(), format.getFrameSize() * 2,

format.getFrameRate(), true);

stream = AudioSystem.getAudioInputStream(tmpFormat, stream);

format = tmpFormat;

}

DataLine.Info info = new DataLine.Info(

Clip.class, format,

((int) stream.getFrameLength() * format.getFrameSize()));

if (line==null)

{

// 输出线还没有实例化

// 是否能够找到合适的输出线类型?

DataLine.Info outInfo = new DataLine.Info(SourceDataLine.class,

format);

if (!AudioSystem.isLineSupported(outInfo))

{

System.out.println("不支持匹配" + outInfo + "的输出线");

throw new Exception("不支持匹配" + outInfo + "的输出线");

}

// 打开输出线

line = (SourceDataLine) AudioSystem.getLine(outInfo);

line.open(format, 50000);

line.start();

}

int frameSizeInBytes = format.getFrameSize();

int bufferLengthInFrames = line.getBufferSize() / 8;

int bufferLengthInBytes = bufferLengthInFrames * frameSizeInBytes;

byte[] data=new byte[bufferLengthInBytes];

// 读取字节数据,并计数

int numBytesRead = 0;

if ((numBytesRead = stream.read(data)) != -1)

{

int numBytesRmaining = numBytesRead;

}

// 把字节数据切割成合适的大小

byte[] newData=new byte[numBytesRead];

for (int i=0; i

newData[i]=data[i];

return newData;

}

catch (Exception e)

{

return new byte[0];

}

}

这就是全部的代码,包括注释在内,一个大约150行代码的语音合成器。

  三、文本-语音转换

以语音元素的格式指定待朗读的单词似乎过于复杂,如果要构造一个能够朗读文本(比如Web页面或Email)的应用,我们希望能够直接指定原始的文本。

深入分析这个问题之后,我在本文后面的ZIP文件中提供了一个试验性的文本-语音转换类。运行这个类,它将显示出分析结果。文本-语音转换类可以从命令行执行,如下所示:

java com.lotontech.speech.Converter "hello there"

输出结果类如:

hello -> h|e|l|oo

there -> dth|aer

如果运行下面这个命令:

java com.lotontech.speech.Converter "I like to read JavaWorld"

则输出结果为:

i -> ii

like -> l|ii|k

to -> t|ouu

read -> r|ee|a|d

java -> j|a|v|a

world -> w|err|l|d

这个转换类是如何工作的呢?实际上,我的方法相当简单,转换过程就是以一定的次序应用一组文本替换规则。例如对于单词“ant”、“want”、“wanted”、“unwanted”和“unique”,则我们想要应用的替换规则可能依次为:

用“|y|ou|n|ee|k|”替换“*unique*”

用“|w|o|n|t|”替换“*want*”

用“|a|”替换“*a*”

用“|e|”替换“*e*”

用“|d|”替换“*d*”

用“|n|”替换“*n*”

用“|u|”替换“*u*”

用“|t|”替换“*t*”

对于“unwanted”,输出序列为:

unwanted

un[|w|o|n|t|]ed (规则2)

[|u|][|n|][|w|o|n|t|][|e|][|d|] (规则4、5、6、7)

u|n|w|o|n|t|e|d (删除多余的符之后)

你将看到包含字母“wont”的单词和包含字母“ant”的单词以不同的方式发音,还将看到在特例规则的作用下,“unique”作为一个完整单词优先于其他规则,从而“unique”这个单词读作“y|ou...”而不是“u|n...”。

  结束语:本文提供了一个可以随时运行的、方便的语音引擎,你可以在自己的Java 1.3应用中使用它。如果仔细分析一下代码,它还为你提供了一个用JavaSound API播放音频片断的实用教程。要让它变得真正有用,你应该考虑一下文本-语音转换技术,因为对于我前面提到的文本阅读应用来说,这是真正的支撑基础。要改善本文方案的效果,你必须构造出一个庞大的替换规则库,精心调整应用规则的优先次序。希望你比我更有毅力!

让Java说话-用Java实现语音引擎的更多相关文章

  1. Atitit.java expression fsm 表达式分词fsm引擎

    Atitit.java expression fsm 表达式分词fsm引擎 C:\0workspace\AtiPlatf_cms\src\com\attilax\fsm\JavaExpFsm.java ...

  2. Java虚拟机--虚拟机字节码执行引擎

    Java虚拟机--虚拟机字节码执行引擎 所有的Java虚拟机的执行引擎都是一致的:输入的是字节码文件,处理过程是字节码解析的等效过程,输出的是执行结果. 运行时栈帧结构 用于支持虚拟机进行方法调用和方 ...

  3. Java工作流系统-驰骋BPM工作流 引擎的工作模式

    关键字:驰骋工作流引擎 流程引擎工作模式 流程中间件工作模式  工作流快速开发平台  工作流流设计  业务流程管理   asp.net 开源工作流bpm工作流系统  java工作流主流框架  自定义工 ...

  4. java工作流系统jflow表单引擎字段扩展组件介绍

    关键词:工作流快速开发平台  工作流流设计  业务流程管理   asp.net 开源工作流  bpm工作流系统  java工作流主流框架  自定义工作流引擎 表单设计器  流程设计器 装饰类图片 用于 ...

  5. Java Hour 57 Java Architecture

    Java 的架构中有4个重要的组成部分: 1 Java programming langrage 2 Java class file format 3 Java API 4 Java virtual ...

  6. Java发展史之Java由来

    Java:由Sun Microsystems公司于1995年5月推出的Java程序设计语言和Java平台的总称.Java语言是一种可以撰写跨平台应用软件的面向对象的程序设计语言,由当时任职太阳微系统的 ...

  7. java基础(二)-----java的三大特性之继承

    在<Think in java>中有这样一句话:复用代码是Java众多引人注目的功能之一.但要想成为极具革命性的语言,仅仅能够复制代码并对加以改变是不够的,它还必须能够做更多的事情.在这句 ...

  8. -1-0 Java 简介 java是什么 java简单介绍

    Java是一门纯粹的面向对象的高级的平台无关的编程语言 官网介绍: 了解 Java 技术  https://www.java.com/zh_CN/about/ 推荐词条: https://zh.wik ...

  9. React++ node.js ++SQL Sever ++MySQL++ python ++ php ++ java ++ c++ c#++ java ++ android ++ ios ++Linux+

    "C语言在它诞生的那个年代,是非常不错的语言,可惜没有OOP.当项目臃肿到一定程度,人类就不可控了. 为了弥补这个缺陷,C++诞生了.而为了应对各种情况,C++设计的大而全,太多复杂的特性, ...

随机推荐

  1. Scala 深入浅出实战经典 第48讲:Scala类型约束代码实战及其在Spark中的应用源码解析

    王家林亲授<DT大数据梦工厂>大数据实战视频 Scala 深入浅出实战经典(1-64讲)完整视频.PPT.代码下载:百度云盘:http://pan.baidu.com/s/1c0noOt6 ...

  2. iOS APP上线流程

    前言:作为一名IOS开发者,把开发出来的App上传到App Store是必须的.下面就来详细介绍下具体流程. 1.打开苹果开发者中心:https://developer.apple.com 打开后点击 ...

  3. vc读写注册表

    注册表是Windows重要组成部分,注册表记录了大量有关电脑软硬件的信息.注册表中的值通过其名称标识.值名称由与键名相同的字符组成.值本身可以是字符串.二进制数据或者是32位无符号值.在这里我们主要运 ...

  4. Shared File System Master Slave 全配置以及测试

    在本机完成2个broker的共享文件测试 2个broker的完整配置文件如下 <!--     Licensed to the Apache Software Foundation (ASF) ...

  5. JS分号 惹的坑

    JS中会自动清除句子和句子之间的空格以及tab缩进, 这样就可以允许用户编写的代码更加随性和更加可读, 在该行代码解析的时候如果该行代码可以解析, 就会在该行代码最后自动填写分号,如果该行代码无法解析 ...

  6. 【POJ1151】Atlantis(线段树,扫描线)

    [POJ1151]Atlantis(线段树,扫描线) 题面 Vjudge 题解 学一学扫描线 其实很简单啦 这道题目要求的就是若干矩形的面积和 把扫描线平行于某个轴扫过去(我选的平行\(y\)轴扫) ...

  7. 带着萌新看springboot源码11(springboot启动原理 源码上)

    通过前面这么多讲解,springboot原理应该也大概有个轮廓了,一些基本的配置,从客户端url到controller(配置一些要用的组件,servlet三大组件,处理器映射器,拦截器,视图解析器这些 ...

  8. For语句的衍生对象

    for in语句: for...in 语句用于遍历数组或者对象的属性(对数组或者对象的属性进行循环操作). for...in 语句用于对数组或者对象的属性进行循环操作. for ... in 循环中的 ...

  9. C# 杀掉Windows中所有Excel进程

    Process[] procs = Process.GetProcessesByName("excel"); foreach (Process pro in procs) { pr ...

  10. Python-接口自动化(二)

    python基础知识(二) (二)常用控制流 1.控制语句 分支语句:起到一个分支分流的作用,类似马路上的红绿灯 循环语句:for while 可以使代码不断重复的执行 2.判断语句:关键字是if.. ...