超简单集成ML kit 实现听写单词播报

背景

  相信我们大家在刚开始学习一门语言的时候都有过听写，现在的小学生学语文的时候一项重要的课后作业就是听写课文中的生词，很多家长们都有这方面的经历。不过一方面这种读单词的动作相对简单，另一方面家长的时间也很宝贵，现在市场上出现了很多xx课后听写的语音，这些播讲人将语文教材上的课后听写单词录好，给家长下载使用，不过这种录音不够灵活，如果老师今天额外留了几道不是课后习题中的单词，这部分的录音就不能满足家长和孩子们的需要。本文就介绍了一个使用我们ML kit 的通用文本识别功能和语音合成功能共同实现自动语音播报APP，只需要对听写的单词或者课文拍照，然后就能自动播报照片中的文字，播报的音色、音调都可以调整。

---

开发前准备

打开AndroidStudio项目级build.gradle文件

  在allprojects ->repositories里面配置HMS SDK的maven仓地址

allprojects {
    repositories {
        google()
        jcenter()
        maven {url 'http://developer.huawei.com/repo/'}
    }
 }

  在buildscript->repositories里面配置HMS SDK的maven仓地址

buildscript {
    repositories {
        google()
        jcenter()
        maven {url 'http://developer.huawei.com/repo/'}
    }
 }

  在buildscript->repositories里面配置HMS SDK的maven仓地址

buildscript {
    repositories {
        google()
        jcenter()
        maven {url 'http://developer.huawei.com/repo/'}
    }
 }

  在buildscript->dependencies中，配置AGC插件

dependencies {
    classpath 'com.huawei.agconnect:agcp:1.2.1.301'
}

添加编译依赖

  打开应用级的build.gradle文件

  集成SDK

dependencies{
    implementation 'com.huawei.hms:ml-computer-voice-tts:1.0.4.300'
    implementation 'com.huawei.hms:ml-computer-vision-ocr:1.0.4.300'
    implementation 'com.huawei.hms:ml-computer-vision-ocr-cn-model:1.0.4.300'
}

  应用ACG插件，添加在文件头即可

apply plugin: 'com.huawei.agconnect'

  指定权限和特性：在AndroidManifest.xml中进行声明

<uses-permission android:name="android.permission.CAMERA" />
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
<uses-feature android:name="android.hardware.camera" />
<uses-feature android:name="android.hardware.camera.autofocus" />

  作业朗读代码关键步骤

  主要有两个功能，一个是识别作业文本，一个是朗读作业，通过OCR+TTS实现作业朗读，拍照后点击播放即可朗读。

1. 动态权限申请

private static final int PERMISSION_REQUESTS = 1;
@Override
public void onCreate(Bundle savedInstanceState) {
    // Checking camera permission
   if (!allPermissionsGranted()) {
       getRuntimePermissions();
   }
}

1. 启动朗读界面

public void takePhoto(View view) {
        Intent intent = new Intent(MainActivity.this, ReadPhotoActivity.class);
        startActivity(intent);
}

1. 在onCreate()法中调用createLocalTextAnalyzer()创建端侧文本识别器

private void createLocalTextAnalyzer() {
        MLLocalTextSetting setting = new MLLocalTextSetting.Factory()
                .setOCRMode(MLLocalTextSetting.OCR_DETECT_MODE)
                .setLanguage("zh")
                .create();
        this.textAnalyzer = MLAnalyzerFactory.getInstance().getLocalTextAnalyzer(setting);

}

1. 在onCreate()法中调用createTtsEngine ()创建语音合成引擎，并构建语音合成回调，用于处理语音合成结果，将语音合成回调传入新建的语音合成引擎中

private void createTtsEngine() {
        MLTtsConfig mlConfigs = new MLTtsConfig()
                .setLanguage(MLTtsConstants.TTS_ZH_HANS)
                .setPerson(MLTtsConstants.TTS_SPEAKER_FEMALE_ZH)
                .setSpeed(0.2f)
                .setVolume(1.0f);
        this.mlTtsEngine = new MLTtsEngine(mlConfigs);
        MLTtsCallback callback = new MLTtsCallback() {
            @Override
            public void onError(String taskId, MLTtsError err) {
            }

            @Override
            public void onWarn(String taskId, MLTtsWarn warn) {
            }

            @Override
            public void onRangeStart(String taskId, int start, int end) {
            }

            @Override
            public void onEvent(String taskId, int eventName, Bundle bundle) {
                if (eventName == MLTtsConstants.EVENT_PLAY_STOP) {
                    if (!bundle.getBoolean(MLTtsConstants.EVENT_PLAY_STOP_INTERRUPTED)) {
                        Toast.makeText(ReadPhotoActivity.this.getApplicationContext(), R.string.read_finish, Toast.LENGTH_SHORT).show();
                    }
                }
            }
        };
        mlTtsEngine.setTtsCallback(callback);
}

1. 设置读取照片、拍照和朗读按钮

this.relativeLayoutLoadPhoto.setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View v) {
ReadPhotoActivity.this.selectLocalImage(ReadPhotoActivity.this.REQUEST_CHOOSE_ORIGINPIC);
            }
        });
this.relativeLayoutTakePhoto.setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View v) {
ReadPhotoActivity.this.takePhoto(ReadPhotoActivity.this.REQUEST_TAKE_PHOTO);
            }
        });

1. 在拍照和读取照片的回调当中启动文本识别startTextAnalyzer()

private void startTextAnalyzer() {
        if (this.isChosen(this.originBitmap)) {
            MLFrame mlFrame = new MLFrame.Creator().setBitmap(this.originBitmap).create();
            Task<MLText> task = this.textAnalyzer.asyncAnalyseFrame(mlFrame);
            task.addOnSuccessListener(new OnSuccessListener<MLText>() {
                @Override
                public void onSuccess(MLText mlText) {
                    // Transacting logic for segment success.
                    if (mlText != null) {
                        ReadPhotoActivity.this.remoteDetectSuccess(mlText);
                    } else {
                        ReadPhotoActivity.this.displayFailure();
                    }
                }
            }).addOnFailureListener(new OnFailureListener() {
                @Override
                public void onFailure(Exception e) {
                    // Transacting logic for segment failure.
                    ReadPhotoActivity.this.displayFailure();
                    return;
                }
            });
        } else {
            Toast.makeText(this.getApplicationContext(), R.string.please_select_picture, Toast.LENGTH_SHORT).show();
            return;
        }
}

1. 识别成功后，点击播放按钮即可开始播放

this.relativeLayoutRead.setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View v) {
                if (ReadPhotoActivity.this.sourceText == null) {
                    Toast.makeText(ReadPhotoActivity.this.getApplicationContext(), R.string.please_select_picture, Toast.LENGTH_SHORT).show();
                } else {
                    ReadPhotoActivity.this.mlTtsEngine.speak(sourceText, MLTtsEngine.QUEUE_APPEND);
                    Toast.makeText(ReadPhotoActivity.this.getApplicationContext(), R.string.read_start, Toast.LENGTH_SHORT).show();
                }
            }
        });

---

Demo效果

---

往期链接：超简单集成HMS Scan Kit扫码SDK,轻松实现扫码购

原文链接：https://developer.huawei.com/consumer/cn/forum/topicview?tid=0201283755975150303&fid=18

原作者：littlewhite

超简单集成ML kit 实现听写单词播报的更多相关文章

1. 超简单集成华为HMS ML Kit文本识别SDK，一键实现账单号自动录入

   前言   在之前的文章<超简单集成华为HMS Core MLKit通用卡证识别SDK,一键实现各种卡绑定>中我们给大家介绍了华为HMS ML Kit通用卡证识别技术是如何通过拍照自动识别卡 ...

2. 超简单集成HMS ML Kit文字超分能力，一键提升文本分辨率

   前言 大家有没有遇到过这种情况,在浏览微博或者公众号时看到一段有趣的文字,于是截图发到朋友圈想和好友分享.但是在发布图片时,软件会对图片强制进行压缩,导致图片分辨率下降,文字变得模糊难以阅读.那么有没 ...

3. Android | 超简单集成HMS ML Kit实现最大脸微笑抓拍

   前言   如果大家对HMS ML Kit 人脸检测功能有所了解,相信已经动手调用我们提供的接口编写自己的APP啦.目前就有小伙伴在调用接口的过程中反馈,不太清楚HMS ML Kit 文档中的MLMax ...

4. 超简单集成HMS Scan Kit扫码SDK,轻松实现扫码购

   前言   在前面的文章中,我们向大家介绍了HMS Scan Kit 的快速集成方法以及HMS Scan Kit和其他开源扫码工具的竞争力对比分析,如果没有看到也没关系,文章下方的往期链接中有文章入口. ...

5. 超简单！asp.net core前后端分离项目使用gitlab-ci持续集成到IIS

   现在好多使用gitlab-ci的持续集成的教程,大部分都是发布到linux系统上的,但是目前还是有很大一部分企业使用的都是windows系统使用IIS在部署.NET应用程序.这里写一下如何使用gitl ...

6. ssh框架整合---- spring 4.0 + struts 2.3.16 + maven ss整合超简单实例

   一 . 需求 学了这么久的ssh,一直都是别人整合好的框架去写代码,自己实际动手时才发现框架配置真是很坑爹,一不小心就踏错,真是纸上得来终觉浅! 本文将记录整合struts + spring的过程 , ...

7. 机器学习 AI 谷歌ML Kit 与苹果Core ML

   概述 移动端所说的AI,通常是指"机器学习". 定义:机器学习其实就是研究计算机怎样模拟人类的学习行为,以获取新的知识或技能,并重新组织已有的知识结构使之不断改善自身.从实践的意义 ...

8. 超简单的NDK单步调试方法

   令人兴奋的是,ADTr20已经支持JNI单步调试,再也不需要如上这么麻烦的步骤了 你现在需要做的只需以下2步: 1.使用ndk-build编译时,加上如下参数NDK_DEBUG=1,之后生成so文件之 ...

9. python超简单的web服务器

   今天无意google时看见,心里突然想说,python做web服务器,用不用这么简单啊,看来是我大惊小怪了. web1.py   1 2 3 #!/usr/bin/python import Simp ...

随机推荐

1. GitHub使用指南

   文章地址:http://www.worldhello.net/gotgithub/index.html

2. synchronized锁自旋2

   http://www.infoq.com/cn/articles/java-se-16-synchronized 1 引言 在多线程并发编程中Synchronized一直是元老级角色,很多人都会称呼它 ...

3. Headfirst设计模式的C++实现——迭代器(Iterator)

   iterator.h #ifndef _ITERATOR_H_ #define _ITERATOR_H_ #include "menu_item.h" class Iterator ...

4. Git skills in reseting files

   How to uncommit files that were committed long time a ago?Note: Since all changes in the current wor ...

5. Druid数据库连接池使用

   转: http://lj6684.iteye.com/blog/1770093 阿里巴巴推出的国产数据库连接池,据网上测试对比,比目前的DBCP或C3P0数据库连接池性能更好   简单使用介绍 Dru ...

6. node.js 下依赖Express 实现post 4种方式提交参数

   上面这个图好有意思啊,哈哈, v8威武啊.... 在2014年的最后一天和大家分享关于node.js 如何提交4种格式的post数据. 上上一篇说到了关于http协议里定义的4种常见数据的post方法 ...

7. PHP定义字符串的四种方式

   1.简介 在PHP中这门语言中,因为是弱类型语言,因此使用变量时不需提前定义即可使用. 我们在使用php进行开发的时候,大多数使用双引号.单引号进行定义字符串.既然有这两种方式,那么他们之间肯定是有区 ...

8. 在安卓代码中dp 和 sp 换算px

   /** * 单位转换工具 * * @author carrey * */ public class DisplayUtil { /** * 将px值转换为dip或dp值,保证尺寸大小不变 * * @p ...

9. TF.learn学习

   官网地址:https://www.tensorflow.org/versions/r1.1/get_started/tflearn 1.代码例子 实现自定义的Estimator 使用DNNClassi ...

10. 初窥Java之六

    一.二维数组 1.动态创建 数组中元素类型[] 数组名 = new 数组中元素类型[]; 例如:int[][] arr = new int[二维数组的长度][一维数组的长度]: Int[][] arr ...