基于TensorRT优化的Machine Translation

机器翻译系统用于将文本从一种语言翻译成另一种语言。递归神经网络(RNN)是机器翻译中最流行的深度学习解决方案之一。

TensorRT机器翻译示例的一些示例包括:

4.1. Neural Machine Translation (NMT) Using A Sequence To Sequence (seq2seq) Model

此示例sample, sampleNMT演示了使用TensorRT API基于TensorFlow seq2seq模型实现的神经机器翻译(NMT)。TensorFlow seq2seq模型是一个开源的NMT项目,它使用深层神经网络将文本从一种语言翻译成另一种语言。

What does this sample do?

具体地说,这个示例是一个端到端的示例,它采用TensorFlow模型,构建一个引擎,并使用生成的网络运行推理。该示例是模块化的,因此可以作为机器翻译应用程序的起点。              此示例使用TensorFlow NMT(seq2seq)教程提供并培训的数据来实现德语到英语的翻译。

Where is this sample located?

此示例保存在GitHub: sampleNMT存储库中的samples/opensource/sampleNMT目录下。如果使用Debian或RPM包,则示例位于/usr/src/tensorrt/samples/sampleNMT。如果使用tar或zip包,则示例位于<extracted_path>/samples/sampleNMT。

How do I get started?

有关入门的更多信息,请参见使用C++示例开始。有关此示例的详细信息,请参阅GitHub: sampleNMT/README.md文件获取有关此示例如何工作的详细信息、示例代码以及有关如何运行和验证其输出的分步说明。

4.2. Building An RNN Network Layer By Layer

这个示例sampleCharRNN使用TensorRT API逐层构建RNN网络,设置权重和输入/输出,然后执行推理。

What does this sample do?

具体地说,这个示例创建了一个CharRNN网络,它是在莎士比亚的小数据集上训练出来的。有关字符级建模的详细信息,请参见char rnn。

TensorFlow有一个有用的RNN教程,可以用来训练单词级模型。单词级模型学习所有可能单词序列的概率分布。因为我们的目标是训练一个char级别的模型,它学习一组所有可能特征的概率分布,所以需要做一些修改才能使TensorFlow样本工作。

Where is this sample located?

此示例保存在GitHub: sampleCharRNN存储库中的samples/opensource/sampleCharRNN目录下。如果使用Debian或RPM包,则示例位于

/usr/src/tensorrt/samples/sampleCharRNN。如果使用tar或zip包,则示例位于<extracted_path>/samples/sampleCharRNN。

How do I get started?

有关入门的更多信息,请参见使用C++示例开始。有关此示例的详细信息,请参阅GitHub: sampleCharRNN/README.md文件获取有关此示例如何工作的详细信息、示例代码以及有关如何运行和验证其输出的分步说明。

基于TensorRT优化的Machine Translation的更多相关文章

  1. Phrase-Based & Neural Unsupervised Machine Translation基于短语非监督机器翻译

    1. 前言 本文介绍一种无监督的机器翻译的模型.无监督机器翻译最早是<UNSUPERVISED NEURAL MACHINE TRANSLATION>提出.这个模型主要的特点,无需使用平行 ...

  2. 基于TensorRT车辆实时推理优化

    基于TensorRT车辆实时推理优化 Optimizing NVIDIA TensorRT Conversion for Real-time Inference on Autonomous Vehic ...

  3. 神经机器翻译 - NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

    论文:NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE 综述 背景及问题 背景: 翻译: 翻译模型学习条件分布 ...

  4. Structural Features for Predicting the Linguistic Quality of Text: Applications to Machine Translation, Automatic Summarization and Human-Authored Text -paper

    abstract句子结构是文本语言质量的关键,我们记录了以下实验结果:句法短语统计和其他结构特征对文本方面的预测能力.手工评估的句子fluency流利度用于机器翻译评估和文本摘要质量的评估是黄金准则. ...

  5. 对Neural Machine Translation by Jointly Learning to Align and Translate论文的详解

    读论文 Neural Machine Translation by Jointly Learning to Align and Translate 这个论文是在NLP中第一个使用attention机制 ...

  6. Effective Approaches to Attention-based Neural Machine Translation(Global和Local attention)

    这篇论文主要是提出了Global attention 和 Local attention 这个论文有一个译文,不过我没细看 Effective Approaches to Attention-base ...

  7. 【转载 | 翻译】Visualizing A Neural Machine Translation Model(神经机器翻译模型NMT的可视化)

    转载并翻译Jay Alammar的一篇博文:Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models Wi ...

  8. 基于TensorRT 3的自动驾驶快速INT8推理

    基于TensorRT 3的自动驾驶快速INT8推理 Fast INT8 Inference for Autonomous Vehicles with TensorRT 3 自主驾驶需要安全性,需要一种 ...

  9. 基于TensorRT的BERT实时自然语言理解(下)

    基于TensorRT的BERT实时自然语言理解(下) BERT Inference with TensorRT 请参阅Python脚本bert_inference.py还有详细的Jupyter not ...

随机推荐

  1. NetBIOS名称欺骗和LLMNR欺骗

    目录 LLMNR和NetBios 攻击原理 Responder 攻击过程 LLMNR和NetBios 什么是LLMNR和NetBIOS名称服务器广播? 当DNS名称服务器请求失败时,Microsoft ...

  2. hdu5108枚举因子求最小的m

    题意:      给一个n(<=10Y),然后让找到一个最小的m使得n/m是一个素数. 思路:       先用sqrt(n)的时间把所有的因子都求出来,然后在排序,枚举,就行了,这个题目这么做 ...

  3. C#-Stmp发邮件

    public MailMessage Initial(string Address) { MailMessage m_Mail = new MailMessage(); //发件人 m_Mail.Fr ...

  4. React-组合模式

    <!DOCTYPE html> <html> <head> <meta charset="UTF-8" /> <title&g ...

  5. pandas(10):数据增删改

    目录 一.对索引进行操作 1 操作索引值df.rename() 二.指定数据替换.修改df.replace() 三.特殊值--缺失值处理 四.新增行列 1 直接赋值添加新列 2 df.assign() ...

  6. 开源囧事4:你们这些卖代码的能不能留自己的QQ号?留我QQ号干嘛?

    缘起于开源项目 从 2017 年开始,陆陆续续写了一些开源项目放到开源网站里,都是一些实战项目,给大家练练手.有基础整合的demo,有 Spring Boot 博客项目,有 Spring Boot 商 ...

  7. thymeleaf中[[${}]]与[(${})]的区别

    [[-]]会被转义,[(-)]不会. 假设在后台传入msg的值为 <b>AAA</b> 在前台这样使用 [[${msg}]]___[(${msg})] 展示效果 官方参考文档

  8. Codeforces Round #687 (Div. 2, based on Technocup 2021 Elimination Round 2)

    A. Prison Break 题意:就是在一个n*m的矩阵中,以(1,1)为起点(n,m)为终点,每个点以每个单位1s的速度移动,问总共至少需要多少秒,所有的矩阵点就能够全部移动到(r,c)中 思路 ...

  9. Vue.js源码解析-从scripts脚本看vue构建

    目录 1. scripts 脚本构建 1.1 dev 开发环境构建过程 1.1.1 配置文件代码 1.1.2 如何进行代码调试? 1.2 build 生产环境构建过程 1.2.1 scripts/bu ...

  10. Duplicate entry '' for key 'PRIMARY'

    今天在在mysql中插入数据 因为直接插入查询出来的表格,insert into 表(student_id,class_id) 直接插入了这两个字段对应的查询出来的表 没有留意到该表的主键没有设置自增 ...