SRILM是一个建立和使用统计语言模型的开源工具包,从1995年开始由SRI 口语技术与研究实验室(SRI Speech Technology and Research Laboratory)开发,现在仍然不断推出新版本,被广泛应用于语音识别.机器翻译等领域.这个工具包包含一组C++类库.一组进行语言模型训练和应用的可执行程序等.利用它可以非常方便地训练和应用语言模型.给定一组连续的词,调用SRILM提供的接口,可以得到这组词出现的概率. http://www.jianshu.com/p/5b1…
LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 论文地址:https://arxiv.org/pdf/2106.09685.pdf 代码地址:https://github.com/microsoft/LoRA 摘要 自然语言处理的一个重要范式包括在一般领域数据上进行大规模的预训练 ,并适应特定的任务或领域.随着我们对更大的模型进行预训练,重新训练所有模型参数的完全微调变得不太可行.以GPT-3 175B为例--部署独立的微调模型实例,每个都有…