每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息,快来看看吧!

Hub 加入分类整理 (Collection) 功能

现在你可以把任何你喜欢的模型 / 数据集 / Space 应用等按照自己的喜好进行分类整理和收藏。这个功能不仅对个人账号开放,同时对 Hub 上的组织账号也同样开放,Collection 会显示在个人或者组织的资料页面上,快去试试看吧!

查看文档: https://hf.co/docs/hub/collections

模型显存计算器

模型显存计算器 (Model Memory Calculator) 工具,旨在帮助大家计算在 Hub上训练或运行大型模型所需的 vRAM(显存)。这个工具能在百分之几的误差内估算模型的显存需求。

最小推荐的 vRAM 是模型“最大层”的大小,而训练一个模型大约需要其大小的 4 倍显存 (考虑到 Adam 优化器)。在进行模型推理 (inference) 时,可能还需额外增加最多 20% 的显存。这个工具支持所有使用 transformers 和 timm 库的模型。使用时只需输入模型的 URL 或名字,选择其来源框架,以及你想使用的精度即可。

即刻体验: https://hf-accelerate-model-memory-usage.hf.space/

探索生物和化学方面的基座模型

我们一位同事 Katie 正在收集生物和化学领域的基座模型的列表,我们看到绝大多数都是开源并且开放权重的。

你可以在这里查看到这些模型的列表:

https://hf.co/spaces/hf4h/bio-chem-foundation-models

为什么要在文本生成中选择使用流式传输?

流式传输是服务器逐个返回模型生成的标记 (tokens) 的模式,这有助于用户逐步查看生成过程,而不必等待整个生成完成。这对于提高终端用户体验至关重要,因为它减少了延迟,这是流畅体验的关键因素之一。

使用流式传输,服务器可以在生成完整响应之前逐个返回标记,使用户能够更早地了解生成质量。这有一些积极的影响:对于非常长的查询,用户可以更早地获得结果。在生成过程中观察进展允许用户在生成不符合他们期望的方向时停止生成。在早期展示结果时,感知的延迟较低。在会话界面中使用时,体验感觉更加自然。

我们发布了一个文档,介绍了如何在 Python、cURL 和 JavaScript 中实现流式传输,以及流式传输的工作原理,其中使用了 Server-Sent Events(SSE)来建立 HTTP 连接并实现数据的单向传输。通过指定最大并发请求数,还可以管理服务器的负载。

查看文档: https://hf.co/docs/text-generation-inference/conceptual/streaming


以上就是本期的 Hugging News,新的一周开始了,我们一起加油!

Hugging News #0918: Hub 加入分类整理功能、科普文本生成中的流式传输的更多相关文章

  1. (zhuan) 126 篇殿堂级深度学习论文分类整理 从入门到应用

    126 篇殿堂级深度学习论文分类整理 从入门到应用 | 干货 雷锋网 作者: 三川 2017-03-02 18:40:00 查看源网址 阅读数:66 如果你有非常大的决心从事深度学习,又不想在这一行打 ...

  2. mysql中实现分类汇总功能

    1.创建测试表: CREATE TABLE test_ROLLUP_1 ( StateCode ), DepCode ), SendMoney INT ); 2.插入测试语句: INSERT INTO ...

  3. 按失真类型分类整理IQA数据集:TID2013

    前面已经整理了TID2008,这次整理TID2013的工作相对较简单,只需要改代码的一部分就可以了,首先我大概介绍一些TID2013. TID2013是TID2008的加强版,链接如下:http:// ...

  4. Android Studio 分类整理 res/layout 中的布局文件

    •准备工作 新建一个名为 TestLayouts 的项目: 进入 Project 模式: 来到 TestLayouts/app/src/main/res/layout 文件夹下: •分类整理 layo ...

  5. 【转】【整理】将Linux脚本中的正常输出,警告,错误等信息输出到文件中

     本文来自:http://blog.csdn.net/woshinia/article/details/18040063   很早以前  编译的时候 就在用 2>&1,但是一直没有生成一 ...

  6. python——常用功能之文本处理

    前言 在生活.工作中,python一直都是一个好帮手.在python的众多功能中,我觉得文本处理是最常用的.下面是平常使用中的一些总结.环境是python 3.3 0. 基础 在python中,使用s ...

  7. JS控制文本框中的密码显示/隐藏功能

    <html> <head> <title>[荐]JS控制文本框中的密码显示/隐藏功能_网页代码站(www.6a8a.com)</title> <s ...

  8. 有关文件夹与文件的查找,删除等功能 在 os 模块中实现

    最近在写的程序频繁地与文件操作打交道,这块比较弱,还好在百度上找到一篇不错的文章,这是原文传送门,我对原文稍做了些改动. 有关文件夹与文件的查找,删除等功能 在 os 模块中实现.使用时需先导入这个模 ...

  9. 【我的Android进阶之旅】Android Studio如何轻松整理字符串到string.xml中

    使用Android Studio一段时间了,还有很多小技巧没有掌握.比如:平常将字符串整理到string.xml中,都是手动的去复制字符串到string.xml中,然后再回来修改引用该字符串的代码,这 ...

  10. 含有过滤功能的android流式布局

    FilterFlowLayout 含有过滤功能的流式布局, 參考FlowLayout 能够去除宽度不在范围(比例或真实值)内的子view 能够设置最大行数 能够加入组件间水平间距 能够加入行间距 系统 ...

随机推荐

  1. 五分钟k8s实战-Istio 网关

    在上一期 k8s-服务网格实战-配置 Mesh 中讲解了如何配置集群内的 Mesh 请求,Istio 同样也可以处理集群外部流量,也就是我们常见的网关. 其实和之前讲到的k8s入门到实战-使用Ingr ...

  2. van-dialog弹窗异步关闭-校验表单

    van-dialog弹窗异步关闭 有时候我们需要通过弹窗去处理表单数据,在原生微信小程序配合vant组件中有多种方式实现,其中UI美观度最高的就是通过van-dialog嵌套表单实现. 通常表单涉及到 ...

  3. Reflect API:每个 JavaScript 开发人员都需要的瑞士军刀

    前言 您是否曾经希望拥有一个神奇的工具包,可以让您像超级英雄一样控制 JavaScript 对象?向ReflectAPI 打个招呼吧,它是 ES6 中引入的一个新的全局对象 ,它能够处理简单的代码操作 ...

  4. Leetcode回文数

    直接上python代码 class Solution: def isPalindrome(self, x: int) -> bool: if x<0: //负数必不是回文数 return ...

  5. 一文彻底看懂Python切片

    1.什么是切片 切片是Python中一种用于操作序列类型(如列表.字符串和元组)的方法.它通过指定起始索引和结束索引来截取出序列的一部分,形成一个新的序列.切片是访问特定范围内的元素,就是一个Area ...

  6. QT最小化程序到托盘运行

    MinTray 说明 实现程序关闭时最小化托盘的功能 托盘实现显示主页面和退出的功能 支持扩展,直接引用TrayIcon类即可,对外暴露接口 单例实现,可复用 警告 注:博主所有资源永久免费,若有帮助 ...

  7. SQL执行insert into后返回主键ID

    1 select @@identity 2 select SCOPE_IDENTITY() 3 select IDENT_CURRENT('table') 注解:@@IDENTITY 返回当前会话的所 ...

  8. 怎么在Android项目中导入ffmpeg库?

    1.前言 在这里我以导入静态库(.a)为例进行分析,动态库(.so)是类似的.在导入前,各位要先编译好ffmpeg库,需要注意的是在编译的时候要开启交叉编译,目标平台为Android,其他平台的库(w ...

  9. 分享两种Pulsar消息积压topic级别策略老化办法

    本文分享自华为云社区<Pulsar消息积压topic级别策略老化的两种方案>,作者: 张俭. Pulsar像大多数消息中间件一样,支持按时间和大小对消息积压进行老化.但是默认的策略只能在n ...

  10. DES加密算法优缺点大揭秘:为何它逐渐被取代?

    一.引言 DES(Data Encryption Standard)加密算法作为一种历史悠久的对称加密算法,自1972年由美国国家标准局(NBS)发布以来,广泛应用于各种数据安全场景.本文将从算法原理 ...