每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息，快来看看吧！

Hub 加入分类整理 (Collection) 功能

现在你可以把任何你喜欢的模型 / 数据集 / Space 应用等按照自己的喜好进行分类整理和收藏。这个功能不仅对个人账号开放，同时对 Hub 上的组织账号也同样开放，Collection 会显示在个人或者组织的资料页面上，快去试试看吧！

查看文档: https://hf.co/docs/hub/collections

模型显存计算器

模型显存计算器 (Model Memory Calculator) 工具，旨在帮助大家计算在 Hub上训练或运行大型模型所需的 vRAM（显存）。这个工具能在百分之几的误差内估算模型的显存需求。

最小推荐的 vRAM 是模型“最大层”的大小，而训练一个模型大约需要其大小的 4 倍显存 (考虑到 Adam 优化器)。在进行模型推理 (inference) 时，可能还需额外增加最多 20% 的显存。这个工具支持所有使用 transformers 和 timm 库的模型。使用时只需输入模型的 URL 或名字，选择其来源框架，以及你想使用的精度即可。

即刻体验: https://hf-accelerate-model-memory-usage.hf.space/

探索生物和化学方面的基座模型

我们一位同事 Katie 正在收集生物和化学领域的基座模型的列表，我们看到绝大多数都是开源并且开放权重的。

你可以在这里查看到这些模型的列表:

https://hf.co/spaces/hf4h/bio-chem-foundation-models

为什么要在文本生成中选择使用流式传输？

流式传输是服务器逐个返回模型生成的标记 (tokens) 的模式，这有助于用户逐步查看生成过程，而不必等待整个生成完成。这对于提高终端用户体验至关重要，因为它减少了延迟，这是流畅体验的关键因素之一。

使用流式传输，服务器可以在生成完整响应之前逐个返回标记，使用户能够更早地了解生成质量。这有一些积极的影响：对于非常长的查询，用户可以更早地获得结果。在生成过程中观察进展允许用户在生成不符合他们期望的方向时停止生成。在早期展示结果时，感知的延迟较低。在会话界面中使用时，体验感觉更加自然。

我们发布了一个文档，介绍了如何在 Python、cURL 和 JavaScript 中实现流式传输，以及流式传输的工作原理，其中使用了 Server-Sent Events（SSE）来建立 HTTP 连接并实现数据的单向传输。通过指定最大并发请求数，还可以管理服务器的负载。

查看文档: https://hf.co/docs/text-generation-inference/conceptual/streaming

以上就是本期的 Hugging News，新的一周开始了，我们一起加油！

Hugging News #0918: Hub 加入分类整理功能、科普文本生成中的流式传输的更多相关文章

  1. (zhuan) 126 篇殿堂级深度学习论文分类整理 从入门到应用

    126 篇殿堂级深度学习论文分类整理 从入门到应用 | 干货 雷锋网 作者: 三川 2017-03-02 18:40:00 查看源网址 阅读数:66 如果你有非常大的决心从事深度学习,又不想在这一行打 ...

  2. mysql中实现分类汇总功能

    1.创建测试表: CREATE TABLE test_ROLLUP_1 ( StateCode ), DepCode ), SendMoney INT ); 2.插入测试语句: INSERT INTO ...

  3. 按失真类型分类整理IQA数据集：TID2013

    前面已经整理了TID2008,这次整理TID2013的工作相对较简单,只需要改代码的一部分就可以了,首先我大概介绍一些TID2013. TID2013是TID2008的加强版,链接如下:http:// ...

  4. Android Studio 分类整理 res/layout 中的布局文件

    •准备工作 新建一个名为 TestLayouts 的项目: 进入 Project 模式: 来到 TestLayouts/app/src/main/res/layout 文件夹下: •分类整理 layo ...

  5. 【转】【整理】将Linux脚本中的正常输出，警告，错误等信息输出到文件中

     本文来自:http://blog.csdn.net/woshinia/article/details/18040063   很早以前  编译的时候 就在用 2>&1,但是一直没有生成一 ...

  6. python——常用功能之文本处理

    前言 在生活.工作中,python一直都是一个好帮手.在python的众多功能中,我觉得文本处理是最常用的.下面是平常使用中的一些总结.环境是python 3.3 0. 基础 在python中,使用s ...

  7. JS控制文本框中的密码显示/隐藏功能

    <html> <head> <title>[荐]JS控制文本框中的密码显示/隐藏功能_网页代码站(www.6a8a.com)</title> <s ...

  8. 有关文件夹与文件的查找，删除等功能 在 os 模块中实现

    最近在写的程序频繁地与文件操作打交道,这块比较弱,还好在百度上找到一篇不错的文章,这是原文传送门,我对原文稍做了些改动. 有关文件夹与文件的查找,删除等功能 在 os 模块中实现.使用时需先导入这个模 ...

  9. 【我的Android进阶之旅】Android Studio如何轻松整理字符串到string.xml中

    使用Android Studio一段时间了,还有很多小技巧没有掌握.比如:平常将字符串整理到string.xml中,都是手动的去复制字符串到string.xml中,然后再回来修改引用该字符串的代码,这 ...

  10. 含有过滤功能的android流式布局

    FilterFlowLayout 含有过滤功能的流式布局, 參考FlowLayout 能够去除宽度不在范围(比例或真实值)内的子view 能够设置最大行数 能够加入组件间水平间距 能够加入行间距 系统 ...

随机推荐

  1. 提升运维效率：轻松掌握JumpServer安装和使用技巧

    前言 JumpServer 是一个开源的跳板机的解决方案,提供了对远程服务器的安全访问.会话录制和审计.用户身份管理等功能,适用于需要管理机器资源&大量服务器资源的情况. 本文将在分享 doc ...

  2. c#中命令模式详解

    基本介绍:   命令模式,顾名思义就是将命令抽象化,然后将请求者和接收者通过命令进行绑定.   而命令的请求者只管下达命令,命令的接收者只管执行命令.   从而实现了解耦,请求者和接受者二者相对独立. ...

  3. AtCoder Beginner Contest 237 G - Range Sort Query

    原题链接 G - Range Sort Query 思路: \(x\)是固定的,所以考虑将排序维护成0 1串,为\(p_i < x\)为\(0\),那么\(p_i \geq x\)为\(1\), ...

  4. 有什么BI工具可以实现中国式报表？

    BI(Business Intelligence)工具是指用于帮助企业收集.分析.处理和展示数据的软件工具,以支持企业决策制定和业务运营优化的技术系统. 中国式报表在BI工具中的实现主要涉及到对中国商 ...

  5. markdown文字与图片对齐方式

    markdown文字与图片对齐方式 一.图片文字左右对齐 //如图所示,左文字,右图片 <div align="center"> <table rules=&qu ...

  6. 如何检测Windows服务停止后自动启动？自动运行.bat批处理文件？

    作者:西瓜程序猿 主页传送门:https://www.cnblogs.com/kimiliucn 前言 想要确保你的Windows服务即使在崩溃后也能自动重启吗?这篇文章教你如何用一个小巧的批处理脚本 ...

  7. Android 图表开源库调研及使用示例

    原文地址: Android图表开源库调研及使用示例 - Stars-One的杂货小窝 之前做的几个项目都是需要实现图表统计展示,于是做之前调研了下,做下记录 概述 AAChartCore-Kotlin ...

  8. CentOS（7.6）环境下迁移Mysql（5.7）的data目录到指定位置

    第一步:关闭Mysql #关闭Mysql服务systemctl stop mysqld#查看Mysql服务状态 ps -ef|grep mysql 第二步:创建新目录,并拷贝数据文件 #创建data文 ...

  9. Hive select查询语句

    创建表 CREATE TABLE t_usa_covid19( count_date string, county string, state string, fips int, cases int, ...

  10. Mybatis|MybatisPlus批量插入

    创建一个SpringBoot工程 <?xml version="1.0" encoding="UTF-8"?> <project xmlns= ...