Hugging News #0918: Hub 加入分类整理功能、科普文本生成中的流式传输
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息，快来看看吧！
Hub 加入分类整理 (Collection) 功能
现在你可以把任何你喜欢的模型 / 数据集 / Space 应用等按照自己的喜好进行分类整理和收藏。这个功能不仅对个人账号开放，同时对 Hub 上的组织账号也同样开放，Collection 会显示在个人或者组织的资料页面上，快去试试看吧！
查看文档: https://hf.co/docs/hub/collections
模型显存计算器
模型显存计算器 (Model Memory Calculator) 工具，旨在帮助大家计算在 Hub上训练或运行大型模型所需的 vRAM（显存）。这个工具能在百分之几的误差内估算模型的显存需求。
最小推荐的 vRAM 是模型“最大层”的大小，而训练一个模型大约需要其大小的 4 倍显存 (考虑到 Adam 优化器)。在进行模型推理 (inference) 时，可能还需额外增加最多 20% 的显存。这个工具支持所有使用 transformers 和 timm 库的模型。使用时只需输入模型的 URL 或名字，选择其来源框架，以及你想使用的精度即可。
即刻体验: https://hf-accelerate-model-memory-usage.hf.space/
探索生物和化学方面的基座模型
我们一位同事 Katie 正在收集生物和化学领域的基座模型的列表，我们看到绝大多数都是开源并且开放权重的。
你可以在这里查看到这些模型的列表:
https://hf.co/spaces/hf4h/bio-chem-foundation-models
为什么要在文本生成中选择使用流式传输？
流式传输是服务器逐个返回模型生成的标记 (tokens) 的模式，这有助于用户逐步查看生成过程，而不必等待整个生成完成。这对于提高终端用户体验至关重要，因为它减少了延迟，这是流畅体验的关键因素之一。
使用流式传输，服务器可以在生成完整响应之前逐个返回标记，使用户能够更早地了解生成质量。这有一些积极的影响：对于非常长的查询，用户可以更早地获得结果。在生成过程中观察进展允许用户在生成不符合他们期望的方向时停止生成。在早期展示结果时，感知的延迟较低。在会话界面中使用时，体验感觉更加自然。
我们发布了一个文档，介绍了如何在 Python、cURL 和 JavaScript 中实现流式传输，以及流式传输的工作原理，其中使用了 Server-Sent Events（SSE）来建立 HTTP 连接并实现数据的单向传输。通过指定最大并发请求数，还可以管理服务器的负载。
查看文档: https://hf.co/docs/text-generation-inference/conceptual/streaming
以上就是本期的 Hugging News，新的一周开始了，我们一起加油！
Hugging News #0918: Hub 加入分类整理功能、科普文本生成中的流式传输的更多相关文章
- (zhuan) 126 篇殿堂级深度学习论文分类整理 从入门到应用
126 篇殿堂级深度学习论文分类整理 从入门到应用 | 干货 雷锋网 作者: 三川 2017-03-02 18:40:00 查看源网址 阅读数:66 如果你有非常大的决心从事深度学习,又不想在这一行打 ...
- mysql中实现分类汇总功能
1.创建测试表: CREATE TABLE test_ROLLUP_1 ( StateCode ), DepCode ), SendMoney INT ); 2.插入测试语句: INSERT INTO ...
- 按失真类型分类整理IQA数据集：TID2013
前面已经整理了TID2008,这次整理TID2013的工作相对较简单,只需要改代码的一部分就可以了,首先我大概介绍一些TID2013. TID2013是TID2008的加强版,链接如下:http:// ...
- Android Studio 分类整理 res/layout 中的布局文件
•准备工作 新建一个名为 TestLayouts 的项目: 进入 Project 模式: 来到 TestLayouts/app/src/main/res/layout 文件夹下: •分类整理 layo ...
- 【转】【整理】将Linux脚本中的正常输出，警告，错误等信息输出到文件中
本文来自:http://blog.csdn.net/woshinia/article/details/18040063 很早以前 编译的时候 就在用 2>&1,但是一直没有生成一 ...
- python——常用功能之文本处理
前言 在生活.工作中,python一直都是一个好帮手.在python的众多功能中,我觉得文本处理是最常用的.下面是平常使用中的一些总结.环境是python 3.3 0. 基础 在python中,使用s ...
- JS控制文本框中的密码显示/隐藏功能
<html> <head> <title>[荐]JS控制文本框中的密码显示/隐藏功能_网页代码站(www.6a8a.com)</title> <s ...
- 有关文件夹与文件的查找，删除等功能 在 os 模块中实现
最近在写的程序频繁地与文件操作打交道,这块比较弱,还好在百度上找到一篇不错的文章,这是原文传送门,我对原文稍做了些改动. 有关文件夹与文件的查找,删除等功能 在 os 模块中实现.使用时需先导入这个模 ...
- 【我的Android进阶之旅】Android Studio如何轻松整理字符串到string.xml中
使用Android Studio一段时间了,还有很多小技巧没有掌握.比如:平常将字符串整理到string.xml中,都是手动的去复制字符串到string.xml中,然后再回来修改引用该字符串的代码,这 ...
- 含有过滤功能的android流式布局
FilterFlowLayout 含有过滤功能的流式布局, 參考FlowLayout 能够去除宽度不在范围(比例或真实值)内的子view 能够设置最大行数 能够加入组件间水平间距 能够加入行间距 系统 ...
随机推荐
- cyclone3内部资源
CycloneIII内部资源概述 目录 CycloneIII内部资源概述 Logic Elements and Logic Array Blocks(逻辑元件和逻辑阵列块) LE LAB LAB In ...
- C#中的类和继承
公众号「DotNet学习交流」,分享学习DotNet的点滴. 类继承 通过继承我们可以定义一个新类,新类纳入一个已经声明的类并进行扩展. 可以使用一个已经存在的类作为新类的基础.已存在的类称为基类(b ...
- Vue07-Axios
Axios axios是一个网络请求相关的库. axios: ajax i/o system 使用axios编写的网络请求代码,可以运行在浏览器端,也可以在Node环境中运行. 01. 支持的请求方式 ...
- 基于DotNetty实现自动发布 - 项目的配置与发现
前言 上一篇,我们实现了基于 DotNetty 的通信基础模块的搭建,本篇,主要实现待发布 Web 项目的集成. 创建待发布项目 为了测试, 我创建了一个基于 .NET 4.8 的 Web 项目 Op ...
- 神经网络优化篇：详解偏差，方差（Bias /Variance）
偏差,方差 注意到,几乎所有机器学习从业人员都期望深刻理解偏差和方差,这两个概念易学难精,即使自己认为已经理解了偏差和方差的基本概念,却总有一些意想不到的新东西出现.关于深度学习的误差问题,另一个趋势 ...
- 公司敏感数据被上传Github，吓得我赶紧改提交记录
大家好,我是小富- 说个事吧!最近公司发生了一个事故,有同事不小心把敏感数据上传到了GitHub上,结果被安全部门扫描出来了.这件事导致公司对所有员工进行了一次数据安全的培训.对于这个事我相信,有点工 ...
- [ARC122D] XOR Game
Problem Statement There are $2N$ integers written on a blackboard. The $i$-th integer is $A_i$. Alic ...
- 如何判断lib和dll是32位还是64位？答案是使用微软的dumpbin工具，后面讲了如何使用gcc生成lib和dll
为什么我会考虑这个问题呢?因为我在使用java去调用一个c的lib库的时候,弹出以下警告: D:\work\ideaworkpaces\jdk21Test001\src\main\java\lib\h ...
- django数据库事务操作celery任务注意事项
from django.db import transaction from django.http import HttpResponseRedirect @transaction.atomic d ...
- python操作mongodb实现读写分离
读写分离 默认情况下,MongoClient 实例将查询发送到副本集的主要成员. 要使用副节点作为查询,以实现读写分离,我们必须更改读取首选项: 读取首选项在模块pymongo.ReadPrefere ...