Hugging News #0918: Hub 加入分类整理功能、科普文本生成中的流式传输
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息，快来看看吧！
Hub 加入分类整理 (Collection) 功能
现在你可以把任何你喜欢的模型 / 数据集 / Space 应用等按照自己的喜好进行分类整理和收藏。这个功能不仅对个人账号开放，同时对 Hub 上的组织账号也同样开放，Collection 会显示在个人或者组织的资料页面上，快去试试看吧！
查看文档: https://hf.co/docs/hub/collections
模型显存计算器
模型显存计算器 (Model Memory Calculator) 工具，旨在帮助大家计算在 Hub上训练或运行大型模型所需的 vRAM（显存）。这个工具能在百分之几的误差内估算模型的显存需求。
最小推荐的 vRAM 是模型“最大层”的大小，而训练一个模型大约需要其大小的 4 倍显存 (考虑到 Adam 优化器)。在进行模型推理 (inference) 时，可能还需额外增加最多 20% 的显存。这个工具支持所有使用 transformers 和 timm 库的模型。使用时只需输入模型的 URL 或名字，选择其来源框架，以及你想使用的精度即可。
即刻体验: https://hf-accelerate-model-memory-usage.hf.space/
探索生物和化学方面的基座模型
我们一位同事 Katie 正在收集生物和化学领域的基座模型的列表，我们看到绝大多数都是开源并且开放权重的。
你可以在这里查看到这些模型的列表:
https://hf.co/spaces/hf4h/bio-chem-foundation-models
为什么要在文本生成中选择使用流式传输？
流式传输是服务器逐个返回模型生成的标记 (tokens) 的模式，这有助于用户逐步查看生成过程，而不必等待整个生成完成。这对于提高终端用户体验至关重要，因为它减少了延迟，这是流畅体验的关键因素之一。
使用流式传输，服务器可以在生成完整响应之前逐个返回标记，使用户能够更早地了解生成质量。这有一些积极的影响：对于非常长的查询，用户可以更早地获得结果。在生成过程中观察进展允许用户在生成不符合他们期望的方向时停止生成。在早期展示结果时，感知的延迟较低。在会话界面中使用时，体验感觉更加自然。
我们发布了一个文档，介绍了如何在 Python、cURL 和 JavaScript 中实现流式传输，以及流式传输的工作原理，其中使用了 Server-Sent Events（SSE）来建立 HTTP 连接并实现数据的单向传输。通过指定最大并发请求数，还可以管理服务器的负载。
查看文档: https://hf.co/docs/text-generation-inference/conceptual/streaming
以上就是本期的 Hugging News，新的一周开始了，我们一起加油！
Hugging News #0918: Hub 加入分类整理功能、科普文本生成中的流式传输的更多相关文章
- (zhuan) 126 篇殿堂级深度学习论文分类整理 从入门到应用
126 篇殿堂级深度学习论文分类整理 从入门到应用 | 干货 雷锋网 作者: 三川 2017-03-02 18:40:00 查看源网址 阅读数:66 如果你有非常大的决心从事深度学习,又不想在这一行打 ...
- mysql中实现分类汇总功能
1.创建测试表: CREATE TABLE test_ROLLUP_1 ( StateCode ), DepCode ), SendMoney INT ); 2.插入测试语句: INSERT INTO ...
- 按失真类型分类整理IQA数据集：TID2013
前面已经整理了TID2008,这次整理TID2013的工作相对较简单,只需要改代码的一部分就可以了,首先我大概介绍一些TID2013. TID2013是TID2008的加强版,链接如下:http:// ...
- Android Studio 分类整理 res/layout 中的布局文件
•准备工作 新建一个名为 TestLayouts 的项目: 进入 Project 模式: 来到 TestLayouts/app/src/main/res/layout 文件夹下: •分类整理 layo ...
- 【转】【整理】将Linux脚本中的正常输出，警告，错误等信息输出到文件中
本文来自:http://blog.csdn.net/woshinia/article/details/18040063 很早以前 编译的时候 就在用 2>&1,但是一直没有生成一 ...
- python——常用功能之文本处理
前言 在生活.工作中,python一直都是一个好帮手.在python的众多功能中,我觉得文本处理是最常用的.下面是平常使用中的一些总结.环境是python 3.3 0. 基础 在python中,使用s ...
- JS控制文本框中的密码显示/隐藏功能
<html> <head> <title>[荐]JS控制文本框中的密码显示/隐藏功能_网页代码站(www.6a8a.com)</title> <s ...
- 有关文件夹与文件的查找，删除等功能 在 os 模块中实现
最近在写的程序频繁地与文件操作打交道,这块比较弱,还好在百度上找到一篇不错的文章,这是原文传送门,我对原文稍做了些改动. 有关文件夹与文件的查找,删除等功能 在 os 模块中实现.使用时需先导入这个模 ...
- 【我的Android进阶之旅】Android Studio如何轻松整理字符串到string.xml中
使用Android Studio一段时间了,还有很多小技巧没有掌握.比如:平常将字符串整理到string.xml中,都是手动的去复制字符串到string.xml中,然后再回来修改引用该字符串的代码,这 ...
- 含有过滤功能的android流式布局
FilterFlowLayout 含有过滤功能的流式布局, 參考FlowLayout 能够去除宽度不在范围(比例或真实值)内的子view 能够设置最大行数 能够加入组件间水平间距 能够加入行间距 系统 ...
随机推荐
- Kubernetes: kube-apiserver 之认证
kubernetes:kube-apiserver 系列文章: Kubernetes:kube-apiserver 之 scheme(一) Kubernetes:kube-apiserver 之 sc ...
- 解决Maven中90%的依赖（导包）问题
今天给大家分享一个非常好用的技巧,这个技巧是一个组合技巧 是的,自从我开始接触了以spring为框架的项目学习后,这个maven导包老是出现问题,每次在这个上面花费好多时间,于是乎打算写一个秘籍出来. ...
- 对象转url参数
对象转url function getParams(params) { let paramStr = ''; Object.keys(params) .forEach((item) => { i ...
- 【开源项目推荐】-支持GPT的智能数据库客户端与报表工具——Chat2DB
2023年是人工智能爆火的一年,ChatGPT为首的一系列的大模型的出现,让生成式人工智能彻底火了一把.但有人会说,GPT对于我们数据开发来说并没有什么作用啊? 今天为大家推荐的开源项目,就是GPT在 ...
- 开源 Serverless 框架 Laf 性能优化实践
介绍 Laf 是一个完全开源的 Serverless 框架,Laf 的 Node.js 运行时容器 (以下简称为 Runtime) 是 Laf 的函数执行环境,依托于 Express.js 框架.采用 ...
- ElasticSearch之Node query cache settings
对于filter查询,ElasticSearch提供了缓存查询结果的特性,当缓存中存在满足查询条件要求的数据时,直接从缓存中提取查询结果. 对于ElasticSearch节点,该节点上的所有shard ...
- 面试官：说说JVM内存整体结构？
Java JVM内存结构的面试常问知识 说说JVM内存整体的结构?线程私有还是共享的? JVM 整体架构,中间部分就是 Java 虚拟机定义的各种运行时数据区域. Java 虚拟机定义了若干种程序运行 ...
- 微信现金红包开发 PHP
第一次在cnblogs发文章 微信商家后台-现金红包开发 sdk <?php class wxPay { //配置参数信息 const SHANGHUHAO = "1430998xxx ...
- 红日靶场2-wp
红日靶场2 环境搭建 靶场配置 靶场拓扑图如下: 首先先新建一个网卡, PC PC端虚拟机相当于网关服务器,所以需要两张网卡,一个用来向外网提供web服务,一个是通向内网. 由于作者默认的网段设置为1 ...
- fstab 简介
简介 在一般的 Unix 或者 类Unix 中,为了更好地管理磁盘资源,有时不得不挂载一个外部的磁盘,使用 mount 命令可以快速地挂载一个外部磁盘,具体用法为: # 将磁盘分区 sda2 挂载在 ...