PAI-DSW常见问题

更新时间:2023年6月5日 18:40:00

本文为您介绍PAI-DSW的相关问题。

什么是PAI-DSW?

PAI-DSW(Data Science Workshop)是PAI推出的云原生机器学习和数据科学开发平台,其中内置了Jupyterlab、WebIDE和terminal 三种使用方式,同时也支持本地开发环境通过ssh登录进行远程开发,并支持多种计算资源类型和环境。您可以通过该平台在线编写及执行代码,提交代码为离线任务并将生成的训练模型下载至本地。

PAI-DSW实例如何挂载和使用自己的NAS文件系统?

PAI-DSW实例默认提供的系统盘为临时存储,在停止或删除实例后,系统会清空数据。如果您需要永久化存储数据,则需要挂载自己NAS。您所有的NAS文件均存储在/nas目录,可以通过PAI-DSW Terminal进入该目录查看并使用文件。

新版的PAI-DSW仅支持在创建实例时,挂载自己的NAS,详情请参见创建及管理DSW实例。实例一旦创建,则无法编辑实例信息或挂载NAS。

说明

挂载了NAS的实例,系统默认使用该NAS存储数据,不再使用临时存储。

如何在PAI-DSW中使用第三方库

PAI-DSW支持安装第三库,可以使用PAI-DSW Terminal输入如下命令完成安装。

放大查看复制代码

#Python 3版本。
pip install --user xxx
#Python 2版本。
source activate python2
pip install --user xxx

其中xxx需要替换为待安装的第三库名称。安装成功后,需要单击kernelrestart kernel,重启服务。

运行机器学习代码时,为什么页面放置一段时间后提示重新登录?

为安全考虑,PAI-DSW登录Session的有效期为3个小时,过期后需要重新登录,但是不会影响任务的执行。如果需要长时间运行任务,建议在PAI-DSW Terminal,使用nohup命令后台执行任务。

使用ECS搭建FTP上传下载文件到NAS,执行挂载(mount)命令报错mount:wrong fs type,bad option,bad superblock

  • 现象描述

  • 解决方法

    执行mount命令之前,先安装nfs-utils安装包。

    放大查看复制代码

    yum install nfs-utils

如何使用PAI-DSW读取OSS数据?

进入PAI-DSW Terminal,使用osscmd命令实现文件的上传和下载,示例如下。

放大查看复制代码

#如果出现类似“Your configuration is saved into ”的提示,表示ID和Key已经保存成功。
$ osscmd config --id=accessid --key=accesskey --host=your_endpoint
#文件上传。
$ osscmd put local_existed_file oss://mybucketname/test_object
#文件下载。
$ osscmd get oss://mybucketname/test_object download_file

为什么安装的第三方包没有生效?

通过pip命令安装第三方包后,使用import命令导入时,如果出现无法查找到该包的问题,则先尝试重启服务。如果依然报错,则确认当前使用的环境。安装第三方包时,PAI-DSW默认安装到Python 3环境。如果需要安装到其他环境,则必须先手动切换环境再进行安装,示例如下。

放大查看复制代码

安装到Python 2环境。
source activate python2
pip install --user xxx
安装到TensorFlow 2.0环境。
source activate tf2
pip install --user xxx

其中xxx需要替换为待安装的第三方包名称。

如何部署PAI-DSW生成的模型?

  • 使用PAI-EAS模型部署服务

    使用PAI-DSW预置的EASCMD,在Terminal中使用命令行部署模型服务,详情请参见实例界面介绍

  • 下载模型到本地部署

    您可以通过右键单击PAI-DSW生成的模型将其下载至本地。

PAI-DSW如何收费?

PAI-DSW支持预付费和后付费,您可以根据自己的实际需要选择付费方式,计费详情请参见PAI-DSW计费说明

如何查看PAI-DSW账单?

对于后付费用户,可以进入用户中心查看账单明细,详情请参见查看账单与用量明细

为什么PAI-DSW无法启动Docker?

因为PAI-DSW本身运行在容器中,所以PAI-DSW不支持安装Docker。对应的CUDA版本是底层的虚拟机预装好的,无法变更,您可以使用nvidia-smi查看对应的CUDA版本。

启动PAI-DSW实例失败提示The cluster resources are fully utilized如何解决?

当启动PAI-DSW实例失败提示The cluster resources are fully utilized. Please try later or other regions.时,您可以参考以下方法进行处理:

  • 更换实例规格:尝试选择不同的实例规格,有些规格可能更容易获取资源。

  • 更换地域:尝试选择其他可用地域,该地域的资源可能更加充足。

  • 尝试在非高峰期创建:尝试在非高峰期创建PAI-DSW实例,例如晚上或周末时段。

  • 如果上述方法均无法解决问题,请联系您的商务经理进行处理。

使用官方镜像:stable-diffusion-webui-env:pytorch1.13-gpu-py310-cu117-ubuntu22.04,目前支持在如下4个region里拉起:杭州、上海、北京、深圳
推荐使用GPU机型 A10 or V100

Anime style fantasy brown eyes Latina woman fighter healer mage proportional no hands focused small chest long black hair straight green and gold armor

Negative prompt: EasyNegative, extra fingers,fewer fingers

Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 10, Seed: 2337269170, Size: 512x832, Model hash: 71e703a0fc, Model: Counterfeit-V2.5_fp16, Denoising strength: 0.6, Clip skip: 2, ENSD: 31337, Hires upscale: 1.8, Hires upscaler: Latent

Used embeddings: EasyNegative [119b]

Time taken: 13.01s

Torch active/reserved: 4935/8028 MiB, Sys VRAM: 9260/16161 MiB (57.3%)

Anime style fantasy brown eyes Latina woman fighter healer mage proportional no hands focused small chest long black hair straight green and gold armor 

Remix

Bookmark

 

PAI-DSW常见问题的更多相关文章

  1. lesson01

    题目: Action3:  统计全班的成绩 班里有5名同学,现在需要你用numpy来统计下这些人在语文.英语.数学中的平均成绩.最小成绩.最大成绩.方差.标准差.然后把这些人的总成绩排序,得出名次进行 ...

  2. 【机器学习PAI实战】—— 玩转人工智能之综述

    摘要: 基于人工智能火热的大背景下,通过阿里云的机器学习平台PAI在真实场景中的应用,详细阐述相关算法及使用方法,力求能够让读者读后能够马上动手利用PAI搭建属于自己的机器学习实用方案,真正利用PAI ...

  3. 阿里云交互式建模(DSW)的探索和踩坑

    前言 自己的笔记本炼丹还是太吃力了些,风扇嘶吼有点心疼,看到阿里云出了一些免费试用的资源,想着能白嫖一下高端显卡跑一跑自制模型还挺有趣,于是有了下面的一些操作,其实没啥难度的,大胆的按文档来做基本就可 ...

  4. C++常见笔试面试要点以及常见问题

    1. C++常见笔试面试要点: C++语言相关: (1) 虚函数(多态)的内部实现 (2) 智能指针用过哪些?shared_ptr和unique_ptr用的时候需要注意什么?shared_ptr的实现 ...

  5. SQL Server常见问题介绍及快速解决建议

    前言 本文旨在帮助SQL Server数据库的使用人员了解常见的问题,及快速解决这些问题.这些问题是数据库的常规管理问题,对于很多对数据库没有深入了解的朋友提供一个大概的常见问题框架. 下面一些问题是 ...

  6. 【腾讯优测干货分享】如何降低App的待机内存(二)——规范测试流程及常见问题

    本文来自于腾讯优测公众号(wxutest),未经作者同意,请勿转载,原文地址:https://mp.weixin.qq.com/s/806TiugiSJvFI7fH6eVA5w 作者:腾讯TMQ专项测 ...

  7. mysql数据库开发常见问题及优化

    mysql 数据库是被广泛应用的关系型数据库,其体积小.支持多处理器.开源并免费的特性使其在 Internet 中小型网站中的使用率尤其高.在使用 mysql 的过程中不规范的 SQL 编写.非最优的 ...

  8. 《PDF.NE数据框架常见问题及解决方案-初》

    <PDF.NE数据框架常见问题及解决方案-初> 1.新增数据库后,获取标识列的值: 解决方案:    PDF.NET数据框架,已经为我们考略了很多,因为用PDF.NET进行数据的添加操作时 ...

  9. MIS性能优化常见问题与方案(辅助项目组性能优化的总结贴)

    最近帮忙公司的几个项目组进行了不同方面的性能优化,发现几个项目都出现了一些共性的问题.这里写一篇文章,总结一下这几类问题,以及其对应的解决方案.方便其它项目组参考.   常见问题一:打开页面非常慢,有 ...

  10. JMeter常见问题集合

    前言 本文内容仅仅是针对Jmeter的部分功能名词的介绍和解释,以及初学者不易理解的问题的整理.部分内容来自别人做的整理,为了更好地整理自己的思路,所以可耻的整理一下发到博客上. 标题[1-6]和[参 ...

随机推荐

  1. 【后端面经】MySQL主键、唯一索引、联合索引的区别和作用

    目录 0. 简介 1. 主键 2. 唯一索引 3. 联合索引 4. 索引对数据库操作的影响 5. 其他索引 5.1 普通索引 5.2 全文索引 5.3 前缀索引 6. 总结 7. 参考资料 0. 简介 ...

  2. FPGA加速技术:在数据中心和云计算中的应用

    目录 1. 引言 2. 技术原理及概念 3. 实现步骤与流程 3.1 准备工作:环境配置与依赖安装 3.2 核心模块实现 3.3 集成与测试 4. 应用示例与代码实现讲解 4.1. 应用场景介绍 4. ...

  3. Linux系统运维之Web服务器Nginx安装

    一.介绍 Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,并在一个BSD-like 协议下发行.本文先整理web服务器内容. 二.环境及软件版本 操作 ...

  4. vivo 自研鲁班分布式 ID 服务实践

    作者:vivo IT 平台团队- An Peng 本文介绍了什么是分布式ID,分布式ID的业务场景以及9种分布式ID的实现方式,同时基于vivo内部IT的业务场景,介绍了自研鲁班分布式ID服务的实践. ...

  5. 4.3 x64dbg 搜索内存可利用指令

    发现漏洞的第一步则是需要寻找到可利用的反汇编指令片段,在某些时候远程缓冲区溢出需要通过类似于jmp esp等特定的反汇编指令实现跳转功能,并以此来执行布置好的ShellCode恶意代码片段,LyScr ...

  6. 介绍Vue router的history模式以及如何配置history模式

    引言 Vue router给我们提供了两种路由模式,分别是hash模式和history模式.其中默认是使用hash模式,即URL中带有一个#符号,但是处于业务或个人喜爱的差别,Vue router也提 ...

  7. 防缓存穿透利器-布隆滤器(BloomFilter)

    布隆过滤器 1.布隆过滤器原理 1.1 什么是布隆过滤器 1.2 使用场景 1.3 原理 1.4 布隆过滤器的优缺点 2.实现方式 2.1 初始化skuId的布隆过滤器 2.1.1 RedisCons ...

  8. linux内核vmlinux的编译过程之 --- vmlinux.o详解(八)

    内核构建系统之所以要在链接 vmlinux 之前,去链接出vmlinux.o.其原因并不是要将 vmlinux.o 链接进 vmlinux,而是要在链接 vmlinux.o 的过程中做完两个动作: e ...

  9. Java并发(十三)----共享存在的问题

    1.小故事 老王(操作系统)有一个功能强大的算盘(CPU),现在想把它租出去,赚一点外快 小南.小女(不同的线程)来使用这个算盘来进行一些计算,并按照时间给老王支付费用 但小南不能一天24小时使用算盘 ...

  10. 传输层之UDP与TCP的首部

    从通信信息处理的角度看,运输层向它上面的应用层提供通信服务,它属于面向通信部分的最高层,同时也是用户功能的最底层. 传输层位于应用层和数据链路层之间,主要有两个协议,用户数据报协议UDP(User D ...