PAI-DSW常见问题

更新时间:2023年6月5日 18:40:00

本文为您介绍PAI-DSW的相关问题。

什么是PAI-DSW?

PAI-DSW(Data Science Workshop)是PAI推出的云原生机器学习和数据科学开发平台,其中内置了Jupyterlab、WebIDE和terminal 三种使用方式,同时也支持本地开发环境通过ssh登录进行远程开发,并支持多种计算资源类型和环境。您可以通过该平台在线编写及执行代码,提交代码为离线任务并将生成的训练模型下载至本地。

PAI-DSW实例如何挂载和使用自己的NAS文件系统?

PAI-DSW实例默认提供的系统盘为临时存储,在停止或删除实例后,系统会清空数据。如果您需要永久化存储数据,则需要挂载自己NAS。您所有的NAS文件均存储在/nas目录,可以通过PAI-DSW Terminal进入该目录查看并使用文件。

新版的PAI-DSW仅支持在创建实例时,挂载自己的NAS,详情请参见创建及管理DSW实例。实例一旦创建,则无法编辑实例信息或挂载NAS。

说明

挂载了NAS的实例,系统默认使用该NAS存储数据,不再使用临时存储。

如何在PAI-DSW中使用第三方库

PAI-DSW支持安装第三库,可以使用PAI-DSW Terminal输入如下命令完成安装。

放大查看复制代码

#Python 3版本。
pip install --user xxx
#Python 2版本。
source activate python2
pip install --user xxx

其中xxx需要替换为待安装的第三库名称。安装成功后,需要单击kernelrestart kernel,重启服务。

运行机器学习代码时,为什么页面放置一段时间后提示重新登录?

为安全考虑,PAI-DSW登录Session的有效期为3个小时,过期后需要重新登录,但是不会影响任务的执行。如果需要长时间运行任务,建议在PAI-DSW Terminal,使用nohup命令后台执行任务。

使用ECS搭建FTP上传下载文件到NAS,执行挂载(mount)命令报错mount:wrong fs type,bad option,bad superblock

  • 现象描述

  • 解决方法

    执行mount命令之前,先安装nfs-utils安装包。

    放大查看复制代码

    yum install nfs-utils

如何使用PAI-DSW读取OSS数据?

进入PAI-DSW Terminal,使用osscmd命令实现文件的上传和下载,示例如下。

放大查看复制代码

#如果出现类似“Your configuration is saved into ”的提示,表示ID和Key已经保存成功。
$ osscmd config --id=accessid --key=accesskey --host=your_endpoint
#文件上传。
$ osscmd put local_existed_file oss://mybucketname/test_object
#文件下载。
$ osscmd get oss://mybucketname/test_object download_file

为什么安装的第三方包没有生效?

通过pip命令安装第三方包后,使用import命令导入时,如果出现无法查找到该包的问题,则先尝试重启服务。如果依然报错,则确认当前使用的环境。安装第三方包时,PAI-DSW默认安装到Python 3环境。如果需要安装到其他环境,则必须先手动切换环境再进行安装,示例如下。

放大查看复制代码

安装到Python 2环境。
source activate python2
pip install --user xxx
安装到TensorFlow 2.0环境。
source activate tf2
pip install --user xxx

其中xxx需要替换为待安装的第三方包名称。

如何部署PAI-DSW生成的模型?

  • 使用PAI-EAS模型部署服务

    使用PAI-DSW预置的EASCMD,在Terminal中使用命令行部署模型服务,详情请参见实例界面介绍

  • 下载模型到本地部署

    您可以通过右键单击PAI-DSW生成的模型将其下载至本地。

PAI-DSW如何收费?

PAI-DSW支持预付费和后付费,您可以根据自己的实际需要选择付费方式,计费详情请参见PAI-DSW计费说明

如何查看PAI-DSW账单?

对于后付费用户,可以进入用户中心查看账单明细,详情请参见查看账单与用量明细

为什么PAI-DSW无法启动Docker?

因为PAI-DSW本身运行在容器中,所以PAI-DSW不支持安装Docker。对应的CUDA版本是底层的虚拟机预装好的,无法变更,您可以使用nvidia-smi查看对应的CUDA版本。

启动PAI-DSW实例失败提示The cluster resources are fully utilized如何解决?

当启动PAI-DSW实例失败提示The cluster resources are fully utilized. Please try later or other regions.时,您可以参考以下方法进行处理:

  • 更换实例规格:尝试选择不同的实例规格,有些规格可能更容易获取资源。

  • 更换地域:尝试选择其他可用地域,该地域的资源可能更加充足。

  • 尝试在非高峰期创建:尝试在非高峰期创建PAI-DSW实例,例如晚上或周末时段。

  • 如果上述方法均无法解决问题,请联系您的商务经理进行处理。

使用官方镜像:stable-diffusion-webui-env:pytorch1.13-gpu-py310-cu117-ubuntu22.04,目前支持在如下4个region里拉起:杭州、上海、北京、深圳
推荐使用GPU机型 A10 or V100

Anime style fantasy brown eyes Latina woman fighter healer mage proportional no hands focused small chest long black hair straight green and gold armor

Negative prompt: EasyNegative, extra fingers,fewer fingers

Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 10, Seed: 2337269170, Size: 512x832, Model hash: 71e703a0fc, Model: Counterfeit-V2.5_fp16, Denoising strength: 0.6, Clip skip: 2, ENSD: 31337, Hires upscale: 1.8, Hires upscaler: Latent

Used embeddings: EasyNegative [119b]

Time taken: 13.01s

Torch active/reserved: 4935/8028 MiB, Sys VRAM: 9260/16161 MiB (57.3%)

Anime style fantasy brown eyes Latina woman fighter healer mage proportional no hands focused small chest long black hair straight green and gold armor 

Remix

Bookmark

 

PAI-DSW常见问题的更多相关文章

  1. lesson01

    题目: Action3:  统计全班的成绩 班里有5名同学,现在需要你用numpy来统计下这些人在语文.英语.数学中的平均成绩.最小成绩.最大成绩.方差.标准差.然后把这些人的总成绩排序,得出名次进行 ...

  2. 【机器学习PAI实战】—— 玩转人工智能之综述

    摘要: 基于人工智能火热的大背景下,通过阿里云的机器学习平台PAI在真实场景中的应用,详细阐述相关算法及使用方法,力求能够让读者读后能够马上动手利用PAI搭建属于自己的机器学习实用方案,真正利用PAI ...

  3. 阿里云交互式建模(DSW)的探索和踩坑

    前言 自己的笔记本炼丹还是太吃力了些,风扇嘶吼有点心疼,看到阿里云出了一些免费试用的资源,想着能白嫖一下高端显卡跑一跑自制模型还挺有趣,于是有了下面的一些操作,其实没啥难度的,大胆的按文档来做基本就可 ...

  4. C++常见笔试面试要点以及常见问题

    1. C++常见笔试面试要点: C++语言相关: (1) 虚函数(多态)的内部实现 (2) 智能指针用过哪些?shared_ptr和unique_ptr用的时候需要注意什么?shared_ptr的实现 ...

  5. SQL Server常见问题介绍及快速解决建议

    前言 本文旨在帮助SQL Server数据库的使用人员了解常见的问题,及快速解决这些问题.这些问题是数据库的常规管理问题,对于很多对数据库没有深入了解的朋友提供一个大概的常见问题框架. 下面一些问题是 ...

  6. 【腾讯优测干货分享】如何降低App的待机内存(二)——规范测试流程及常见问题

    本文来自于腾讯优测公众号(wxutest),未经作者同意,请勿转载,原文地址:https://mp.weixin.qq.com/s/806TiugiSJvFI7fH6eVA5w 作者:腾讯TMQ专项测 ...

  7. mysql数据库开发常见问题及优化

    mysql 数据库是被广泛应用的关系型数据库,其体积小.支持多处理器.开源并免费的特性使其在 Internet 中小型网站中的使用率尤其高.在使用 mysql 的过程中不规范的 SQL 编写.非最优的 ...

  8. 《PDF.NE数据框架常见问题及解决方案-初》

    <PDF.NE数据框架常见问题及解决方案-初> 1.新增数据库后,获取标识列的值: 解决方案:    PDF.NET数据框架,已经为我们考略了很多,因为用PDF.NET进行数据的添加操作时 ...

  9. MIS性能优化常见问题与方案(辅助项目组性能优化的总结贴)

    最近帮忙公司的几个项目组进行了不同方面的性能优化,发现几个项目都出现了一些共性的问题.这里写一篇文章,总结一下这几类问题,以及其对应的解决方案.方便其它项目组参考.   常见问题一:打开页面非常慢,有 ...

  10. JMeter常见问题集合

    前言 本文内容仅仅是针对Jmeter的部分功能名词的介绍和解释,以及初学者不易理解的问题的整理.部分内容来自别人做的整理,为了更好地整理自己的思路,所以可耻的整理一下发到博客上. 标题[1-6]和[参 ...

随机推荐

  1. C++容器(vector、deque、list、map)

    (1) vector:将元素置于一个动态数组中,可以随机存储元素(也就是用索引直接存取). 数组尾部添加或删除元素非常迅速.但在中部或头部就比较费时. *代码演示:* 取: at在下标越界时会抛出异常 ...

  2. 如何通过AWS的AmazonSageMaker进行机器学习

    目录 <如何通过 AWS 的 Amazon SageMaker 进行机器学习> 一.引言 随着人工智能和机器学习的发展,越来越多的企业和机构开始使用这些技术来进行各种应用场景的处理和分析. ...

  3. .Net全网最简Redis操作

    支持.Net/.Net Core/.Net Framework,可以部署在Docker, Windows, Linux, Mac. Redis作为一款主流的缓存工具在业内已广受欢迎.本文将会介绍操作R ...

  4. 行行AI人才直播第5期:系列课-AI理解及ChatGPT从基础到高级应用

    当前,人工智能是全世界研究的重点对象,也是人们茶余饭后讨论的经典话题.自从 OpenAI 发布 ChatGPT-4 之后,似乎无论是在工作.娱乐.甚至是日常生活中,我们都能感受到AI带来的便利和改变. ...

  5. ISP-长短曝光融合生成HDR图像

    1.高动态范围图像相关 图像的动态范围是指一幅图像中量化的最大亮度与最小噪声的比值.高动态范围HDR(high dynamic range)图像,能够完整表示真实场景中跨度很大的动态范围.采用普通CM ...

  6. Seal AppManager如何基于Terraform简化基础设施管理

    作者简介 陈灿,数澈软件Seal 后端研发工程师,曾在腾讯负责敏捷研发体系建设以及 DevOps 解决方案的敏捷实践.在敏捷研发和产品效能提升有着丰富的经验,致力于构建一站式研发友好的平台工程解决方案 ...

  7. Centos7中Jar快速启动脚本

    Centos7中Jar快速启动脚本 创建一个文本,将以下脚本内容复制到文本当中,重命名文本后缀为.sh 注意:根据自己的项目进行更改相关内容,对应注释已说明 #!/bin/sh APP_NAME=ma ...

  8. FreeBSD 内核模块和硬盘相关

    查看已加载的内核模块 使用命令:kldstat 加载驱动: kldload xx 查看识别到的硬盘 使用命令:dmesg | grep sector freeBSD 查看硬件信息 使用命令:dmesg ...

  9. error: failed to push some refs to 'https://gitee.com/xxxxxxxxx/xxxxxxxt'

    原因是ReadMe文件不在本地中, 此时我们要执行git pull --rebase origin master命令README.md拉到本地, 任何然后执行git push origin maste ...

  10. 关于在Java中计算某个数的N次方注意事项

    在实际过程中,我们会遇到计算某个数的N次方的情景,在书面上我们是可以记作 a^n ,然而在Java中我们却不能这样使用,因为在Java中,这样的写法是位运算,即 假设 A = 60, B = 13,他 ...