Skip to content

devsapp/start-modelscope

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

注:当前项目为 Serverless Devs 应用,由于应用中会存在需要初始化才可运行的变量(例如应用部署地区、函数名等等),所以不推荐直接 Clone 本仓库到本地进行部署或直接复制 s.yaml 使用,强烈推荐通过 s init ${模版名称} 的方法或应用中心进行初始化,详情可参考部署 & 体验

start-modelscope-v3 帮助文档

ModelScope应用(fc3.0)

前期准备

使用该项目,您需要有开通以下服务并拥有对应权限:

服务/业务 权限 相关文档
函数计算 创建函数 帮助文档 计费文档

免责声明:
本项目会将模型下载到NAS,并且使用函数计算的GPU实例,模型的大小会影响文件存储占用以及函数执行时间,需根据情况具验证模型下载及加载所产生的费用。

部署 & 体验

案例介绍

本案例支持将魔搭社区的各种开源模型,快速部署到阿里云函数计算FC,并提供相应的推理API服务。

魔搭社区是一个开源的模型部署平台,旨在为开发者提供便捷、高效的模型部署解决方案。该社区整合了各类机器学习和深度学习模型部署的最佳实践,为开发者提供了一个共享、学习和交流的平台。在魔搭社区,开发者可以利用提供的一键部署功能,轻松将他们的模型部署到云端,无需繁琐的配置和复杂的命令。该平台支持多种类型的模型,包括但不限于机器学习、深度学习、自然语言处理和计算机视觉模型等,满足了开发者的各种需求。

将魔搭模型部署至函数计算Serverless GPU具有以下优势:

  • a). 成本效益: Serverless 架构使得资源利用更加灵活,可以根据需求动态分配和释放资源,从而降低成本。利用 Serverless GPU,开发者可以根据实际需要分配 GPU 资源,而不必一直支付固定的 GPU 租用费用。

  • b). 弹性扩展: 在需求量增加时,Serverless GPU 能够自动扩展以满足更高的负载,而不会因为硬件限制导致性能瓶颈。这种弹性扩展使得系统能够更好地应对突发流量和高负载情况。

  • c). 简化管理: 使用 Serverless GPU,开发者无需关心底层硬件和软件的管理维护工作,如服务器配置、操作系统更新等。平台提供商负责管理基础设施,开发者只需专注于模型开发和部署。

  • d). 高可用性: Serverless GPU 架构通常具有高可用性,因为服务商会自动处理故障转移和容错机制。这样可以确保模型服务的持续可用性,提高系统稳定性和可靠性。

  • e). 灵活部署: Serverless GPU 可以根据应用程序的需求部署到不同的地理位置,以降低延迟和提高性能。同时,也可以轻松地跨多个云平台进行部署,提高了系统的灵活性和可移植性。

综上所述,将魔搭模型部署至 函数计算 GPU 上具有降低成本、弹性扩展、简化管理、高可用性和灵活部署等必要性,可以帮助开发者更高效地部署和管理模型服务。

使用流程

ModelScope一键部署模型:新手村实操FAQ篇

注意事项

开发者社区

您如果有关于错误的反馈或者未来的期待,您可以在 Serverless Devs repo Issues 中进行反馈和交流。如果您想要加入我们的讨论组或者了解 FC 组件的最新动态,您可以通过以下渠道进行:

微信公众号:serverless 微信小助手:xiaojiangwh 钉钉交流群:33947367