You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
whybeyoung
changed the title
question: about dev environment and infer environment
enhancement: about dev environment and infer environment
Jul 1, 2022
当研发一个新能力并对外发布一个新能力的时候,分别对应两阶段环境部署过程。
开发阶段: 往往需要setup一些框架以及框架周边工具,以及开发者自己定义的工具类, 等训练出模型;
推理阶段: 使用模型或者封装了模型的engine进行推理,模型根据不同的框架也存在不同的格式,但是业界也在逐步向onnx模型范式演进。这一阶段的环境依赖往往比较纯粹, 至少比开发阶段要少很多依赖。
问题以及痛点: 算法开发者当前同时也会推理服务开发,对大多数开发者,他们很难意识到2个环境的差异,因此往往在infer阶段共享使用了dev环境的依赖,造成infer阶段依赖特别冗余。再者由于python环境的不一致,pip freeze生成的一些依赖列表,往往无法自动化完成在新环境完成原环境的最小复现。
对此,我们再构建基础镜像时,也考虑了一些方案但是都并不完美,在发现 https://github.com/gaocegege 发起的 envd后,我们似乎发现有了同一目标项目,因此,我们计划后续在envd项目中来完善并解决这个问题
The text was updated successfully, but these errors were encountered: