这两天跟团队探讨了下类似于llama3.1发布这样的大事件给我们带来的启发和产品层面的规划，开源大模型的可玩纵深更强，开发者属性更明显，尤其是在微调和推理上有更大的自主权，我们应该在以高性能和稳定性服务好现有训练客户的同时，增加对这部分客户的产品规划和布局，目前来看大概有几个方向：

1. 提供一站式的主流大模型部署环境。在HAI上实现一个类似于App Store的看板，可以一键创建LLAMA3.1等大模型环境，并且在做好产品基础能力之后做到数小时内发布最新的大模型。
2. 上线推理集群服务。以LLAMA3.1 405B模型为例，单机8卡已经无法承载了，产品上可以做一个简单的推理集群，减少推理用户维护的困难。
3. 与更多产品的协作。在训练阶段，更多是CFS、COS的算力协作，而在推理和基于开源大模型的开发层面，这里的想象空间更大，也更体现产品体验的打磨。比如在数据治理层面，大数据处理套件、数据开发治理平台可以与HCC结合起来；在开发者工具层面，HAI的一站式环境与Cloud Studio结合，用户可以直接在页面上提交代码玩转大模型。