大模型训练推理整个过程中的数据血缘很重要。能够帮助进行跟踪溯源、排查定位，大幅提升效率。

不同AI基础框架间竞争激烈，企业根据多种因素选择适合的框架，甚至“并行”探索。一些应用上的信号：根据字节同学的反馈，框架选择会综合硬件、工程师习惯等多种因素，字节内部多个团队使用不同Infra方案竞争，目前来看pytorch会相对广泛一些，一方面算法同学更习惯pytorch，另一方面pytorch也同时支持数据预处理（包含data数据处理模块）和训练（包括pretrain和posttrain）。ray的处理由于是无状态的，当前更多被应用于图片视频等处理，这也是数据join等带状态结构化处理未使用它的原因之一。ray自身由于缺乏完善的容错机制，还需要一些额外的工作。字节同时在基于ray进行强化学习的尝试。OpenAI之前用过ray，现在不怎么用了。