AI/ML正在爆发，哪些环节和玩家值得关注？

AI/ML正在爆发，哪些环节和玩家值得关注？
"LMFlow：又一个ChatGPT平替开源项目，Large Language Model for All"

随着人工智能的应用日益复杂，企业对更专业的模块化产品的需求越来越强烈。AI/ML行业正呈现出由平台化向模块化转变的趋势。在投资机会上，底层的云、中间层的数据湖与数据仓库以及围绕云数仓创造出来的小工具这些领域的竞争格局已相对明朗。然而，对于投资者来说，现在是时候将目光转向数据行业应用层。

AI/ML领域有三类核心用户：Off-the-shelfers、Bet-the-farmers和Rocket scientists。

Off-the-shelfers是那些将人工智能模型构建和部署工作流程的各个部分抽象化的用户。对于这个用户群体来说，展示有形价值是至关重要的。他们需要现成的产品来解决眼前的业务问题，不一定关心算法的工作原理，只关心算法是否有效。

Bet-the-farmers则是专注于解决"百万美元级别的问题"的用户。他们建立专门的解决方案，以改善低效或无效的流程。由于业务规模庞大，这些解决方案通常能降低成本并提高利润。从人工智能投资的角度来看，bet-the-farmers的机会最大。

Rocket scientists不一定需要商业平台，他们更倾向于定制自己的解决方案或使用开源代码。他们对自己所需工具和问题的解决方法非常了解。

为了简化人工智能项目的周期，自动化机器学习（AutoML）解决方案应运而生。AutoML通过处理核心工作流程组件，如数据准备、模型选择和训练以及模型部署，实现了端到端的自动化。这些解决方案提供了拖放功能和易于理解的可视化功能，使用户能够更轻松地完成工作。

在数据行业应用层，LMFlow是一个备受关注的项目。LMFlow的目标是帮助每个人在短时间内使用少量的数据和计算资源得到一个高性能的专有领域的语言模型。与其他开源项目相比，LMFlow不需要从头预训练，只需要以finetune作为切入点即可。它支持huggingface几乎所有decoder模型的微调和使用，如GPT-2、Galactica等。LMFlow库利用现有的开源大模型，支持这套流程的所有环节和灵活组合。这使得LMFlow成为训练链的桥梁。

在AI/ML领域的数据处理中，数据预处理和特征库起着重要作用。数据预处理包括数据标注、数据准备和数据质量方面的工作。特征库则是将原始数据转化为结构化数据以训练ML模型的过程。模型的选择、训练和评估也是非常重要的环节。为了处理大量数据，分布式计算引擎在计算编排方面发挥着关键作用。

对于构建模型的过程来说，它是一门经验科学，需要多次迭代和调整。终端用户需要一个记录所有变化的系统，以便在业务中实现无缝协作和对AI/ML计划的调整。这个领域的公司，如Weights & Biases和Comet.ML，提供了这样的解决方案。

除了LMFlow之外，还有其他一些平台型解决方案。这些公司提供数据库、数据湖和查询引擎等服务，如Snowflake、Databricks、AWS S3和Dremio。它们为AI/ML项目提供了全面的支持。

在AI/ML行业中，投资的机会已在底层的云、中间层的数据湖与数据仓库以及围绕云数仓创造出来的小工具方面占据主导地位。然而，随着人工智能的发展，数据行业应用层的投资机会逐渐显现。对于投资者来说，bet-the-farmers领域的机会最大。此外，自动化机器学习解决方案和LMFlow等新兴项目也是值得关注的。

在结论之前，这里提供三个实用的建议：

1. 关注数据行业应用层的投资机会，特别是针对"百万美元级别的问题"的解决方案。
2. 考虑投资自动化机器学习解决方案，以简化人工智能项目的开发周期。
3. 关注新兴项目如LMFlow，它提供了高性能的专有领域语言模型的快速搭建方式。

AI/ML行业正处于爆发期，投资者应关注数据行业应用层的机会。从Off-the-shelfers到Rocket scientists，不同类型的用户有不同的需求。自动化机器学习解决方案和新兴项目如LMFlow也是投资的热点。通过关注这些领域的发展，投资者可以在AI/ML行业中获得成功。