我们今天在金字塔中建立团队。一个领导者，几个经理，许多个人贡献者。 在人工智能的世界中，什么样的团队配置最有意义？以下是一些替代方案： 首先，短金字塔。经理变成代理经理。过去个人贡献者所做的工作变成了代理的工作量。每个人的工作抽象层次都上升了一层。 这种配置将员工人数减少了85%（1:7:49 -> 1:7）。经理与个人贡献者的比例从1:7变为1:1。经理与代理的比例保持在1:7。 其次，火箭船🚀！ 一个总监，七个经理，21名员工。组织中的每个人都在管理代理，但这些代理反映了他们的资历。总监管理一名人工智能首席助理，经理是玩家教练，既执行目标又培训/指导其他人如何成功操作人工智能，从而将控制范围缩小了一半。 这种配置将员工人数减少（1:7:49 -> 1:7:14）53%。 未来不是一刀切的。 这里有个转折：并不是每个部门都会采用相同的组织结构。人工智能的影响因职能而异，创造了一个公司形态比以往任何时候都更加细致的世界。 销售团队可能会维持传统的金字塔或火箭船。关系驱动收入，而人类的同理心、创造力和谈判技巧仍然是不可替代的。当信任和融洽关系至关重要时，经典的控制范围模型仍然适用。 研发团队为短金字塔转型提供了最大的机会。代码生成是人工智能的第一个真正的产品市场契合，为领先公司生成50-80%的代码。 客户成功和支持可能会演变为混合模型：人工智能处理常规查询，而人类管理复杂的升级和战略账户。传统的中层管理层转变为全新的东西。 这种演变挑战了我们对有效扩展团队的所有认知。当经理同时监督人类报告和人工智能代理时，6-7个直接报告的旧智慧崩溃了。 历史上合理化管理层级的招聘负担也发生了变化。经理们越来越多地专注于配置人工智能能力和优化人类与人工智能的协作，而不是寻找和培养人类人才。 如果公司改变了其组织结构图，你为你的团队设想的组织结构图是什么样的？

每天一万亿个令牌。这算多吗？ “当我们狭义地看待由Foundry API提供的令牌数量时，我们在本季度处理了超过100万亿个令牌，同比增长5倍，仅上个月就创下了50万亿个令牌的记录。” 在四月，微软分享了一项统计数据，透露他们的Foundry产品每月处理约1.7万亿个令牌。 昨天，Vipul分享了每天处理2万亿个开源推理的消息。 在七月，谷歌宣布了一个惊人的数字： “在五月的I/O大会上，我们宣布在我们的平台上处理了每月480万亿个令牌。自那时以来，我们将这个数字翻了一番，现在每月处理超过980万亿个令牌，增长显著。” 谷歌每天处理32.7万亿个令牌，比Together多16倍，比微软Foundry四月的处理量多574倍。 从这些数字中，我们可以得出几个假设： 1. 开源推理是推理的个位数比例。目前尚不清楚谷歌的推理令牌中有多少来自他们的开源模型，如Gemma。但如果我们假设Anthropic和OpenAI每天处理5万亿到10万亿个令牌，并且都是闭源的，加上Azure的规模大致相似，那么开源推理可能占总推理的1-3%。 2. 代理仍处于早期阶段。微软的数据点表明，GitHub、Visual Studio、Copilot Studio和Microsoft Fabric中的代理对Azure整体AI推理的贡献不到1%。 3. 预计微软今年将在AI数据中心基础设施上投资800亿美元，而谷歌则为850亿美元，因此每家公司在硬件上线和算法改进方面的AI推理工作负载都应显著增加。 “仅通过软件优化，我们在同样的GPU上交付的令牌比一年前多了90%。” 微软正在从他们的GPU中榨取更多的数字柠檬水，谷歌也必须在做类似的事情。 我们何时能看到每天处理的首个10万亿或50万亿个AI令牌？现在应该不远了。 - 空中估算！ - 谷歌和Azure每天各处理33万亿个令牌，Together和其他5个新云每天各处理约2万亿个令牌，Anthropic和OpenAI每天处理5万亿个令牌，总共给我们88万亿个令牌。如果我们假设谷歌的令牌中有5%来自开源模型，那就是每天1.65万亿个令牌，约占总推理的1.9%。再次强调，这只是非常粗略的计算。