OpenAI神秘CUDA内核专家Bob身份曝光:Scott Gray一人支撑万亿次GPU运算

🎯 情报来源:量子位

OpenAI内部代号为”Bob”的CUDA内核专家近期引发硅谷关注。这位神秘人物独自开发的注意力内核每天在数十万张GPU上执行万亿次运算,其工作直接影响模型训练效率。据前员工透露,Bob能在几分钟内解决他人耗时一周的难题,公司内部甚至形成”Bob magic”的崇拜文化。

多方证据指向该核心人物为OpenAI资深研究员Scott Gray。他2016年加入团队,参与51篇机器学习论文(总引用超8万次),其2017年发表的《Block-sparse GPU kernels》论文中描述的块稀疏权重优化技术,与”Bob内核”特性高度吻合。该技术相比传统方案可实现数倍加速,成为支撑GPT系列模型训练的关键基础设施。

💡 核心要点

  • 单日处理量:Bob内核在数十万张GPU上执行万亿次运算
  • 技术突破:块稀疏权重优化使特定场景速度提升数倍
  • 人才稀缺:全球能编写高性能训练CUDA内核的专家不足100人
  • 学术贡献:疑似Bob真实身份的Scott Gray论文总引用量达8万+
  • 商业影响:Meta已将其列为最高优先级招聘目标

📌 情报分析

技术价值:极高
基于FP16/FP32计算优化和特定GPU适配的内核设计,直接决定大模型训练效率,技术门槛属行业顶尖

商业价值:极高
据估算,内核故障导致的回滚可能造成数百万美元算力浪费,该岗位人力替代成本超1400万美元/年(参考Meta同类人才薪资)

趋势预测:高
随着模型规模指数增长,优化底层计算内核的需求将持续加剧,顶尖GPU工程师的争夺将白热化(Meta近年已挖走多名OpenAI核心研究员)

原文连接

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索