Google Brainの8人は、ほぼ無謀とも言えるアイデアを試すことにした:循環構造を丸ごと捨て、「アテンション機構」だけを残し、モデルが文全体を一度に見て、どの単語に重点を置くべきかを自分で判断させる。論文タイトルの「Attention Is All You Need」は、ビートルズの「All You Need Is Love」を引用しており、その後多くの論文タイトルの模倣形式となった。
論文の著者貢献説明には、各人が具体的に何をしたかが簡潔に記録されている:
· Jakob Uszkoreit は最初に自己アテンションで循環構造を置き換えることを提案し、このアイデアの初期検証を主導した。
Shazeerは1976年フィラデルフィア生まれの正統派ユダヤ教徒。父Dov Shazeerは数学教師出身のエンジニアで、姉妹はヘブライ大学からラビの資格を授与されている。彼は少年期から卓越した才能を示し、1994年に米国チームの一員として国際数学オリンピックに出場し満点金メダルを獲得、その後デューク大学で数学とコンピュータサイエンスを学び、Angier B. Duke記念奨学金を受け、Putnam数学コンテストでも入賞した。
2017年にTransformer論文を共著した後、同僚のDaniel De Freitasと共にチャットボットMeenaを作成したが、Googleは慎重な姿勢から公開しなかった。二人は2021年に退職し、Character.AIを設立。a16zなどの機関から1億5000万ドル以上を調達し、人気のロールプレイングチャットアプリとなった。
Parmarはインドのプネー生まれ。学部はプネーコンピュータ技術学院(Pune Institute of Computer Technology)で情報技術を専攻。在学中にAndrew NgとPeter Norvigのオンライン公開講座を通じて人工知能と機械学習に興味を持ち、その後渡米して南カリフォルニア大学でコンピュータサイエンスの修士号を取得。教授Morteza Dehghaniの下で機械学習を用いた社会科学問題を研究した。
Jonesは現在東京に在住し、ソーシャルメディアで「東京に住むウェールズ人のAI研究者」と自称している。この会社の研究路線は、明確な反潮流の色を持っている:単に計算能力やパラメータを増やすのではなく、自然進化の論理を参考に、より小さなモデルの群れが魚群のように協調するようにする。同社の代表的な研究成果には、Continuous Thought Machine(連続思考機)や、自律的にエンドツーエンドの研究を実施できる「AI Scientist」プロジェクトがある。
NEARはNightshadeと呼ばれるシャーディング技術を採用し、Auroraを通じてイーサリアム互換のレイヤー2ネットワークを提供。2020年にメインネットが正式に稼働し、現在までにa16z、Coinbase、Tiger Global Management、Hashed、Dragonfly Capitalなどの機関から5億3000万ドル以上を調達している。
Aidan N. Gomezは、世界はTransformerよりも優れたものを必要としていると言う。Llion Jonesは、次のアーキテクチャは「明らかに、疑いようもなく優れている」必要があると言う。Łukasz Kaiserは今なお数学の言葉を使って、9年前に生まれたこのアーキテクチャが、人類をどこまで連れて行けるのかを説明しようとしている。
Transformerの八人、九年后:Googleは一人も留められなかった
6月18日、Transformer論文の共著者の一人であるNoam ShazeerがX上で退職を発表し、OpenAIに加入した。2日後、2024年ノーベル化学賞受賞者でありAlphaFoldチームの責任者であるJohn JumperもGoogle DeepMindを離れ、Anthropicに向かうことを発表した。
2つのニュースが続けて飛び込み、資本市場の反応は大きかった:Googleの親会社Alphabetの株価は一時7%以上暴落し、時価総額は3000億ドル以上蒸発した。複数の分析機関はこの売りを「人材流出」に起因するとしている。D.A. DavidsonのアナリストGil Luriaは、ShazeerがOpenAIに、JumperがAnthropicに向かい、相次いで退職したことで、市場はGoogleがAI人材獲得競争で劣勢に立たされていると懸念し始めたと述べた。
Shazeerの今回の離脱は特に興味深い——これは彼が2度目のGoogle離脱となる。
2021年、彼は自ら主導したチャットボットの公開を会社が躊躇したことに不満を抱き、Character.AIを立ち上げて去った。2024年8月、Googleは約27億ドルでCharacter.AIの技術ライセンスを買い取り、ShazeerをDeepMindに呼び戻し、Geminiプロジェクトのエンジニアリング担当副社長に任命し、Jeff Deanと共同でプロジェクトを率いることになった。しかし2年も経たずに、彼は再び去り、今度は宿敵のOpenAIに向かった。
これで、9年前に発表された論文「Attention Is All You Need」の8人の共著者は全員、Googleを去ったことになる。
ユーザーTyler Maranが1枚の図を作成し、彼らそれぞれの現在の行き先を描いた。この図はソーシャルネットワークで熱狂的に拡散された。
しかし、この図はすぐに時代遅れになるかもしれない。ここ2日間のうちに、NVIDIAが密かにEssential AIのコアチームを引き抜いているとの噂が市場に流れている。その中にはTransformer論文の著者の一人であり、Essential AIの共同創業者兼CEOであるAshish Vaswaniも含まれている。本稿執筆時点で、NVIDIAとEssential AIのいずれもこの件について正式な回答をしていない。
この機会を借りて、私たちは「Transformerの父」と呼ばれる8人の9年間の経歴と、彼らの本当の現在地を完全に整理してみよう。
注意すべき点として、「Attention Is All You Need」論文の著者順はランダムである。論文の脚注に明確に書かれている:すべての著者の貢献は均等であり、順序はランダムであるため、いわゆる「筆頭著者」や「責任著者」は存在しない。本稿では論文の元の署名順に従って、この8人を順に紹介する。
「万物の起源」:8人の本業を離れたGoogle社員
彼らの現在地を理解するには、まず2017年に戻る必要がある。当時、機械翻訳の分野ではリカレントニューラルネットワーク(RNN)が主流であり、モデルは単語を一つずつ順番に処理しなければならず、まるで一方通行の道路を渡るように並ばなければならず、並列計算ができず、トレーニングは遅くて高価だった。
Google Brainの8人は、ほぼ無謀とも言えるアイデアを試すことにした:循環構造を丸ごと捨て、「アテンション機構」だけを残し、モデルが文全体を一度に見て、どの単語に重点を置くべきかを自分で判断させる。論文タイトルの「Attention Is All You Need」は、ビートルズの「All You Need Is Love」を引用しており、その後多くの論文タイトルの模倣形式となった。
論文の著者貢献説明には、各人が具体的に何をしたかが簡潔に記録されている:
· Jakob Uszkoreit は最初に自己アテンションで循環構造を置き換えることを提案し、このアイデアの初期検証を主導した。
· Ashish Vaswani と Illia Polosukhin は一緒に最初のTransformerモデルを設計・実装し、プロジェクトのほぼすべての側面に関与した。
· Noam Shazeer はスケーリングドット積アテンション、マルチヘッドアテンション機構、およびパラメータ不要の位置表現方法を提案し、ほぼすべてのことに自ら関与したもう一人の人物である。
· Niki Parmar は最初のコードベースと後のtensor2tensorフレームワークで、数え切れないモデルのバリエーションを設計、実装、デバッグした。
· Llion Jones も同様に多数の新しいモデルバリエーションを試み、最初のコードベース、推論効率の最適化、可視化作業を担当した。
· Łukasz Kaiser と Aidan N. Gomez は、tensor2tensorの各モジュールを構築し、初期のコードベースを置き換え、実験結果と研究効率を大幅に向上させるために、何日も何晩も費やした。
この説明はまた、ある詳細を間接的に明らかにしている:論文の著者順はランダムであるが、Uszkoreit、Vaswani、Polosukhin、Shazeerは明らかにアーキテクチャレベルでより中心的な役割を担っており、Parmar、Jones、Kaiser、Gomezはエンジニアリング実装とシステム構築で大旗を掲げた——これは後に8人がそれぞれ異なる道を選んだときの、性格と専門性の違いの初期の注釈でもある。
「Transformer」という名前自体にも逸話がある。Uszkoreitはこの単語の発音が好きで、チーム内では「Team Transformer」と自称し、初期の設計ドキュメントの表紙にはトランスフォーマーアニメの6人のキャラクターが描かれていた。
論文が発表されてから現在まで、引用数は26万回を超え、21世紀で最も引用された論文の1つとなっている。
Ashish Vaswani
Vaswaniは1986年生まれのインド人で、2002年にインドのビラ工科大学(BIT Mesra)でコンピュータサイエンスの学士号を取得した後、米国に渡り、南カリフォルニア大学でDavid Chiangの下で博士号を取得した。研究テーマは統計的機械翻訳とニューラルネットワーク言語モデリング。博士号取得後、南カリフォルニア大学情報科学研究所で2年間コンピュータ科学者として働き、2016年にGoogle Brainに研究科学者として正式に加入し、2021年まで在籍した。
論文の著者貢献説明によると、VaswaniはIllia Polosukhinと共に最初のTransformerモデルを設計・実装し、「プロジェクトのほぼすべての側面に関与した」中心人物の一人である。
Googleを離れた後、Vaswaniは2021年にNiki Parmar、元OpenAIのエンジニアリング担当副社長David Luanらと共にAdept AIを共同設立し、最高科学者に就任。目標は、任意のソフトウェアで自律的に操作を実行できる「行動モデル」を構築することだった。
Adeptは一時4億ドル以上を調達し、評価額は約10億ドルに達したが、製品はなかなか市場に出ず、チーム内でも意見の相違が生じた。VaswaniとParmarは早い段階で撤退を選択——Adeptでの彼の最高科学者としての任期は2022年11月に終了した。
2023年初頭、VaswaniとParmarは再び手を組み、Essential AIを共同設立し、彼がCEOに就任。会社はGoogle、NVIDIA、AMDからの戦略的投資を受けた:シードラウンド830万ドルはThrive Capitalが主導し、2023年末の5650万ドルのシリーズAはMarch Capitalが主導し、Google、NVIDIA、AMD、KB Investment、Franklin Templetonなどの機関が参加した。
2026年初頭、同社は1億7500万ドルのシリーズBラウンドを完了し、Lightspeed Venture Partnersが主導、Thrive Capitalが参加、評価額は10億ドルに達し、正式にユニコーンとなった。
2025年末、同社は最初のオープンソースモデルシリーズRnj-1(インドの数学者ラマヌジャン Ramanujan にちなんで命名)をリリースした。
しかし、ここ2日間で風向きが変わった。報道によると、NVIDIAはEssential AIのコアチームを採用しており、Vaswani自身もその中に含まれ、将来はNVIDIAのオープンソースモデルNemotronの開発に参加する予定である。
情報筋によると、理由は非常に現実的:Essential AIの資金調達は困難に直面しており、VaswaniとチームをNVIDIAの競合であるAMDの陣営から引き抜くこと(AMDは常にEssential AIの初期の戦略的投資家の一つであり、同社はAMDのGPUに長年依存してきた)自体が、お得な取引である。
すでに数人のEssential AIの研究者(Alok Tripathy、Saurabh Srivastavaを含む)がLinkedInのプロフィールを更新し、NVIDIAに加わったことを示している。しかし現時点では、NVIDIAもEssential AIもこの情報を正式に確認していない。
Noam Shazeer
Shazeerは1976年フィラデルフィア生まれの正統派ユダヤ教徒。父Dov Shazeerは数学教師出身のエンジニアで、姉妹はヘブライ大学からラビの資格を授与されている。彼は少年期から卓越した才能を示し、1994年に米国チームの一員として国際数学オリンピックに出場し満点金メダルを獲得、その後デューク大学で数学とコンピュータサイエンスを学び、Angier B. Duke記念奨学金を受け、Putnam数学コンテストでも入賞した。
2000年、ShazeerはGoogleに入社。初期の代表作はGoogle検索のスペル修正機能を修理したことである。
Transformer論文の著者貢献説明によると、彼はスケーリングドット積アテンション、マルチヘッドアテンション機構、およびパラメータ不要の位置表現方法を提案し、VaswaniとPolosukhin以外で「ほぼすべての詳細に関わった」人物である。
2017年にTransformer論文を共著した後、同僚のDaniel De Freitasと共にチャットボットMeenaを作成したが、Googleは慎重な姿勢から公開しなかった。二人は2021年に退職し、Character.AIを設立。a16zなどの機関から1億5000万ドル以上を調達し、人気のロールプレイングチャットアプリとなった。
2024年8月、物語に転機が訪れる:GoogleはCharacter.AIとライセンス契約を結び、金額は約27億ドルと報じられ、ShazeerとDe Freitasは少数の同僚と共にGoogle DeepMindに戻り、彼はエンジニアリング担当副社長に任命され、Jeff Dean、Oriol Vinyalsと共にGeminiプロジェクトを主導した。
彼自身がCharacter.AIの約3〜4割の株式を保有していたため、この取引により彼の個人キャッシュアウト額は7億5000万ドルから10億ドルと推定されている。2026年、彼は米国国家工学アカデミー会員に選出され、経歴は絶好調に見えた。
しかし、わずか数ヶ月後、彼は再び去ることを選び、今度はOpenAIに向かい、報道によると「アーキテクチャ研究」と呼ばれる方向性を担当することになる。これはOpenAIがIPOに向けて人材を集めている時期と重なる(同社は6月8日に米国証券取引委員会に秘密裏にS-1書類を提出し、評価額は8520億ドルとも噂されている)。
OpenAIのCEO Sam Altmanは異例の公のコメントを発表した:「OpenAIが設立された初日から、彼は私が最も協力したいと思っていた人物の一人だ」と述べ、今回の採用は「10年かけて準備してきた」と付け加えた。
Googleにとって、これは高くついた「買い戻し失敗」である:2年前に27億ドルで呼び戻した人物が、今や最大の競合相手に走った。これが今週のGoogle株価急落の直接的な原因の一つとなった。
Niki Parmar
Parmarはインドのプネー生まれ。学部はプネーコンピュータ技術学院(Pune Institute of Computer Technology)で情報技術を専攻。在学中にAndrew NgとPeter Norvigのオンライン公開講座を通じて人工知能と機械学習に興味を持ち、その後渡米して南カリフォルニア大学でコンピュータサイエンスの修士号を取得。教授Morteza Dehghaniの下で機械学習を用いた社会科学問題を研究した。
2015年、ParmarはGoogle Researchにソフトウェアエンジニアとして入社。2017年にGoogle Brainに研究ソフトウェアエンジニアとして異動——当時、Google Brainチームで最年少かつ唯一の博士号を持たない研究者だったと報じられている。
論文の著者貢献説明によると、彼女は最初のコードベースと後のtensor2tensorフレームワークで、数え切れないモデルのバリエーションを設計、実装、デバッグした。論文発表後、彼女はTransformerを言語以外の分野に拡張し、自己アテンション機構を画像生成やコンピュータビジョンに応用する研究に参加した。
2021年、ParmarはGoogleを離れ、Ashish Vaswani、David Luanらと共にAdept AIを共同設立し、最高技術責任者に就任。彼女はVaswaniと同様に早い段階でAdeptから撤退し、2023年初頭にVaswaniと共にEssential AIを再び設立し、共同創業者として活動を続けた。
しかし、彼女はEssential AIの後のシリーズBラウンドやユニコーンとしての地位を待たなかった。2024年末、ParmarはひっそりとEssential AIを離れ、Anthropicに加わり、2025年2月にこの情報を公表した。彼女はXにこう書いた:「今日もいつも通り共有するのに適した日です:昨年12月にAnthropicに加わりました。」
その後、彼女はClaude 3.7 Sonnetの開発に参加——それはAnthropicの歴史上最も重要なモデルリリースの一つだった。現在、彼女はAnthropicの技術チームメンバー(Member of Technical Staff)であり、最先端能力の研究と強化学習に重点を置いている。
かつては行動を共にした共著者であり、2度も共に起業したパートナーだった二人は、最終的に全く異なる結末を迎えた:Parmarは1年以上前に静かに身を引き、一流の研究所に溶け込んだ。一方、VaswaniはEssential AIを前進させ続けることを選び、今週ようやく競合他社の手に受け止められた。
Jakob Uszkoreit
Uszkoreitは言語学の家系に生まれた。父Hans Uszkoreitは著名な計算言語学者である。息子が「アテンション機構だけで十分だ」という仮説を提案したとき、父親自身も懐疑的だった。Uszkoreitはベルリン工科大学で博士号を取得し、後にGoogle Brainで「Distinguished Scientist」の地位にまで上り詰めた。
論文の著者貢献説明によると、Uszkoreitが最初に自己アテンション機構でリカレントニューラルネットワークを置き換えることを提案し、このアイデアの初期検証を主導した——この仮説の種は、実は2016年にAnkur Parikh、Oscar Täckström、Dipanjan Dasと共著した「分解可能アテンションモデル」の論文ですでに埋め込まれていた。
「Transformer」という名前も、彼がこの単語の発音を好んだために決まった。チーム内では「Team Transformer」と自称し、初期の設計ドキュメントの表紙にはトランスフォーマーアニメの6人のキャラクターが描かれていた。
2020年末、DeepMindのAlphaFold2は、Transformer型のモデルがタンパク質フォールディングのような「生物学の聖杯」レベルの問題を解決できることを証明した。彼はまた、深層学習がまだ生物学を真に変えられていない理由は、アルゴリズムではなくデータの不足であることをますます認識するようになった。「これはほぼ道徳的義務になった」と後に回想している。
そこで彼は2021年、スタンフォード大学の生化学教授であり、有名なRNA設計ゲームEternaの開発者であるRhiju Dasと共にInceptiveを設立。本社はバークレーに置き、研究チームはベルリンに残した——彼自身はベルリンに住み、社員はチューリッヒ、ロンドン、バンクーバー、米国東海岸の複数の都市に分散している。
会社の核心的な考え方は、実験を逆に行うこと:データがあってからモデルを訓練するのではなく、ロボットと人間を使って大規模に新しいRNA実験データを生成し、それをモデルに学習させる。
InceptiveはNVIDIA、a16z、Obvious Ventures、Section 32などの機関から約1億2000万ドルを調達している。最新の進展は今月:6月初旬、RNA干渉療法の先駆者であるAlnylam PharmaceuticalsがInceptiveと戦略的提携を結び、Inceptiveの基盤モデルを活用してsiRNA候補薬の設計を加速する。初回支払いは3000万ドルで、契約全体の潜在的な総額は約20億ドルに達すると報じられている。
Uszkoreitは声明で次のように述べている:「ほとんどの薬剤設計は依然として試行錯誤に依存している——何千もの分子をテストし、そのうちの一つが成功することを期待する。Inceptiveの出発点は異なる:生命は極めて複雑な法則に従っており、AIだけがそれを学ぶことができる。」
8人の著者のうち、彼は唯一完全にバイオテクノロジーに転向した人物であり、これはまさに当時論文が残した予言を裏付けている:アテンション機構の可能性は、機械翻訳をはるかに超えている。
Llion Jones
Jonesはウェールズ出身で、バーミンガム大学を卒業。2011年にGoogleにソフトウェアエンジニアとして入社し、10年以上勤務。8人の著者の中で、博士号を持たず、エンジニアリングの直感だけで道を切り開いた数少ない人物である。
論文の著者貢献説明によると、彼は多数の新しいモデルのバリエーションを試み、最初のコードベース、推論効率の最適化、可視化作業を担当した。
彼は後に決定的な瞬間を回想している:「私たちは当時、モデルの一部を直接削除し始めたばかりで、効果がどれだけ悪化するかを見るためだった。驚くべきことに、むしろ良くなったのだ。」これこそが、「循環構造は実際には冗長である」という仮説が初めて検証された瞬間である。
2023年、Jonesは同じくGoogle出身のDavid Haと共に東京でSakana AIを設立。「Sakana」は日本語で「魚」を意味する。HaがCEO、JonesがCTO、もう一人の共同創業者Ren ItoがCOOに就任。
Jonesは現在東京に在住し、ソーシャルメディアで「東京に住むウェールズ人のAI研究者」と自称している。この会社の研究路線は、明確な反潮流の色を持っている:単に計算能力やパラメータを増やすのではなく、自然進化の論理を参考に、より小さなモデルの群れが魚群のように協調するようにする。同社の代表的な研究成果には、Continuous Thought Machine(連続思考機)や、自律的にエンドツーエンドの研究を実施できる「AI Scientist」プロジェクトがある。
最近では、同社は最先端の性能を持つSakana Fuguモデルを発表した。
Sakana AIの累計調達額は3億7900万ドルに達し、2026年3月に完了したシリーズBラウンドを含み、三菱電機もその投資家の一つである。2026年3月、同社は三菱UFJフィナンシャル・グループ(MUFG)との複数年にわたる契約も獲得した。MUFGはSakanaの技術を銀行業務システムの変革に利用する計画で、この契約により評価額約15億ドルの同社が1年以内に収益化できると報じられている。
Jones自身は、単なる「スケーリング」に対する懐疑を複数の場で表明している。
2026年3月、銀行業界の内部イベントで、彼は現在のAI研究が直面する厄介な現実について語った:投資と人材が大量に流入し、理論的にはより多くのブレークスルーを生むはずだが、実際の効果はむしろ逆である可能性がある。投資家は成果を急ぎ、競争は先陣を争うことを促し、研究者に「自由に探求する」余地をむしろ狭めている。
彼は、Sakanaは内部に「KPIなし」の研究自由度を常に一部保持していると述べた。なぜなら、次のブレークスルーは間違いなく、このような結果を気にしない長期的な投資から生まれるからだ——これはまさに、あのGoogle BrainのオフィスでTransformerが生まれた方法である。
彼はまた、よく引用される言葉を残している:新しいアーキテクチャが真にTransformerを置き換えるには、「単に良い」だけでは不十分であり、「明らかに、疑いようもなく優れている」必要がある。
Aidan N. Gomez
Gomezは8人の著者の中で最年少である。論文が発表された年、彼はわずか20歳の学部インターンで、トロント大学でコンピュータサイエンスと数学の二重学位を取得中だった。
論文の著者貢献説明によると、彼はŁukasz Kaiserと共にtensor2tensorフレームワークの各モジュールを構築し、初期のコードベースを置き換え、実験結果と研究効率を大幅に向上させるために、何日も何晩も費やした。「私はただ、アテンション機構がどのように機能するかを理解したいだけだった」と後に回想している。「それが『万物のアーキテクチャ』になるとは全く思っていなかった。」論文の後、彼はオックスフォード大学で博士課程に進学したが、途中で休学して起業し、2024年に正式に博士号を取得した——つまり、彼は起業しながら学位を取得し直したと言える。
2019年、GomezはIvan Zhang、Nick Frosstと共にCohereを設立し、企業向けAIサービスプロバイダーとしての道を選び、消費者向けチャットボットの資金消耗競争を意図的に避け、データプライバシー、ローカルデプロイ、多言語能力に重点を置き、顧客は主に大企業と各国政府である。
2023年、Gomezは『タイム』誌が選ぶAI分野の影響力のある100人に選出され、彼と2人の共同創業者は『マクリーンズ』誌が選ぶその年のAIトレンドパイオニアリストのトップにも選ばれた。2025年4月、彼は電気自動車会社Rivianの取締役会に選出された。
この比較的「地味な」アプローチが、かえって会社の財務データを良くしている:2026年半ば現在、Cohereの年間経常収益は2億ドルを超え、過去1年で6倍に成長し、粗利益率は約70%、累計調達額は約17億ドル、評価額は約70億ドル。同社は2025年8月に元Uber上場に関与したFrancois Chadwickを初のCFOに迎え、従業員のセカンダリーマーケットでの株式売却もすでに1回行われており、Gomez自身はIPOが「近い」と繰り返し述べているが、現時点で同社はまだ規制当局に目論見書を提出していない。
Gomezはここ数年、地政学的観点から見たAIのスポークスマンのようになってきている。今週、彼は『フォーチュン』誌に寄稿し、各国が「デジタル主権」の問題を直視するよう呼びかけている。
記事は直接、Anthropicモデルへのアクセス権限が最近引き締められた事件に言及し、各国が自国の未来を少数の中央集権的なテクノロジー大手に「レンタル」してはならないと警告し、各国が異なるAIサプライヤーに依存しつつ、自国の価値観、言語、法体系を保持できる真に多様なエコシステムを構築することを提案している。
彼はまた、外部の「AI終末」的な存在リスクの懸念は誇張されていると公に述べており、彼がより懸念する現実的なリスクは、ソーシャルメディア上で自動化された偽情報の拡散である。Gomezが今語っているのは、もはやモデル自体だけではなく、誰が世界がどのようなAIを使うかを決定する資格があるかということである。
Łukasz Kaiser
Kaiserはポーランド人で、最初の学術的訓練は論理学、オートマトン理論、アルゴリズムモデル理論、ゲーム理論などの理論的コンピュータサイエンスの方向であった:ヴロツワフ大学で数学とコンピュータサイエンスの二重修士号を取得し、ドイツのアーヘン工科大学で博士号を完了、その後フランス国立科学研究センター(CNRS)とパリ第7大学で終身在職権を持ち、論理学とオートマトン理論の純粋理論研究に専念した。
後に彼は応用に転向し、Google Brainで約8年間働き、その間TensorFlowの共著者の一人でもあり、Samy Bengioと共に「アクティブメモリはアテンションを置き換えられるか」という初期の論文を発表し、Ilya Sutskeverと共に「ニューラルGPU学習アルゴリズム」を発表した。
論文の著者貢献説明によると、彼はAidan N. Gomezと共にtensor2tensorフレームワークを構築し、実験結果と研究効率を大幅に向上させた。
8人の著者のうち、彼だけが起業せず、常に大規模な研究所で純粋な研究に従事している。
2021年、彼はOpenAIに加わり、その時点ではまだChatGPTは存在していなかった。OpenAIでは、Codexの開発(後にGitHub Copilotの技術基盤となる)および関連するHumanEvalプログラミングベンチマーク、またGSM8K数学問題データセットの研究に参加した。この研究は、モデルに推論時に少し多く計算させ、何度かサンプリングさせることで、精度を大幅に向上できることを早期に示した——これは後の推論モデルのパラダイムの原型である。
彼はまたGPT-4技術報告書の著者として名前が挙げられており、後にOpenAI初の推論モデルo1(2024年9月リリース)の中心的な貢献者となり、「研究責任者」レベルの役割と見なされ、その後o3およびそれ以降の推論パラダイム、今日のGPT-5シリーズに至るまで続いている。
彼は最近、Matt Turckが司会を務めるMAD Podcastで、Transformerは数学的に任意の問題を解決できることが証明されており、モデルが十分な中間推論ステップを生成することを許せば、という話をした。ある意味で、これは9年前の論文に対する、遅ればせながらより正確な注釈である。
Illia Polosukhin
Polosukhinはウクライナのハルキウ出身で、学部は応用数学を専攻し、国際大学対抗プログラミングコンテスト(ICPC)の優勝者でもある。本人の回想によると、10歳の時に『マトリックス』を観てから、人工知能にほぼ執着といえる興味を持つようになった。2014年、Googleに入社し、TensorFlow関連の研究に参加し、機械読解や質問応答システムの研究も行った。
論文の著者貢献説明によると、彼はAshish Vaswaniと共に最初のTransformerモデルを設計・実装し、彼の担当部分は主にこのアーキテクチャが機械翻訳タスクで有効であることを検証することだった。
論文発表後、2017年にGoogleを離れ、Alexander Skidanovと共に最初はNEAR.AIという人工知能会社を設立した。しかしすぐに、分散型インフラストラクチャを構築する方がモデルよりも面白いかもしれないと気づき、2018年頃に会社はブロックチェーンプロジェクトNEAR Protocolに転向した。
NEARはNightshadeと呼ばれるシャーディング技術を採用し、Auroraを通じてイーサリアム互換のレイヤー2ネットワークを提供。2020年にメインネットが正式に稼働し、現在までにa16z、Coinbase、Tiger Global Management、Hashed、Dragonfly Capitalなどの機関から5億3000万ドル以上を調達している。
現在のPolosukhinは、自身の最初の二つのアイデンティティを再び統合しようと試みている:2026年3月、彼はメディアに「ブロックチェーンの将来のユーザーはAIエージェントであり、人間ではない」と語り、NEARをエージェント経済の「決済層」として位置づけた。
同年4月、彼は自律的なAIエージェントに対処するためのより完全な規制枠組みの構築を公に呼びかけた。彼は、既存の機関や制度はこの種のシステムがもたらす責任の所在やシステムリスクの問題に対処する準備ができておらず、より明確な説明責任のメカニズムと「人間がループにいる」タイプの監視を求めた。
彼は現在ポルトガルに在住。「基礎的なLLM論文を書いた」ことと「時価総額数十億ドルのブロックチェーン企業を経営する」ことの両方を同時に持つ人物は、世界中で彼だけだろう。
8つの道、探求は続く
2024年3月、NVIDIA GTCカンファレンスで、8人の著者のうち7人(Niki Parmarは欠席)が初めてグループとしてステージに立ち、Jensen Huangのインタビューを受けた。
Jensen Huangは言った:「私たちが今日享受しているすべては、その瞬間に遡ることができる。」
対話の終わりに、彼は全員に「あなたたちは世界を変えた(You transformed the world)」と刻まれたNVIDIA DGX-1スーパーコンピュータのサイン入り記念メダルを贈った。同年11月、日本のNEC C&C財団は、その年のC&C賞をこの8人からなる「Transformerチーム」に授与した。同じステージで賞を受賞したのは、大陸間海底光ケーブル伝送技術を研究する3人のベテランエンジニアだった。全く異なる分野のインフラストラクチャ構築者が、同じ賞に並べられた。
9年が経過し、これら8つの人生の軌跡は、もはや交わることがないほどに分散している:シリコンバレーの企業向けサービス、東京の進化アルゴリズム研究所、ベルリンの分子生物学企業、ポルトガルのブロックチェーンプロトコル、そして今週も再編成され続けるいくつかのトップAI研究所。
しかし、彼らがこれまでに語った言葉を並べてみると、共通の判断が繰り返し現れる:誰も本当にTransformerが終着点だと信じていない。
Aidan N. Gomezは、世界はTransformerよりも優れたものを必要としていると言う。Llion Jonesは、次のアーキテクチャは「明らかに、疑いようもなく優れている」必要があると言う。Łukasz Kaiserは今なお数学の言葉を使って、9年前に生まれたこのアーキテクチャが、人類をどこまで連れて行けるのかを説明しようとしている。
これこそが、この論文が残した最も永続的な遺産かもしれない:その8人の著者は世界中に散らばったが、誰一人として次の答えを探すことを止めていない。
クリックして律動BlockBeatsの募集中のポジションを知る
律動 BlockBeats 公式コミュニティへようこそ:
Telegram 購読グループ:https://t.me/theblockbeats
Telegram 交流グループ:https://t.me/BlockBeats_App
Twitter 公式アカウント:https://twitter.com/BlockBeatsAsia