rickawsb

私たちは自動化から自己進化への移行を経験しています

AIの現在の発展状況から見ると、社会に対するその深刻な影響は、完全に平等な「ハイエク式ユートピア」になることでも、純粋な全体主義の「デジタル・リヴァイアサン」になることでもなく、「逆ピラミッド型の新封建的階層化」（Neo-Feudal Layering）へと変化する可能性が最も高い。
この構造は、ポパーの進化的試行錯誤、ハイエクの周縁的な自生的秩序、そしてピーター・ティールの独占リアリズムが、異なる物理的レイヤーにおいて強制的に組み合わされたものである。
最も起こりやすい発展の構図は、明確に3つの階層に分けることができる（図のとおり）。
最上層：計算能力とエネルギーの「新封建的独占」。なぜなら、フロンティアモデル（Frontier Models）の訓練コストは「オープンソースの普及」によって低下することはなく、むしろ物理的限界（ギガワット級の原子力供給、カスタム光インターコネクト、数十万枚の高性能計算クラスター）に近づくことで、国家の意思とごく少数の兆規模の巨大寡頭だけが負担できる「マンハッタン計画」になるからである。
デジタル・レントと主権の同盟：最上層の寡頭は、もはや個々の末端アプリケーションを直接支配する必要はなく、「基盤的知能インフラ（Intelligence Utility）」を提供するデジタル領主となる。ピーター・ティールが予言したように、この階層は盲目的な競争を完全に

私は、現在、楊力坤や李飛飛らが唱える大規模世界モデルの技術的アプローチが、LLMに取って代わる、あるいはLLMを引き継いで次の主流トレンドになるとは信じていない
なぜなら、言語とは世界の抽象化であり、したがって言語モデルは世界モデルだからだ
The limits of my language mean the limits of my world（私の言語の限界は、私の世界の限界を意味する）
---『論理哲学論』、ヴィトゲンシュタイン
もちろん、世界モデルは言語モデルを補完するものにはなり得る

AIの能力の境界は絶えず拡大しているが、科学、産業、ビジネス、社会の適応速度は一致していない。異なる境界のずれは、新たな起業機会を継続的に生み出す。
そして、こうしたずれを理解するには、絶えず変化するAIの能力と業界そのものについて、深く研究し理解する必要がある。さらに、重要な局面では、あえて賭けに出る勇気も必要だ。
だからこそ、AI時代の起業家は、ますます科学者に近づく必要があるのかもしれない。一方で、科学者もまた、ますます起業家に近づく必要があるのかもしれない。

コンシューマーエレクトロニクスの爆発的な成長は目前に迫っていますが、市場が考えているような形ではありません。
ここ数日で登場した新しいstrataアーキテクチャによって、12GBのVRAMを搭載したカードと128GBのメモリの組み合わせで、100B、さらにはそれ以上のモデルまで動かせるようになりました。
市場はすぐに行動で意思を示し、DDR3向けに最適化された推論アーキテクチャもすでに登場しています。Appleのスマートフォンを使い、さらにはAppleのコンピューターをメモリ拡張に使う方法もすでにあります。
今では古いグラフィックカードや古いメモリが、5090から3090、そしてV100へと買い進められ、メモリもDDR5からDDR3へと買い漁られています。
近いうちに、AppleのスマートフォンからAndroidスマートフォンへと広がり、コンピューターのメモリ拡張に使われるようになると私は思います。
コンシューマーエレクトロニクスは、必要なものがことごとく不足する状況になりますが、それは皆がもう一度スマートフォンを買い替えたいからではなく、スマートフォンそのものが推論用ストレージの拡張になるからです。

科学とは本質的に「現実の圧縮」であり、優れた理論とは本質的に、より少ない情報でより多くの現実を記述するものです。
ケプラー → ニュートンは最も古典的な実例です：
ケプラーはまず、大量の天文データから惑星運動の法則を導き出しました。ニュートンはさらに一歩進み、これらの法則は実際には運動の法則と万有引力によって統一的に説明できることを示しました。
そしてAIは、科学的発見のプロセス全体を絶えず加速させています

最近、私はいつも背筋が凍るような言葉を思い出す。
天宝初年、大唐の繁栄の中にいた長安の人々は、自分たちの大半がその後の安史の乱で死ぬことになるとは、夢にも思わなかった。

ここ数日、AIの安全性をめぐるさまざまな論争を見ていて
賛成であれ反対であれ
私はただこう言いたい
雪崩が起きたとき、無辜の雪片は一つもない

ローカルで動作するオープンソースモデルは、2か月で現在の openai astra のレベルに到達できるのでしょうか？
『The Information』は関係者の話として、Astra は限定的な循環深度（recurrent depth / looped transformer）を採用していると報じています。つまり、次の token を生成する前に、同じ層のセットが内部状態に対して何度か追加で処理を行うということです。報道では、これは性能を向上させると同時に、可視化される思考連鎖を減らす技術だと説明されています。
もしこれが本当なら、オープンソースモデルにとっては非常に大きな朗報です。なぜなら、大規模モデルと比べて、循環深度による小規模モデルの性能向上のほうが大きいからです。
循環深度によって、本来ならより大きなパラメータ数で獲得する必要があった能力の一部を、推論時により多くの計算を行うことで補えるようになります。代償は、より高い inference compute です。
さらに重要なのは、循環深度と MoE アーキテクチャには明確な構造的相乗効果があり、dense Transformer よりも本質的に MoE アーキテクチャに適していることです。MoE では循環処理の各ラウンドで異なる専門家を呼び出せるため、同じ共有層であっても、異なる循環の中で異なる計算を実行できます。
以

astraはどれほど強力なのか？
私には半自動カスタマーサポートの複雑なワークフローがあり、gpt 5.6 sol highで実行すると、プロジェクトごとに少なくとも30分の人手が必要でした。
astraはこの時間を5分に短縮しました。
同時にタスクの成功率も大幅に向上しました（まだ統計を取る時間はありませんが、目測では少なくとも2倍です）。
しかし、どうしても言わざるを得ないのは、トークンの消費が本当に速いということです。

著名ロボット企業Wandercraftは9月4日、同社のCalvin‑40産業用ヒューマノイドロボットが、自動車、物流、小売、医療、国防の分野にまたがる12社の大手企業を顧客として獲得したと発表した。
興味深いことに、同社は当初からロボットに人間のあらゆる作業をさせようとはせず、まずは以下に集中している。
タイヤ、箱、パネル、カート、荷物などのマテリアルハンドリング。
その後、ピッキング、ソーティングなど、より精密な作業へと段階的に拡大していく。
Wandercraftの方針は、最近のHyundai、Geek+、農業ロボットなどが示す方向性と、ますます一致している。
まず狭いが価値の高いワークフローを解決 → 導入 → データ収集 → 能力拡張。
さまざまな環境やタスクでデータを蓄積することでモデルの能力を高め、複数の専門的な導入を通じてロボットの汎用性を高める。
実際、人型ロボットの導入に限らず、ロボットの形態も同じで、まずは特化し、その後に汎用化すべきだ。
大半のユーザーは、ロボットが人型かどうかなど気にせず、仕事を最後までやり遂げられるかどうかだけを気にしている。

今日最も驚いた発見は、非農業部門雇用者数が予想を上回り、オンチェーンのミームまで下落したことです😂

バフェットが資本市場を「カジノ併設の教会」にたとえる中、
暗号資産業界にとって、今回はカジノから教会へと格上げされる大きなチャンスだ

PANWのCEOがNeo Cloudについて、コンピューティング能力の供給が過剰になる可能性があると弱気な見方をしていることが、
私をさらにPANWに弱気にさせた。