私たちの社会に革命をもたらす大規模言語モデル（LLM）へと進化することになった初期のニューラルネットワークは、もともと、脳がどのように情報を処理するかを研究する目的で開発されました。皮肉なことに、これらのモデルが洗練されるにつれ、内部の情報処理経路は不透明になっており、現在では何兆もの調整可能なパラメータを持つモデルも登場しています。 しかし、このほど、沖縄科学技術大学院大学（OIST）認知脳ロボティクス研究ユニットの研究チームが、ニューラルネットワークのさまざまな内部状態にアクセスできる新しいアーキテクチャを備えた身体性知能モデルを開発しました。このモデルは、子どもが一般化する方法を学ぶのと同じ方法で学習しているように見えます。

Tina Lüdeckeらの新しい研究によると、南アフリカのスタルクフォンテイン化石遺跡で発掘された7つのアウストラロピテクスの標本は草食性のヒト族で、肉は大量には食べていなかったという。Lüdeckeらは、化石標本の歯のエナメル質から抽出した有機窒素と炭酸塩炭素の同位体を分析し、そのヒト族が何を食べていたかを突き止めた。初期のヒト族は動物性食料を摂取することで、脳が大きくなり、腸が短くなり、背が高くなったという説があり、これらは全てヒトの進化における重要な事象である。同時期（約370万年前）の切断されて解体された骨や一部の石器がアウストラロピテクスが肉をいくらか食べていたことを示唆してはいるが、肉食だったという直接的なエビデンスはない。Lüdeckeらは、アウストラロピテクスを含む43の動物化石と現代のアフリカの哺乳類のエナメル質の窒素同位体測定値を分析し、既知の肉食動物と草食動物におけるこれらの同位体の特徴を明らかにした。その結果、肉食動物群と草食動物群ではエナメル質の同位体は明らかに違い、アウストラロピテクスのエナメル質は草食動物群のそれとかなり似ていたことが判明した。アウストラロピテクスはマメ科植物若しくはおそらくシロアリといった高カロリーで窒素同位体比の低い物を食べていた可能性があると、Lüdeckeらは述べている。しかし、ヒトの進化の顕著な特徴である脳の大きさなどの特徴を変えるほど大量の肉を食べていた可能性は低いと結論付けている。

Thomas Hayesらは、ESM3と呼ばれるマルチモーダル生成言語モデルに基づいて、これまで知られていなかった明るい蛍光タンパク質を生成・合成した。既知の蛍光タンパク質とは遺伝子配列が大きく異なるため、研究者らは、その生成はESM3が5億年の生物学的進化をシミュレートしたようなものだと述べている。このモデルは、自然に進化したタンパク質がどのように働くのかをよりよく理解するため、並びに医療、環境修復、およびその他の多くの用途に使用される新規タンパク質を開発するために、タンパク質の可能性の空間を「探索」する新しい方法を提供すると考えられる。ESM3は、タンパク質の配列、構造および機能を、生成言語モデルで組み合わせることができる個別のトークンのアルファベットで表すことによって説明できる。この戦略は、タンパク質配列のみを尺度とした言語モデルのこれまでの使用法とは異なる。ESM3のトレーニングデータは、31億5千万個のタンパク質配列、2億3600万個のタンパク質構造、および機能アノテーション付きの5億3900万個のタンパク質から作成された7710億個の固有のトークンで構成される。ESM3は最大980億個のパラメータをトレーニングすることができる。ESM3は現在、APIを介して公開ベータ版が提供されており、科学者がタンパク質をプログラム的に設計したり、インタラクティブなブラウザベースのアプリを通じて設計したりできる。研究者は、無料の学術アクセス層を介してこのEvolutionaryScale Forge APIを使用することも、オープンモデルのコードと重みを使用することもできる。