大規模言語モデル（Large Language Models）とは、OpenAIのChatGPTやGoogle Gemini、AnthropicのClaudeといったTransformerベースの言語処理システムを指す*1。これを哲学するのが、大規模言語モデルの哲学である。Philpaperには「Large Language Models」というカテゴリがあり、多くの原稿が上がっている。
この記事では、大規模言語モデルを哲学するにあたって必要な書籍の紹介をしようと思う。この分野はあまり人がいない。というよりも、そもそも哲学界隈に人がいない。そのため、読書紹介記事を書き、少しでも間口を広めることで、興味を持つ人々を蝿瓶に吸い込もうという訳である。この記事を読めば、君もポケモンマスターになれる！！！！（タイトルに「担当者」と書いているのは、「哲学」という言葉に覇権的・権威的な響きがあるため、それを避けるためである。）
入門（★）
日本語で書かれたものとしては、次の二冊を勧める。「入門」と題に付されていているので、入門程度の内容なのだろう。
著者の鈴木先生は、以前から深層学習等の神経科学・機械学習に対して哲学的に考察を続けられてきたらしい*2。
著者の次田先生は自然主義的意味論で博士論文を書かれていたはずだが、自然主義的意味論といっても、チョムスキー言語学との融和を指して自然主義と言っていたころの看板であるという印象がある。本書には、真理条件意味論で上手くいかなさそうという主張がある。
他には、以下がある。
Bodenという人の書いたVSIの人工知能だが、深層学習以降の人工技術に関する内容は全く入っていない。著者のBodenは人工知能の創造性に関する論文を書いていることで（私の中では）有名であるが、その論文が人間讃歌のように思えて、私はあまり興味がない。
脱入門？（★★）
分布意味論に関する自然言語処理の入門書である。分布意味論とは、源流をアメリカ構造主義言語学のFirthに持つ、統辞論の位相における単語の共起頻度によって、その意味を与える意味論である———というようなことが載っている。第一章は哲学・言語学史的に面白いことが書かれているので、読む価値がある本である。DSMやSkip-gramなど、色々なモデルが載っている。
イケイケの人工知能の哲学者と言ったらBucknerとMillereだと思うが、その人達が書いている大規模言語モデルへの哲学的入門。Arxivに上がっているのが謎だが、じじつ上がっているので、無料で読むことができる。線形表象仮説*3はここで初めて知った。著者らは、BERTologyや線形プロービングといったモデル内への介入を、介入実在論と絡めて論じている。その他にも、エージェントシステムなど、色々機械・深層学習系のワードが知れる。オトクな論文である。
オライリーの「ゼロから作るDeep Leaning」シリーズは「フレームワーク編」を除き、全巻読んだ方が良いと思う。第一巻では機械・深層学習の数学的基礎を、第二巻ではTransformer以後の自然言語処理、第四巻では強化学習、第五巻では生成（拡散）モデルの数学的基礎を学ぶことができる。これらのトピックを知らないことには、何も理解していないといって過言ではない。変分下界や が何か説明できるようになっておかなければ、思わぬところで足を掬われるかもしれない。特に第二巻では、単語ベクトルの計算について、カウントベース手法とニューラルベース手法が数式的には根底で繋がっているということが書かれていたり、重要である。
そもそもPythonが分からない場合は、同じくオライリーの『Pythonチュートリアル』をお勧めする。安くて、短い。原著はオンラインにも上がっているはずである。しかし、今の高校生が情報科目でPythonを学ぶことを考えたら杞憂かもしれない。今の子のほうが、デジタルNATIVEであることは確かである。たしか、今の基本情報処理技術者試験には、選択科目にPythonがあるはず……
線形代数・微積分が分からない場合、その分からなさが高校数学に起因している可能性がある。しかし、それを理解しない限りは前に進むことができない。幸い大学の線形代数は高校までの２・３次元空間とは異なるから、入りやすいかもしれない。線形独立とはなにか、直交補空間とはなにか、dim(Ker f) + dim(Im f) = n 、勾配爆発と行列の固有値の関係がいかなるものか、などは、計算言語学や自然言語処理の論文を読む上では必須の知識であるため、新しいアイデアを思いつきたいのであれば、きちんと勉強すべきである（これらを知らない人の言うことは、薄い）。
自然言語処理界隈の重鎮（？）である黒橋先生の書いた自然言語処理の教科書である。さっさと読める。Transformerパラダイム以前の改訂版と以後の三訂版の間には、巨大な懸隔が存在し、それが改訂に現れている。TF-IDF法など、懐かしいと言われるであろう道具が載っている。比較は過去記事にも書いた。
この教科書はなんと学部生向けで、Transformer（注意機構）が載っている。学部生でこれを理解していれば凄いと思ってしまう。途中出てくる部分空間の図が変である（部分空間というよりも、領域のように見える）が、基本となる注意機構の仕組みが 線形射影 であることを理解できれば十分だと思う。深層学習モデルは、層から層へ「射影」しているのである。そして、これこそが言語モデルにおける情報の流れ（residual stream）を形づくっているのだ。
たとえば、画像埋め込み空間と言語的埋め込み空間が、プロクルステス的変換を掛けると一致するというような研究があったりするが、そういう論文を読むためにも、線形変換とアフィン変換の違いなど、基礎的な用語を確認しておくべきである。
Transformer CircuitsというサイトはClaudeを作っているAnthropic社の技術ブログであり、最も最先端かつ優れた資料を提供している場所である。機械論的解釈可能性（Mechanical Interpretability）の研究が多い。「言語モデルってどういう仕組みなんだ？」と思ったら、まずここを参照しなければならない。
この本は深層学習の数理的解析を専門とされている今泉先生の書いた一般向けの本であり、おもに大規模言語モデルの構成部分である深層学習（deep learning）の数理的側面に焦点を当てている。特に、高次元誤差空間の地形に関する記述は興味深いものである。「なぜ我々は、高次元空間を低次元空間に射影しなければその性質を理解できないのか」といった、従来の哲学では扱われてこなかった認識論的な疑問を提示してくれる文献として重要である。*4
記号主義の王といえば論理学だと思うが、その教科書である。情報学科卒である自分は、一年次の授業でこの教科書を指定された記憶がある。本書で一番重要なことは、集合論と述語が（ある意味で）同一であるということであろう。フレーゲ主義的意味論の基礎もここにあるのかもしれない（フレーゲに適当に触れると痛い目を見るので、あまり触れたくない）。完全標準形という概念も重要である。
可能世界やクリプキ構造といった論理哲学を扱う上では基礎的な内容を扱っている。S4とかそういったワードが出てくる。コネクショニストには関係がないが、一応分析哲学が歩んできた歴史を知るためには重要だと思う。おそらく様相論と深層学習は独立であるため。
肝心の言語哲学は？
大規模言語モデルを哲学するといっても、さまざまな角度のアプローチがあるだろう。別に言語の哲学からだけでなくとも研究テーマを考案することができるかもしれない。たとえば https://journals.ub.uni-koeln.de/index.php/phai を見てみると、色々なテーマがあることが分かるだろう。行為の哲学から攻めることも可能かもしれない。したがって、個別の哲学に入りすぎるとよくないと思い、これ以上は書かないことにする。
まとめ
本稿の作成目的には、あまりにも適当に物事を話している人が多いという事態を牽制するということも含まれている。それは、AIハイプかもしれないし、還元主義かもしれない。言語モデルが単なる「確率的オウム」だとか、そういった特定の「像」（ウィトゲンシュタインの用語）にハマってしまう前に、一度言語モデルの仕組みをきちんと勉強してみるべきではないだろうか（「確率的」という語を乱用しないでほしい）。そういったまともな人が大規模言語モデルの哲学には必要だと思う。
*1:Transformerの面白さは、入出力がベクトルのシーケンスであればよいという点にある。したがって、言語でも画像でもベクトル列に変換できれば上手くいくということになる。また、商用モデルではないGPTとしてInstructGPTがある。人工知能の倫理において、大規模言語モデルを批判するさい、精神的搾取の範囲として、OpenAIやGoogle、Microsoftといった巨大資本との関連と、Transformerアーキテクチャは分離して議論される必要があると思ったことがある。
*2:国内の科学哲学系の研究室で、人工知能の哲学をしようと思ったらここしかないのではないか。
*3:モデル内では概念がベクトル、もしくは線形部分空間で表現されているという仮説。今では、線形ではなくミンコフスキー空間にまで拡張されているらしい。詳しくは、 https://arxiv.org/abs/2510.08638 を参照。
*4:従来の統計学は低次元多標本の場合にのみ偏っており、高次元少標本の場合の統計学はあまり開発が進んでいない（らしい）。従来の統計学の哲学も同様であると思われる。
