Mastodon

大塚淳「深層学習後の科学のあり方を考える」批判

はじめに

鈴木貴之編『人工知能とどうつきあうか――哲学から考える――』(2023年)を読んだ。 本項では、大塚淳による第4章「深層学習後の科学のあり方を考える」について、人間/人工知能という二元論が前提されていることを指摘し、それを批判する。

Twitter(現X)では200字を超えると書きにくいので、本ブログの一エントリーに据えることにした。

信念の度合い

寄り道ではあるが、「信念の度合い」について触れておく。

2020年の大塚淳統計学を哲学する』(名古屋大学出版会)では、ベイズ更新式における事前分布を「信念の度合い」と呼んでいたが、本稿では「信念の度合い」という表記は見受けられなかった。 良かった。 なぜ私が良かったと考えているかというと、単なる初期パラメータを信念の度合いと同一視する見方はあまりにも時代遅れであり、実地から逸れているからである。 確率の哲学は現在の確率論からあまりにもかけ離れており、哲学的確率論の哲学と呼んだほうがいいのではないかと思ったほどだ。

伊勢田哲治は『統計学を哲学する』への書評記事にて以下のように述べており、この指摘が反映されたのかもしれない。

blog.livedoor.jp

わたしが知る限り、ベイズ統計が実用的に用いられるほとんどの場面において、事前確率として用いられる値は、哲学者が言う意味での「信念の度合い」というよりは、「頻度についての主観的な見積もり」として解釈した方が自然です。

しかし大塚がこの信念の度合い=事前分布という考えを本当に捨てたかどうかは明らかではない。

深層学習がもたらす客観性の極限と自己疎外

本節が本題である。

(p. 88) で大塚は「深層学習がもたらす客観性の極限と自己疎外」と題した節において、以下のように述べている。

深層モデルの判断はそれを訓練するデータの鏡でしかなく、よって現実社会における差別やバイアスをそのまま反映する。しかも深層モデルの解釈不可能性は、モデルがもちうる差別的傾向の発見や修正を著しく困難にする。こうして、深層モデルは現実社会における既得権益を温存し、そこに含まれる差別構造を「客観性」の名のもとに固定化してしまう可能性すらある。これはもちろん、啓蒙主義がその建前とした民主的平等性とは真逆の事態である。

近代合理主義において、客観性はたしかに主体性の譲渡であったが、それでもそれが理性的存在としての「人間一般」への収斂である限り、自己疎外ではなかった。むしろそれは、一部の人間(貴族・聖職者)から万人へと判断主体を取り戻す民主的な契機であった。この「個人的判断根拠の移譲としての合理的客観性が、却って主体性の回復につながる」という神話のもとにあるのは、移譲される先が理性的存在としての人間そのものである、という合理主義的人間観である。しかしAIのもたらす「客観性」は、こうしたものではない。それは判断理由を人間の理解の届かないところに連れ去ってしまう上に、構造的不正や不平等を隠蔽することで、社会的弱者への抑圧を強化する可能性すらもつ。だとしたら、それは誰にとっての客観性であり、何のための客観性なのだろうか?

まずもって、このような虚空に向かって叫んでいるがごとき「〜だろうか?」という叙情的な文体による主張は止めた方がよいと指摘しておきたい。 これでは主張というより詩である。 「合理主義はいまや理性的存在である我々人間のものではなく、非人間的存在のものとなりつつある!」というようにトラゴ―ディア的に事態を描写してしまえば、それは議論ではなく悲劇に過ぎなくなる。 大塚は大陸哲学系統の哲学者なのであろうか。 そうでなければ、文飾を控えるべきである。

議論を戻そう。 大塚は、深層学習の理論的基盤の欠如、解釈可能性の低さという性質に基づいて、深層学習の出力は合理主義的ではあっても人間の自己疎外を起こすものであると論じる。 さらに、深層学習モデルの出力が判断として社会的に使用されることによって、モデルのもつバイアスが隠蔽されたかたちで、バイアスの被害者である社会的弱者への抑圧が強化されると述べる。

前半は確かにそうなのかもしれない。 しかし後半部分については、事実は全く逆の事態であると私は考える。

第一に、大塚はプロービング(probing)や脱バイアス化のためのアライメントといった研究を無視している。 これらは、深層学習モデルの内部やモデルの入力ベクトルが要素として含まれる語ベクトル空間へ工学的に介入を行うことにより、モデルに含まれるバイアスを除こうとする研究である。 また、言語モデルにおいてはプロンプトエンジニアリングによるモデルの脱バイアスも既に行われているだろう。 このような試みを無視して、超歴史的な思弁により「構造的不正や不平等を隠蔽」するなどと言ってはならない。

第二に、(これは尤も人文学にとって核心的であるが)深層学習のバイアスは深層学習モデルの問題ではなく、我々人間のもつバイアス(そして、それから派生する差別や偏見)の問題として捉えられなければならない。 ここでの大塚の議論は道具としての人工知能という狭い人工知能観によっているため、人間/人工知能という(新手の)二元論が前提されてしまっている。 このような二元論を取る限り、人間本性を考えるうえで実のある議論はできない。 次の論文を読んでほしい。 この論文は、言語モデルが推論タスクにおいて人間のような誤りを犯すという主張をしている。

arxiv.org

このような、人間と深層学習モデル(大規模言語モデル)が同じ過ちを犯すという事態から何が言えるだろうか。 すなわち、人間のバイアスとそれに基づく差別や偏見は、言語モデルや深層学習モデルと極めて似た機序1のもとで、隠蔽された「構造的不正や不平等」を生み出しているということである。 このような考えにおいては、二元論的な人間/人工知能という対立はない。 人間の社会における弱者への抑圧が我々の認識論的位相に存在することを知るために、深層学習モデルを考えるのである。 我々人間自身の社会的抑圧を考えるうえで、深層学習モデルのバイアスへの考察は不可欠なのである。

大塚に限らず、(認知科学を除けば)人文科学においてこのように〈人間本性〉を考えるために深層学習モデルを考察する人は少ないようである。 人文科学は、以上に述べたような二元論ではなく、我々人間の問題として、深層学習モデルや大規模言語モデルのバイアスの問題を考えるべきだろう。

おわりに

編者である鈴木は「おわりに」において、「人文科学研究者の議論は、現在の人工知能に関する十分な理解を欠いているように見えるかもしれない」(p. 223)と述べるが、以上に述べたように、私はむしろ人文科学研究者が人文科学的な深い議論を提示できていないと考える。 人工知能の振る舞いは人間の問題であり、認識論の問題である。 このことに早く気がつき、実のある議論を提示してくれる哲学者の登場を待つばかりである。


  1. 神経学的(生物学的)に人間の認識と大規模言語モデル(深層学習モデル)のそれが同等とは言っていない。

ライオンとChatGPTは同じ言語的主体なのか?

はじめに

応用哲学会 第 16 回 年次研究大会のオンライン大会に参加した。

jacap.org

本項では、発表番号 L1 の山田圭一氏による「ChatGPT とウィトゲンシュタイン―言葉の意味を理解するとはどういうことか?―」に関連して考えたことを述べたいと思う。

予稿集は次のリンクからご覧になれます。

https://jacap.org/wp-content/uploads/2024/05/e4ba88e7a8bfe99b86_e5bf9ce794a8e593b2e5ada6e4bc9ae383bbe7acac16e59b9ee5b9b4e6aca1e7a094e7a9b6e5a4a7e4bc9a_2024e5b9b4efbca0e382aae383b3e383a9e382a4e383b3.pdf

ライオンとChatGPTを類比的に捉えることは妥当なのか

まずもって、山田が展開する問いは「ChatGPT が記号の意味を理解して発話しているとわれわれが理解できるのか」という問いであり、「ChatGPT が記号の意味を理解しうるのか」という問いではないということを確認しておく必要がある(発表原稿 注12)。

山田は『哲学探究』の以下の命題群から、後期 Wittgenstein は我々が ChatGPT のことばを理解できないと言うだろうと帰結する。

もしもライオンが話すことができたとしても、われわれは彼の言うことを理解できないであろう。(『哲学探究』II 223)

共有された人間の振舞い方こそが、われわれが見知らぬ言語を解釈するための座標系なのである。(『哲学探究』206)

これは、「発話主体の〈生活形式〉の理解は、その発話トークンの理解のための必要条件である」と言い換えることができる。 山田は、ライオンと類比的な存在としてChatGPTを捉え、我々はChatGPTの発話を理解できないと帰結するのである。

生活形式の部分的な共有

我々が PI-II 223 を理解可能ということは、我々は Wittgenstein と生活形式を共有していることになる。 しかし、本当に我々は Wittgenstein と生活形式を共有しているのだろうか。 2024年の日本に存在する我々と、20世紀中葉のウィーンに存在した Wittgenstein が共有する生活形式はいかほどなのであろうか。 彼と我々が共有している生活形式は、どちらも言語を考えるものであるというほどであろう。 ここから、言語の解釈のために理解しなければならない生活形式は、部分的であればよいということが示唆される。 (たとえば、東京ディズニーランドタートル・トークを考えてみよう。我々はクラッシュの生活形式を共有していないが、発話の意味を理解しているだろう。これは、言葉や多少の身なりに加え、生活形式が部分的に擬人化され、生活形式を多少共有するためである。)

ウェブ上の記事や一部の書籍から学習するという部分的な生活形式を共有することで、記述された知識に関して、ChatGPT の出力する文字列が意味をもつと我々は理解する。 したがって、「オンライン上の身体抜きの実践を共有する可能性はある」という山田の指摘は支持される。

しかしそうなのだろうか。 以下では、ざっと思いついた反論を述べてみたい。 この反論はより核心的であると私は考えている。

反論

ChatGPT が我々と部分的にしか生活形式を共有していないというのは prima facie である。 これは、本に記されている文章の発話主体の生活形式をその本に帰することと同じ誤謬である。 ChatGPT は仮象の主体であり、実際は人間の生活形式をもつ主体の言語をトレースしたものである。 我々は、プロキシーのように ChatGPT を解釈し、ChatGPT の出力する文字列を解釈するための生活形式を、ChatGPT ではなく人間に帰するのである。

このことにおいて、ライオンと ChatGPT を同等に捉えることは誤りである。 ライオンの発話を解釈する主体は、発話トークンが解釈上依存する生活形式をライオンの生活形式に帰するのに対して、ChatGPT の発話を解釈する主体は、発話トークンが解釈上依存する生活形式を人間の生活形式に帰する。 「季節の変わり目やセール時期を狙うと、お得な価格で靴を購入できます」という ChatGPT の回答に用いられる生活形式は、ChatGPT ではなく人間のそれに帰せられ、そのことによって発話トークンの理解は達成されるのだ。

したがって、ChatGPT が意味を持った発話を行っていると我々が承認するために、「オンライン上の身体抜きの実践」に限定する必要はない。

結論

私自身は、他我問題に関する解釈主義を拡大し、聞き手が自身と同等の〈環境〉や〈生活形式〉を発話主体に帰するというかたちで、意識に基づく意味概念を立てることが妥当だと考えている。 そのことにおいて、以下の Q1 に対しては、それは言語の主体性を言語を出力するエージェントに帰するか否かという以上のものではなく、解釈主体の解釈の関数に他ならないと答える。

Q1. 現在の ChatGPT (に代表される大規模自然言語モデル)は自らが算出している言葉の意味を理解しているといってよいのだろうか。

音MAD/YTPMVのプロジェクトファイルを共有するためのサイトを作った

実は5年前くらいに rails new を叩いており公開は行っていたのだが、このブログでは宣伝をしていなかったので、ここで宣伝したいと思う。

arealapp.com

Areal は、音MADやYTPMVで用いられるプロジェクトファイルを共有するためのWebアプリケーションである。 私が個人開発している。

作品を表示するページ

使い方としては、RPP 等のプロジェクトファイルを、実際にレンダリングされた作品の公開URLを添付して投稿し、ダウンロードしてもらうとか、いいねしてもらうとか、そういった用途を想定している。 作者のフォロー機能やブックマーク機能がある。 また、Twitter(X)とDiscordアカウントを用いてアカウントを作成することができる。

対応するプロジェクトファイルの種類(記事公開時点)

記事公開時点で対応しているプロジェクトファイルの種類は次の通りである。

機能

  • プロジェクトファイルの投稿
    • タグ機能
    • 検索機能
    • いいね機能
    • 作品リンク機能(iframe)
  • フォロー機能
  • ブックマーク機能

使ってくださると幸いです。

arealapp.com

情報メディア創成学類の大学院推薦率(21生)

大学院進学をにらみつつ、情報メディア創成学類を志望している高校生や高専生、高校と高専のどちらに進学しようか悩んでいる中学生のために書いておこうと思う。 なお、本記事の情報は21生(令和3年度入学)のものになるので、将来は変動しているかもしれない。

推薦率

大学院推薦を受けるために必要な成績は、「A+ と A の総単位数/A+ と A と B と C の総単位数(「Aの割合」) > 0.7」となっている。ただし、0.7付近であれば大丈夫らしい。 入試情報 入試データ|筑波大学情報学群 情報メディア創成学類/University of Tsukuba および https://scs.tsukuba.ac.jp/content/uploads/sites/3/2023/06/8e83d2cb0bf7dc88c789da1bdb384dd1.pdf を参考にして、推薦を受けることができた同期の率を算出した。ただし、具体的な人数が公にしていい情報であるかは不明であるため、おおよその値のみを記載する。

属性 推薦率
令和3年度入学者および総合学域群からの編入 0.32
3学年編入 0.67

この表からは、高専からの編入生の方が推薦率が高いという事実が得られると思う。

Numbersによる「Aの割合」の算出

Numbers では、TWINS からダウンロードできる成績照会の表データに対し次の関数を適用することで、「Aの割合」を算出することができる。Excel の場合は知らない。

SUMIF(総合評価, REGEX("A+|A",),単位数) ÷ SUMIF(総合評価, REGEX("A+|A|B|C",),単位数) 

『意味がわかるAI入門』批判

2023年9月出版の比較的新しい書籍である. 現代言語哲学で主力である真理条件意味論を取り上げて,それを分布意味論(意味の使用説の一種)と比較している第二章は稀有であり,本書の白眉である(第一章はAIの系譜学).

まず,本書の主張を読む際にあたっては著者の経歴及び彼の受けている影響を鑑みるべきである.著者は東京大学人文社会系研究科出身の博士(文学)である.また,「私は、とある言語学の学派からの影響で、ニューラルネットワーク研究の果てに人間の言語能力の秘密が解明されるという見込みに懐疑的です。」(p.303) と述べている.つまり,著者によってそれとは明かされない,ある言語学派の主張に整合的であろうとすると,ニューラルネットワーク研究が言語の解明にトドメを刺すことはないという結論に著者は至るのである.本書の主張は,このことを差し引いて評価されねばならない.以下では,著者の各主張に対する批判的検討を行う.

5-1

著者は,Word2vec が未知の単語に対応不可能なことを指摘する.また,その問題への対策として fastText を紹介するが,「where → whe + ere」等の意味を持たない部分文字列への分割を生んでしまうことを指摘する.

応答: fastText の性能の説明が十分でない.つまり,既存の言語学形態素分析とのスコア比較が掲載されておらず,読者の直観に訴えかけるのみとなっている.形態素による分析が単純性の点で勝るにせよ,言語生成の性能という外的整合性が劣っていれば,比較して優れていると結論できないだろう.

ちなみに,漢字もまた部分から構成される点で,合成語と似たものである.これに関する研究には,以下のものがあるらしい(本書の内容ではないが).

aclanthology.org

5-2

二点の主張がある.

  • 「ローマ」と「イタリア」の関係は,他の可能世界では偽になりうる偶然的な地理的関係であり,意味ではない.
  • ジェンダー等の道徳的規範が守られていない.

応答: まず第一の主張は,真理条件意味論(可能世界)を仮定した場合に導かれるものである.そもそも,現代の大規模言語モデルが示唆するように,言語使用と現実世界との対応(記号接地)は別のメカニズムである可能性が高く,真理条件意味論はこの点においても困難をきたしている(『人工知能の哲学入門』p.171 を参照). 第二の主張もまた,合成原理を仮定した場合に導かれるものであるが,かなり困難をきたしている,というより論が通っていないと言わざるを得ない.倫理に違反する言語使用が無意味である,という結論はおかしいだろう.なぜならば,例えば誰かが「女性は洗濯・掃除をすべきである」という(本質主義的)発言を行う際に,それを無意味だということは我々の通念に反するからである.そもそもこの文に意味がないならば,我々はそれを理解し,倫理的に反応する(非難する)ことさえ不可能になってしまうだろう.本書の初めの方に著者自身が引いた,「人種やジェンダーといったセンシティブな質問に適切な回答を返す」ことに対する賞賛と,どう折り合いをつけるのだろうか.果たして,人間の入力する「人種やジェンダーといったセンシティブな質問」は無意味であると結論するのだろうか.著者はこれを,合成原理であれば回避できる問題である,と主張するが,これもLLMに「語の内包的意味に基づいて回答して」などと言えば,安易に解決されてしまうだろう.

5-3

著者は次のように述べる.「英語や日本語のようにメジャーな言語ならともかく,マイナーな言語では大量の文書データが手に入るとは限らないので、低リソースの言語でも言語モデルの性能を向上させることには実用上の利点がある。それに何より、人間の言語能力に関心があるなら体系性を無視することはできない」.すなわち,大規模言語モデルには体系性が不足しており,実用的課題として,マイナー言語の存続に関わりうるというものである.

応答: しかしこれもまた,技術的な進展によって解決される可能性が大である(『大規模言語モデルは新たな知能か』)上,記号主義的アプローチと合わせて使うことで,ニューラルネットワークモデルを体系性を持った形に拡張することは可能である.

6

「幻覚」(ハルシネーション)を,言語哲学上の観点から,もっと積極的に評価してほしかったというのが私の意見である.というのも,形式意味論言語学も,嘘を周縁的なものとして扱ってきたきらいがあるからである.真理条件意味論はその首領であろう.なぜ,フィクション論が理論の拡張というネガティブな形でしか与えられなかったのか? それは既存の理論においては,文字列が,現実と対応しなければならなかったからである.しかし「幻覚」を観察すれば,現実世界における使用頻度に従うため無関係とは言えないにせよ,言語はその本質においてむしろ現実と独立したものと考えうるのである.つまり,使用の確率分布と現実との対応は理論的に分離されていなければならなかったのだ.これを一緒くたにしたことで,理論が拡張に次ぐ拡張,ぶっちゃけて述べれば「退行的プログラム」となってしまったのではないか.

現代形而上学においては,理論評価のための基準として,「正確性・(内的・外的)整合性・単純性・包括性・一貫性」という五つの基準が用いられている(『現代形而上学』p. 145).いまのところは,構成的なものであって「理論」ではないと言うことは可能にせよ,いずれは大規模言語モデルの理論は分析的アプローチによって「理論」としての身分を得ることになるだろう(哲学者が数式を受け入れるのであれば).

いうまでもなく,言語哲学及び言語学上の命題は,大規模言語モデルの振る舞いに整合的でなければならない.その過程において,いくつかの命題は撃ち落とされるだろう.反対に,真理に漸近していたと評価されるものもあるかもしれない.数十年後には,真理条件意味論が廃れていることもありえないことではない(かつての記号論のように).いずれにせよ,言語理論と大規模言語モデルとの反照的均衡による言語哲学の刷新は不可避なのであって,言語の一ユーザーである我々は,この動向を今後とも注視していきたいものである.

永井哲学と入不二哲学の関係は π/2 なのか

はじめに

X上でなぜかしばしば直接的・間接的に絡んでくださる谷口一平氏が、次のようなポストを投稿していた。

永井哲学と入不二哲学の関係は π/2 らしい。 永井哲学か入不二哲学の一方のノルムが0の場合でも、内積は0になるけどね。

本記事では、コサイン類似度とテキスト埋め込み(分散表現)を用いて、「『永井均の哲学』と『入不二基義の哲学』の関係は π/2 なのか」を、リテラル調べてみようと思う。

コサイン類似度

コサイン類似度  \cos(v, w) は、2ベクトルの類似度の表現の一である。 また、ピアソンの相関関数  r(v, w) は、コサイン類似度を中心化したものと考えることができる。 ベクトルを引数に取る演算子  f f(v) = f( (v_1, v_2, \dots, v_n) ) = (v_1, v_2, \dots, v_n) - 1/n \sum_{i=1}^n v_i (ただし、- は前置ベクトルのすべての要素に対して、後置スカラーを減算することを表す)と定義すると、等式  \cos(v - f(v), w - f(w)) = r(v, w) が成立する。

分散表現

「テキストの分散表現とは」といった説明は、自然言語処理の教科書の最初の方に書かれている事項であるため省略する。 今回は、 OpenAI 社が提供するテキスト埋め込みモデル text-embedding-3-large を用いる。 次のリンクは、API ドキュメントである。

https://platform.openai.com/docs/guides/embeddings

コード

以下の Python コードを用いて、『永井均の哲学』と『入不二基義の哲学』のコサイン類似度および度数法表現を出力する。

import openai
import numpy as np

inputs = ["永井均の哲学", "入不二基義の哲学"]
model = "text-embedding-3-large"

res1 = openai.Embedding.create(
    input=inputs[0],
    model=model
)

res2 = openai.Embedding.create(
    input=inputs[1],
    model=model
)

def calculate_cosine_similarity(v1, v2):
    """2つのベクトル間のコサイン類似度を計算"""
    return np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2))


input_embeddings = [res1.data[0].embedding, res2.data[0].embedding]

sim = calculate_cosine_similarity(input_embeddings[0], input_embeddings[1])
print(f"コサイン類似度: {sim}")

# コサイン類似度を角度に変換
sim = np.arccos(sim)
sim = np.degrees(sim)
print(f"角度: {sim}")

実行

実行!

❯ python ~/hoge.py
コサイン類似度: 0.6130158455291262
角度: 52.192110853994855

うーん、52度になってしまった。むしろ、45度に近い結果に。

原ツイートでは「永井哲学と入不二哲学の関係」となっているので、inputs = ["永井哲学", "入不二哲学"] に変えて実行。

❯ python ~/hoge2.py
コサイン類似度: 0.6680563453346285
角度: 48.082770729609514

48度になった。あまり変わりがない。

inputs を「超越論的構成」と「横方向への展開運動」へ変えてみよう。

❯ python ~/hoge3.py
コサイン類似度: 0.21494257203890757
角度: 77.58784184435343

およそ 76 度になった! 90度に近づきつつあるのかもしれない。

inputs = ["山括弧の存在", "垂直に働く現実性の力"] の場合。

python ~/hoge4.py コサイン類似度: 0.2578236956709326 角度: 75.05903295994082

これも 75 度だが、90 度に近いかというと微妙である。

まとめ

いかがでしたか? みんなも分散表現で遊んでみよう!

後記

谷口氏より以下の引用リツイートを拝受した。

私から言えることとしては、(それらの違いも研究の対象となるほど)脳科学ニューラルネットワークによる大規模言語モデルは同じものではない(ニューラルネットワークでは個々のシナプスの重みを外的に調整するが、人間の脳には外部からそれらを調整する機序はないなど)。 ぜひとも「適切な次元の解答」を期待したい!――とか言ったら怒られるだろうか。

情報学研究データリポジトリのニコニコデータセットのダウンロードに関する備忘録

www.nii.ac.jp

国立情報学研究所の情報学研究データリポジトリにはニコニコデータセットというものがある。 そのダウンロードページには 0001.jsonl0002.jsonl…… 0999.json といったようにJSONLファイルが連番で掲載されている。 一つひとつの動画に対応するフィールドは次のようになっている。

{"video_id": "sm39398000", "watch_num": 4, "comment_num": "1", "mylist_num": 1, "title": "【ガルシン】ヴュータンキャラスト", "description": "くっそかわいい<br><br><br>mylist/71458779", "category": "game", "tags": "ガルシン ガールズシンフォニー", "upload_time": "2021-09-27T16:17:02+09:00", "file_type": "mp4", "length": 921, "size_high": 1, "size_low": 1}

サイト主には Wget再帰オプション wget -r でダウンロードするよう勧められるのだが、いかんせん Wget は単線的であるためダウンロードが遅い。 ARIA2 はこの用途では使えなかったため、GNU Parallel を用いて Wget を複線化することで対応した。

for i in $(seq -w 0 1000) do; echo ${i}.html >> urls.txt
cat urls.txt | parallel -j 100 wget -nc {}

GitHub か GitLab に公開してくれ!