Grindrod, J. Large language models and linguistic intentionality. Synthese 204, 71 (2024). https://doi.org/10.1007/s11229-024-04723-8
基本的に表象主義的な立場から大規模言語モデルを見ているらしい。
Notes. 4
Lederman and Mahowald (2024) distinguish between “basic meaning” and “derived meaning”. We could then precisify this question by asking whether LLM outputs are meaningful in either sense. However, they stipulate that only tokens created by agents with beliefs, desires, and intentions possess basic meaning, By contrast, the motivation of this paper is to consider whether LLMs that lack such mental states could nevertheless meaningfully use words in a non-derivative sense.
基礎的な意味と派生的な意味という区別。後で元論文を読んでからコメントする。
Notes. 8
It has sometimes been suggested that the distributional hypothesis is a natural outcome of the use-based theory of meaning associated with the later Wittgenstein (Lenci, 2008, p. 7; Erk, 2012, p. 635). Recruiting Wittgenstein to the cause is questionable for a couple of reasons, however. First, Wittgenstein is sometimes interpreted as a quietist about meaning, and such an interpretation would find distributional semantics as objectionable as any other theory of meaning. Second, it is clear from (Wittgenstein, 1953, Sect. 2 ff.) that Wittgenstein envisioned use as understood both in terms of linguistic and non-linguistic activities. From this perspective, usage as represented by a corpus will be impoverished.
First. Moyal-Sharrock, Daniele は沈黙のWittgensteinという像を神話だとしている。というか、Wittgenstein の quietism はどこまで参照される必要があるものなのだろうか(反原理主義)?
Second. 言語ゲームが非言語的活動を内包しているという話。だが、コーパスと人間の非言語的活動を結びつけることが出来れば「impoverished」という事態にはならないのではないか。
The crucial linguistic point to note about transformers is that the architecture does not depart from the basic distributional approach insofar as they take the word embeddings that are at the heart of the distributional approach and then modify them on the basis of their contexts, where the context itself is only represented in distributional terms.
Transformer アーキテクチャが distributional approach からは逸脱していないと主張している。 しかし、これはどうなんだろうか。 確かにベクトルは distributional ではあるが、元々の分布意味論(=distributional approach?)が Transformer 自体を含んでいると言えるのだろうか。 たとえば Mikolov は単語ベクトルの加算構成性を分布意味論に押し込めているが、それについても疑問点を残しているだろう。 この点についても、他の論文を当たる必要がある。
mental/linguistic meta-semantic theories
本論文では、メタ意味論を mental meta-semantic (心的メタ意味論)と linguistic meta-semantic (言語的メタ意味論)に分けている。 意図主義は心的メタ意味論に属するだろう。 意味論的内在主義でも、心的メタ意味論と言語的メタ意味論に跨るものはありそうだ。
"reference-preserving intention"
Kripke の指示の因果説にも、参照保存意図が関わるという指摘。
Evans の命名実践
Evans の命名実践(naming practice)では心理的意図を介さずに命名を辿ることができ、「生産者」と「消費者」という区分でこれを説明している。 LLM は消費者に位置づけられる。 この方策は直感的に良いと思う。
Millikan の目的意味論(teleo-semantics)
目的意味論も心理的意図を必要としていない。 LLMはn-gramとは異なり、大規模であることによって安定化機能を持つと主張している。
意味の多元主義を取るという道もあるが、要検討?