投稿者: 
不可能な言語とLLM
ChatGPTなどのLLMの登場以降, 人間の言語も一般的な認知能力で実現可能ではないかというような論が多数見られるようになった. しかし, そういった論に対してチョムスキーが一蹴している一節があるので確認してみる.
A contemporary analogue is the enthusiasm for deep learning, like the state-of-the art GPT-3 system of language processing that makes headlines because it can produce text that looks like actual language. You may have seen an excited lead story in the NYT magazine a few weeks ago proclaiming that for the first time machines can speak just like humans, referring to the state of the art system GPT-3.
We can raise the same question. How does it fare with impossible languages? The answer is the same: it does just as well or better with systems that violate the basic principles of language. Therefore this multimillion dollar deep learning neural network trained on a 45 terabyte corpus of text and running on one of the world’s largest supercomputers is telling us nothing about language – and a fair question is whether it’s doing anything at all apart from using a lot of California’s energy. The next installment, gpt-4, with 100 trillion parameters, will use even more energy and tell us as much about language.
(Chomsky, 2022, p. 348)
「数百万ドル規模のディープラーニング・ニューラルネットワークは, 言語については何も語っていない」これが端的なニューラルネットワークと言語の関係性を表している節と言えるであろう. つまり, ニューラルネットワークを用いている限り, 本来の人間の文では生成されないような文章であっても, 十分な学習データさえ与えてしまえば, そういった言語すらも獲得できてしまう. これは生成文法が根幹としている「人間の言語は生得的な能力である」といった観点とは相反する部分であり, 非常に重要なポイントになるであろう.
参考文献
- Chomsky, N. (2022). Genuine explanation and the strong minimalist thesis. Cognitive Semantics, 8(3), 347-365.