言語の数理とＬＬＭの知能―言葉を計算で繋ぐメカニズム

内容説明

生成ＡＩの１つである大規模言語モデル（ＬＬＭ）は、言語を操る数理モデルの１つのあり方です。ＬＬＭを活用するシステムの研究・開発は、その不確実性の高さや制御の難しさから、多くの試行錯誤を要します。そのため、より効率的に、より効果的に課題解決をするためには、ＬＬＭがテキストを生成する仕組みの理解や、ＬＬＭを強化する方法論に向き合うことは欠かせません。また同時に、言語をつかさどる暗黙的な規則性を炙り出す、ＬＬＭとは異なるタイプの数理モデルにも目を向けるべきでしょう。これらの知見は、地に足のついた試行錯誤へと繋がります。上記のような知見は、計算言語学という領域で蓄積されています。本書は、ＬＬＭ時代における計算言語学の「言語の理論としての側面」と、「言語の工学としての側面」に着目した入門書です。本書により、ＬＬＭをはじめとする言語の数理モデルが読者の皆さまの手札の１つとなり、より多くの実務的課題・学術的課題が解き明かされることを願います。

目次

第１章　自然言語の数理（計算言語学とは；言語の理論としての計算言語学；言語の工学としての計算言語学；まとめと本書の構成）
第２章　形式的手法による言語学（意味現象；依存型意味論序説；未指定型による形式証明の制御）
第３章　大規模言語モデルの仕組み（言語モデルによるテキストの生成；大規模言語モデルのパイプライン；Ｔｒａｍｓｆｏｒｍｅｒの機構；大規模言語モデルの学習大規模言語モデルの評価；データセットの作成方法）
第４章　大規模言語モデルは何を理解しているか（注意機構の分析；プロービング；Ｌｏｇｉｔ　ｌｅｎｓ：語彙空間への射影）
第５章　大規模言語モデルの実用（大規模言語モデルの軽量化・高速化；ＲＡＧ：大規模言語モデルの知識拡張；ＬＬＭエージェント：自律・推論・動態）
付録

著者等紹介

船蔵颯［フナクラハヤテ］
株式会社キカガク機械学習講師を経て、現在はデータサイエンティスト（本データはこの書籍が刊行された当時に掲載されていたものです）

出版社内容情報

大規模言語モデル（LLM）の本質の解説
生成AIのひとつである大規模言語モデル（LLM）は、言語を操る数理モデルの1つのあり方です。しかしLLMを活用するシステムの研究・開発は、その不確実性の高さや制御の難しさから、多くの試行錯誤を要します。そのため、より効率的に、より効果的に課題解決をするためには、LLMがテキストを生成する仕組みの理解や、LLMを強化する方法論に向き合うことは欠かせません。また同時に、言語をつかさどる暗黙的な規則性を炙り出す、既存LLMとは異なるタイプの数理モデルにも目を向けるべきでしょう。これらの知見は、地に足のついた試行錯誤へと繋がります。
上記のような知見は、計算言語学という領域で蓄積されています。本書は、LLM時代における計算言語学の「言語の理論としての側面」と、「言語の工学としての側面」に着目した入門書です。本書により、LLMをはじめとする言語の数理モデルが読者の皆さまの手札の1つとなり、より多くの実務的課題・学術的課題が解き明かされることを願います。


【目次】