投稿者: 
オフラインでLLMを動かす
最近，非常に様々なアプリ開発ができるようになったが，特にここ最近で興味を持っているのがローカルLLMを用いたアプリ開発である．幸いなことに，私のパソコンは，ある程度の性能のローカルLLMを動かすことが可能だ．さらに最近では性能の良いローカルLLMが続々と登場している．
そのため，ローカルLLMを組み込んだアプリ開発も可能になってきた．
そうなれば，作れるアプリの幅も大幅に広がる．
現在，私が試しに作ってみているのが様々な議論ができるチャットアプリである．これはローカルLLMでマルチエージェントのような振る舞いをさせ，登場人物を複数人用意し，それぞれの立場から議論を行うというものである．当然，今までの性能の良いフロンティアモデルからAPIで実装することも可能ではあるが，このくらいの規模だと，そこまでお金をかけるつもりもないし，まず試しに実装してみたいというニーズを満たすにはローカルLLMが非常に相性が良い．
このように，低コストで性能の良いモデルが使えるようになれば通常のアプリでも，様々な応用可能性が高まってくれる．
ひいては，より良い研究用のアプリ開発なども可能になるだろう．LLMはプログラミング自体を行うだけでなく，プログラミングの中でも使用できる点が素晴らしい．