投稿者: 
LLMのAPIを叩いて開発を行う
以前の投稿で, ローカルLLMを用いたアプリ開発についてまとめた.
ローカルLLMのおかげで, 様々なアプリ開発が簡単に行えるようになった.
他方, 少なくとも現段階では, どうしてもローカルLLMより, 有名なAnthropicやOpenAIが出しているフロンティアモデルの方が, 性能は非常に良い.
そのため, 用途の点は考慮する必要が, 性能だけを追求してみれば, やはり有名なモデルのAPIでアプリを組むことが理想ではある. しかし実際, 外部のモデルを使わない方がいいケースや, 何より外部APIだと, どうしてもその使用料が響いてくることがある. 実際使ってみると, 数千円くらいは利用料を意識していても簡単に飛んでいってしまう. その点, ローカルLLMは, 良い性能のマシンさえあれば, 極端な話, 電気代くらいしかかからない. そのため, 気軽に利用するのには非常に適していると言える.
外部APIとローカルLLMを組み合わせながら処理をするような実装も良いのかもしれないが, この2つの違いというのはどうしてもトレードオフが発生し, 用途に合わせて適切な構造を考える必要がある.
理想は今のフロンティアモデルくらいの性能が, 軽いローカルLLMでも動くようになってくれると非常にありがたいのだが.