AIエージェントの作り方、その先――ツール選択の正解率を実モデルで数えた
macOS 26.6.1 · arm64 · 検証コマンド 11 本 · 2026-09-26
ローカル3モデルでツール選択をn=6ずつ実測、k別正解率と不要呼び出しを記録
AIエージェントの作り方としてローカルLLMと標準ライブラリだけの最小ループを組み、今度はtool_callsを返すモデルでツール数を変えて選択正解率を実測した。不要呼び出しと応答遅延も記録。
1 本の記事。
macOS 26.6.1 · arm64 · 検証コマンド 11 本 · 2026-09-26
ローカル3モデルでツール選択をn=6ずつ実測、k別正解率と不要呼び出しを記録
AIエージェントの作り方としてローカルLLMと標準ライブラリだけの最小ループを組み、今度はtool_callsを返すモデルでツール数を変えて選択正解率を実測した。不要呼び出しと応答遅延も記録。