Gemini CLI 終了コマンドを実測——Ctrl+Dも2回押し、入力中は3回
macOS 26.6.1 · arm64 · 検証コマンド 36 本 · 2026-10-10
擬似TTYにキー入力を送り、終了手段4種の成否と2回押しの猶予時間を実測
Gemini CLIの終了コマンドを擬似TTYに実際のキー入力を送って検証した。/quitと/exitは即終了するが、Ctrl+CもCtrl+Dも3秒以内の2回押しが必要で、入力中は回数が変わる。
AIコーディング実測
20 本の記事。
OllamaのOpenAI互換APIを実測——長い入力は黙って切られた
macOS 26.6.1 · arm64 · 検証コマンド 13 本 · 2026-10-11
Ollama 0.31.1のOpenAI互換APIに生HTTPを投げて互換性を実測
開発者向け生成AIをアプリに組み込むとき「OpenAI互換」はどこまで信用できるか。Ollamaに生HTTPを投げて実測したら、コンテキスト超過がエラーにならず入力が黙って消えていた。
生成AI開発ツールをローカルLLMで回したら、ファイルを書けたのは1本だけ
macOS 26.6.1 · arm64 · 検証コマンド 16 本 · 2026-10-08
Ollama+qwen2.5-coder:7bに3ツールを繋いで同一タスクを実測
生成AI開発ツールをローカルLLMで動かすとどこまで行くか。Ollama + qwen2.5-coder:7b に aider・Codex CLI・opencode を繋いで同じファイル生成タスクを投げたところ、編集まで完走したのは1本だけだった。
MCPサーバーとは――SDK無しの92行で作り、生のJSON-RPCを全部覗いた
macOS 26.6.1 · arm64 · 検証コマンド 11 本 · 2026-10-07
SDK無し92行サーバーで生JSON-RPCを観測し公式クライアントと相互接続
「MCPサーバーとは」に実測で答えるため、SDKを使わない92行のサーバーを書き、initializeからtools/callまでの生JSON-RPCを観測。公式クライアントでの接続確認と、stdout汚染で壊れる様子も記録した。
Claude Code のエラーログはどこに残るか——4種類を起こして全部調べた
macOS 26.6.1 · arm64 · 検証コマンド 22 本 · 2026-10-01
偽HOMEで4種のエラーを起こし、ディスク上のログ残存を実測
Claude Code のエラーログは種類ごとに残る場所が違う。使い方エラーは stderr のみ、認証失敗は transcript の JSONL、MCP 失敗は mcp-logs、破損設定は backups。偽のHOMEで実測して対応表にした。
Claude Code のAPIエラーは subtype:success で返る
macOS 26.6.1 · arm64 · 検証コマンド 32 本 · 2026-09-29
claude -p の故障モード別に exit code・JSON・stderr への出方を実測
Claude Code（claude -p）のエラー状況を故障モード別に実測。APIエラーは subtype:success と is_error:true の組で返り、接続断・未ログインは api_error_status:null、割り込みは exit 0 で静かに終わる。
Claude Code「エラーが発生しました」の裏側を実測した — 500は3分粘り、529は3秒で諦める
macOS 26.6.1 · arm64 · 検証コマンド 15 本 · 2026-09-28
偽APIサーバーでエラー種別ごとのリトライ回数と所要時間を実測
Claude Code で「エラーが発生しました」が出たとき、裏で何回リトライしているのか。偽APIサーバーを localhost に立て、500・429・529・400・接続断ごとのリトライ回数と諦めるまでの時間を実測した。
AIエージェントの作り方、その先――ツール選択の正解率を実モデルで数えた
macOS 26.6.1 · arm64 · 検証コマンド 11 本 · 2026-09-26
ローカル3モデルでツール選択をn=6ずつ実測、k別正解率と不要呼び出しを記録
AIエージェントの作り方としてローカルLLMと標準ライブラリだけの最小ループを組み、今度はtool_callsを返すモデルでツール数を変えて選択正解率を実測した。不要呼び出しと応答遅延も記録。
Claude Code の指定は API リクエストのどこに載るか
macOS 26.6.1 · arm64 · 検証コマンド 17 本 · 2026-09-25
claude -p の指定が API リクエストのどこに載るかをモックで実測
Claude Code の使い方で指定する CLAUDE.md・@メンション・起動フラグが、API リクエストのどのフィールドに載るかを localhost モックで実測して対応表にした。
Claude Code のおすすめ設定、存在しないキーは黙って捨てられる
macOS 26.6.1 · arm64 · 検証コマンド 17 本 · 2026-09-24
記事由来37キー＋対照4キーをdoctorでprobeし、無言15個を分類
Claude Code のおすすめ設定キーを settings.json に貼っても、存在しないキーはエラーにならず無言で捨てられる。記事由来の37キーと対照4キーを claude doctor で実測し、貼る前の確認手順を作った。
「AIエージェントとは」を定義でなく実測で確かめた
macOS 26.6.1 · arm64 · 検証コマンド 5 本 · 2026-09-23
同一タスクをツール無し・エージェント・データ埋込の3条件で実測比較
「AIエージェントとは、自律的にタスクを実行するAI」という定義の裏で何が起きているか。同じモデル・同じタスクをツール無し・ツール付きループ・データ埋込みの3条件で動かし、API往復数・トークン量・所要時間・正誤を実測した。
無料AIコーディングのおすすめ選びより先に、何が渡っているかを測る
macOS 26.6.1 · arm64 · 検証コマンド 23 本 · 2026-09-17
repo map の既定予算はモデル依存。同じリポジトリで6ファイルと43ファイルに分かれた
AIコーディングの無料おすすめ記事は出力しか見ていない。aider の repo map を APIキーなしで実測したら、予算の既定値はモデルによって1024と4096に分かれた。同じリポジトリでも、モデル名を変えるだけで渡る量が6ファイルと43ファイルに変わる。
Claude Code の設定ファイルの場所は、起動したディレクトリで変わる
macOS 26.6.1 · arm64 · 検証コマンド 9 本 · 2026-09-17
壊した設定を doctor に名指しさせ起動位置ごとに読まれる場所を特定
Claude Code の設定ファイルの場所を、わざと壊して claude doctor に名指しさせる方法で実測した。リポジトリルートに commit した .claude/settings.json は、サブディレクトリから起動すると読まれない。
Claude Code の使い方、初心者が貼る deny は読まれない
macOS 26.6.1 · arm64 · 検証コマンド 18 本 · 2026-09-15
allow/ask/deny の8通りの書き方を起動時警告で判定し検査器と突合
Claude Code の使い方を調べて最初に貼る settings.json の deny ルールは、書き方しだいで権限チェックから一度も参照されない。初心者向け記事によくある形をそのまま読ませて測り、無効なルールを洗い出すチェッカーを作った。
Claude Code のフックが黙って効かなくなる3経路を実測した
macOS 26.6.1 · 検証コマンド 24 本 · 2026-09-02
フックが拒否を返さなくなる3経路をexit codeで再現
Claude Code の規律をフックに降ろしても、判定の手前で開くことがある。grep への依存、stdin を cat で読むこと、変数展開の3経路で PreToolUse が拒否を返さなくなることを、フック単体に JSON を流して exit code で確かめた。
AIエージェントの中身はwhileループ ── 自作して壊れ方まで実測した
macOS 26.6.1 · 検証コマンド 12 本 · 2026-08-17
フレームワーク無しの while ループ型エージェントを自作し、壊れ方を実ログで確認した
AIエージェントの中身を理解するため、フレームワークなしで ollama のローカルLLMと Python 標準ライブラリ120行のループを自作した。tool_calls が返らない、小型モデルが無限ループするなど、実際に踏んだ壊れ方を実ログ付きで示す。
生成AI開発の最初の壁「JSONで返して」を無料のローカルLLMで実測する
macOS 26.6.1 · 検証コマンド 4 本 · 2026-08-17
prompt 指示だけでは3モデルとも厳密パース 0/5。schema 指定で 5/5 に
生成AIアプリ開発で最初に詰まる「LLM出力をJSONで受け取る」を、ollamaのローカル小型モデル3種×structured outputsあり/なしの30リクエストで実測した。プロンプト指示だけでは7Bでも厳密パースが通らない。
Claude Code実践入門の次、claude -p の落とし穴を実測する
macOS 26.6.1 · 検証コマンド 16 本 · 2026-08-17
claude -p は権限拒否で何も作られなくても exit 0 を返すことを実ログで確認
『Claude Code実践入門』を読み終えて claude -p をスクリプトに組み込むと、権限拒否で何も作られなくても exit 0 が返る。この挙動と --allowedTools の引数順の罠、JSON出力のパースを実行ログ付きで示す。
AIコーディング比較は読むより測る——ローカルLLM3種をpytestで採点した
macOS 26.6.1 · arm64 · 検証コマンド 13 本 · 2026-08-17
同一6問を pytest で採点。7b が 5/6、1.5b が 4/6、deepseek 1.3b は 1/6
AIコーディングツールの比較記事は料金表とベンチ引用ばかりで、自分のタスクでの実力が分からない。同一プロンプト・pytest自動採点のハーネスを自作し、無料のローカルLLM3モデルの合格率と落ちたコードを実測した。
AIコーディングのおすすめ構成を無料で組んで実測した
macOS 26.6.1 · 検証コマンド 21 本 · 2026-08-17
Ollama + qwen2.5-coder:7b + aider が3つのバグを全部直し、1.5b は1つ見逃した
AIコーディングのおすすめ記事に実測はない。完全無料でそろうOllama×Qwen2.5-Coder×aiderにバグ入りコードを渡し、テストが通るまで直せるかをモデルサイズ別に検証した記録。