【自分専用のローカルAIを作ろう】Googleの最新AI「Gemma 4 12B」をWINDOWSでつくるローカル環境

【自分専用のローカルAIを作ろう】Gemma 4 12BをWINDOWSでつくるローカル環境

「自分専用のAIをつくってみたい！」

「ChatGPTみたいなAIを自分のPCで動かしてみたい！」と思ったことはありませんか？

今回は、Google DeepMindが公開した注目の最新AIモデル「Gemma 4 12B」を、

Windows PC（WSL2/Ubuntu環境）に導入し、ブラウザで快適にチャットできる

「Open WebUI」まで一気にセットアップする手順を、分かりやすく解説します！

自分専用ローカルAI環境を一緒に作っていきましょう！

 

ラズパイからRTX 24GBまで！メモリ別・ローカルAI比較

ラズパイからRTX 24GBまで！メモリ別・ローカルAIを比較してみます。

「CPU推論（ラズパイ）」と「GPU推論（RTX）」の違い

ラズパイはメインメモリを共有してCPUで計算するため「動きはするが低速（数トークン/秒）」ですが、RTXシリーズは専用の高速VRAMで計算するため「爆速（数十トークン/秒）」で動作します。

ラズパイの軽量運用（E2B/E4B）からステップアップして、VRAM 12〜16GBのグラボを載せたPC環境を用意することで、今回記事で取り上げた Gemma 4 12B のマルチモーダル性能や長文処理能力を最大限に活かせるようになります。

【ラズパイからRTX 24GBまで！メモリ別・ローカルAI比較表】

デバイス ハードウェア	メモリ容量 (VRAM / RAM)	主に使えるAIモデル (Q4〜Q8/FP16)	特徴・使いどころ
Raspberry Pi 4B / 5 / Zero2W	2GB (RAM)	・Gemma 4 E2B (超軽量)	【超軽量・お試し環境】
		・Llama 3.2 1B	・1B〜2B級の極小モデルに限定。
		・Qwen 2.5 0.5B	・テキストの感情分析や短文の判定・分類向け。
Raspberry Pi 4B / 5	4GB (RAM)	・Gemma 4 E2B / E4B	【実用的なエントリー環境】
		・Llama 3.2 3B	・3B〜4B級モデルが動くライン。
		・Qwen 2.5 3B	・簡単なテキスト要約、定型文生成、IoTの指示判定に活用可能。
Raspberry Pi 5	8GB (RAM)	・Gemma 4 E4B	【SBC最高峰・実用レベル】
		・Llama 3.1 8B (Q4_K_M)	・7B〜8B級の軽量モデルを動かせる本命スペック。
		・Qwen 2.5 7B	・CPU推論のため速度は数トークン/秒程度だが、日常会話や簡易RAGに利用可能。
Jetson Orin Nano	8GB (Shared)	・Gemma 4 E4B / 12B (INT4)	【エッジGPU環境】
		・Llama 3.1 8B	・NVIDIA GPU搭載により、ラズパイと同じ8GBでも推論速度が数倍〜10倍以上と圧倒的。
		・Phi-3 / Phi-4	・リアルタイム画像認識やカメラ連携処理に最適。
NVIDIA RTX 3060 / 4060	VRAM 8GB	・Gemma 4 E4B / 4B (FP16/Q8)	【PC向けローカルAI入門】
		・Llama 3.1 8B (Q4/Q8)	・VRAM処理により非常に高速なレスポンス（20〜40 t/s）。
		・Qwen 2.5 7B	・日常的なテキスト生成、コード補全、軽量な画像理解タスクが快適。
NVIDIA RTX 12GB 3060 / 4070 / 4080	VRAM 12GB〜16GB	・Gemma 4 12B Unified (記事のモデル)	【バランス最強・スイートスポット】
		・Gemma 3 12B	・Gemma 4 12B が精度・速度・マルチモーダル機能ともに最高のパフォーマンスを発揮。
		・Phi-4 / Qwen 2.5 14B	・長文ドキュメント解析（RAG）や高精度なコード生成、画像・音声の同時処理が可能。
NVIDIA RTX 3090 / 4090 / 5090	VRAM 24GB	・Gemma 4 26B A4B (MoE)	【ハイエンド・完全ローカル決定版】
		・Gemma 4 31B Dense (Q4)	・30Bクラスの大規模モデルやMoEモデルを高精度（Q4〜Q8/FP16）で運用可能。
		・Qwen 2.5 32B / Command R 35B	・高度な推理・複雑なプログラムのリファクタリング・完全自律型AIエージェントの構築に対応。

 

Gemma 4 12Bとは？その魅力と必要なPCスペック

今回導入する「Gemma 4 12B」がどれくらい凄いAIなのかを見ていきましょう。

Gemma 4 12Bの主な特徴

 

特徴	内容	ポイント
マルチモーダル対応	テキストだけでなく、 画像や音声の入力にも対応	文字も画像も声もまるごと理解できる！
軽量・高速な設計	無駄を徹底的に削ぎ落とした設計（Encoder-Free）	応答スピードが速く、省メモリで動作
実用的な動作スペック	VRAM 12～16GBクラスの メモリがあれば快適	普通のノートPCやデスクPCでサクサク動く
安心のライセンス	Apache 2.0 ライセンス	自由に使えて、将来のアプリ組み込みや商用利用もOK

 

動作環境

今回のWINDOWS11 PCに組み込む環境はこちら。

項目	一般的な推奨環境	今回の検証環境
OS	Windows 11 (WSL2) / Linux	Windows 11 (WSL2 / Ubuntu 24.04)
CPU	Intel Core i7 / Ryzen 7 以上	Intel Core i7-13700F （第13世代）
メモリ（RAM）	16GB 〜 32GB 以上	32GB
GPU （グラボ）	NVIDIA GPU（VRAM 12GB〜16GB推奨）	NVIDIA GeForce RTX 3060（VRAM 12GB）

 

 

ローカルAI構築の全体手順

ここからは、実際にWindows PCの中にAI環境を作っていきます！

大まかな流れは以下のとおりです。

STEP	作業内容	概要
1	WSL2 (Ubuntu) インストール	Windowsの中にLinux環境を用意する
2	GPU（グラボ） 認識確認	RTX 3060 が正しく見えているかテスト
3	Ollama インストール	AIを動かすための「実行エンジン」を導入
4	保存先を Dドライブ へ変更	Cドライブの容量不足（パンク）を防ぐ
5	Gemma 4 12B 入手と起動	モデルをダウンロードしてチャットテスト
6	Open WebUI セットアップ	ChatGPT風の綺麗なブラウザ画面を作る
7	PC再起動後の 使い方	次回からの起動コマンド（3行）を確認

 

順番通りにコマンドをコピー＆ペーストしていけば完成します！

 

STEP 1: WSL2 (Ubuntu 24.04) のインストール

はじめに、WindowsでLinux環境（Ubuntu）を動かすための「WSL2」を導入します。

AIの開発ツールや最新ライブラリの多くはLinux（Ubuntu）向けに作られています。

そのため、Linux用は検索することたくさんの情報があります。

Windowsの中でLinuxを直接動かせる仕組み（WSL2）を使うことで、

Windowsを消すことなくLinux上でAIを安全・高速に動かせるようになります。

 

スタートボタンから、右クリックします。、

コマンドプロンプト（ターミナル　管理者）を開きます。

次のコマンドを実行します。

【実行コマンド】

# WSLの基本機能を有効化
wsl --install

# Ubuntu 24.04を起動せずにインストール
wsl --install ubuntu-24.04 --no-launch

 

 

STEP 2: Ubuntuの起動とGPU（グラボ）の確認

AIの計算は、CPUよりもGPU（グラフィックボード）にやらせる方が何十倍も速くなります。

Windows側のグラフィックボード（RTX 3060）が、Linux（Ubuntu）側からしっかり見えているかをここで確認します。

 

【実行コマンド】

wsl --distribution ubuntu-24.04

 

初回起動時は、好きなユーザー名とパスワードの設定を求められるので

画面に従って入力してください。

起動後、グラフィックボード（NVIDIA GPU）が正しく認識されているか確認します。

nvidia-smi

 

画面に「RTX 3060」などの名称や「12288MiB（12GB）」といった

VRAM容量が表示されれば成功です！

 

STEP 3: Ollama のインストール

Ollama（オラマ）は、巨大なAIモデルを自分のPC上で超手軽に動かしてくれる「AI実行エンジン」です。

本来なら複雑なPythonコードや設定が必要なAIの起動を、簡単なコマンド1つで処理してくれます。

AIモデルを簡単に動かすためのツール「Ollama（オラマ）」をインストールします。

# 必要なツール（解凍ツールなど）を導入
sudo apt update && sudo apt install -y zstd curl

# Ollama本体のインストール
curl -fsSL https://ollama.com/install.sh | sh

# インストールできたか確認
ollama --version

 

STEP 4: モデルの保存先を「Dドライブ」に変更する

「Gemma 4 12B」の本格的なAIモデルは、

1つで数GB〜数十GBという巨大なファイルです。

初期設定のままだとCドライブ（Windowsが入っている場所）に保存されてしまい、

すぐに容量がいっぱいになってしまいます。

そのため、容量に余裕のあるDドライブへ保存先を変更します。

 

【 ① Dドライブに保存フォルダを作成する】

mkdir -p /mnt/d/AI/ollama/models

 

【② Ollamaの設定ファイルを開きます】

sudo nano /etc/systemd/system/ollama.service

 

【③ 保存先を指定する行を追加します】

画面が開いたら、[Service] のすぐ下の行に、

nvironment=”OLLAMA_MODELS=/mnt/d/AI/ollama/models” を追加します。

Environment="OLLAMA_MODELS=/mnt/d/AI/ollama/models"

 

次のようになります。

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
Environment="OLLAMA_MODELS=/mnt/d/AI/ollama/models"
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/lib/wsl..."

[Install]
WantedBy=default.target

 

nanoの操作方法は、

保存方法： Ctrl + O（または F2 キー）➔ Enterで保存して終了します。

終了方法： Ctrl + X

 

3. 設定の反映とサービスの再起動

設定ファイルを読み込み、コマンドで反映していきます。

# 設定ファイルの再読み込み
sudo systemctl daemon-reload

# Ollamaサービスの再起動（設定を反映）
sudo systemctl restart ollama

# 起動状態の確認
systemctl status ollama

 

STEP 5: AIモデル（Gemma 4 12B）のダウンロードと実行

準備したOllamaエンジンを使って、インターネット上から「Gemma 4 12B」の知能データ（モデル本体）をPC内に引き込んできます。

ダウンロード後はすぐにターミナル上でAIと対話ができます。

 

モデルのダウンロードを実行します。

（Dドライブに保存されます）

ollama pull gemma4:12b

 

※途中で通信タイムアウトなどで止まった場合は、

もう一度同じコマンドを実行すれば続きから再開できます

 

2. AIの起動＆会話テスト

ダウンロード完了後、AIを起動して会話テストをします。

以下のコマンドを打つとターミナル上でAIとの会話を確認します。

ollama run gemma4:12b

 

画面にプロンプトが出たら、文字を入力してAIと話してみましょう！

終了したい時は /bye と入力します。

 

STEP 6: 見やすい画面「Open WebUI」でChatGPT風にする

黒い画面（ターミナル）で会話するのもエンジニアっぽくて格好良いですが、

やっぱり画像を見せたり過去の会話履歴を残したりするには、

ChatGPTのようなブラウザ画面が便利です。

そのためのWeb画面ソフトが「Open WebUI」です。

 

ブラウザでChatGPTのように綺麗にチャットができる

「Open WebUI」をセットアップしましょう！

1. 必要なPythonツールをまとめて導入

「Open WebUI」に必要なPythonツールをまとめて導入していきます。

sudo apt update && sudo apt install -y python3-venv python3-pip

 

2. 専用の部屋（仮想環境）をつくって有効化

Open WebUI専用のフォルダと「仮想環境」を作ります。

※仮想環境を作ると、他のPythonプログラムとバッティングして

不具合が起きるのを防げます。

# フォルダを作成して移動
mkdir -p /mnt/d/AI/openwebui && cd /mnt/d/AI/openwebui

# 仮想環境（.venv）を作成
python3 -m venv .venv

# 仮想環境に入る（有効化）
source .venv/bin/activate

 

成功すると、画面の文字の先頭に (.venv) と表示されます！

 

3. Open WebUI のインストールと起動

Open WebUI をインストールして起動します。

# pipの更新
pip install --upgrade pip

# Open WebUI のインストール
pip install open-webui

# 起動！
open-webui serve

 

ブラウザで画面を開きます！

ターミナルに起動ログが流れ始めたら、

Google Chrome や Microsoft Edge などのブラウザを開き、

アドレスバーに以下を入力してアクセスします。

 

Google Chromeに、コピペします。

http://localhost:8080

 

ブラウザの画面が開いたら、

初回のアカウント作成画面が表示されます。

順番に設定していきます。

これで、あなただけの「完全ローカルAIチャット画面」の完成です！

 

自分だけのAI環境なら、質問回数の制限もなければ、

入力したデータが外部に送信される心配もありません。

自分専用のサポート、コードの相談など、どんどん使い倒してみてくださいね！

 

Windowsをシャットダウンする

Open WebUIやOllamaがバックグラウンドで動いているため、

以下の手順でサービスを完全に停止してからWindowsをシャットダウンします。

1. Open WebUI の停止

現在 open-webui serve を実行しているターミナル（黒い画面）で、

以下を入力します。

「Ctrl + C」 キーを同時に押す

 

これで Open WebUI のサーバーが停止し、

入力待ち状態（nvidia@GALLERIA:~$ などの表示）に戻ります。

2. WSL（Ubuntu）の停止

そのままターミナル画面（または新しいコマンドプロンプトやPowerShell）で、

以下のコマンドを実行してWSLを完全に終了させます。

WSL画面から抜けます。

exit

 

(何度か exit を入力して黒い画面が閉じればOKです)

より確実にWSLを停止させたい場合（PowerShell等で実行）

wsl --shutdown

 

バックグラウンドで動いているOllamaやUbuntuプロセスがすべて完全に停止します。

WSLが停止したら、通常通りWindowsを終了します。

 

起動用実行ファイル作成

クリックするだけで、WSL 内の Ollama と Open WebUI をまとめて起動する

「.BAT」実行ファイルを作成します。

 

「起動」実行ファイル作成

【作成手順：ターミナル起動する】

デスクトップの何もない場所で

右クリック ＞ 「新規作成」 ＞ 「テキスト ドキュメント」 を選びます。

 

作成されたテキストファイルをダブルクリックで開き、

以下のコードをそのまま貼り付けます。

@echo off
echo WSL と Open WebUI を安全に停止しています...
wsl --shutdown
echo 完了しました！この画面は閉じても大丈夫です。
timeout /t 3

 

開いているメモ帳の左上 「ファイル」 ＞ 「名前を付けて保存」 をクリックします。

ファイル名: OpenWebUI起動.bat　（末尾の .bat が重要です）

ファイルの種類: 「すべてのファイル (.)」 に変更

「保存」 を押してメモ帳を閉じます。

 

「終了」実行ファイル作成

「終了用」ショートカットの作成
クリックするだけで、起動中の Open WebUI や Ollama、WSL を安全に完全停止させるアイコンです。

作成手順
再びデスクトップの何もない場所で 右クリック ＞ 「新規作成」 ＞ 「テキスト ドキュメント」 を選びます。

ファイルを開き、以下のコードを貼り付けます。

@echo off
echo WSL と Open WebUI を安全に停止しています...
wsl --shutdown
echo 完了しました！この画面は閉じても大丈夫です。
timeout /t 3

 

左上 「ファイル」 ＞ 「名前を付けて保存」 をクリックします。

ファイル名: OpenWebUI終了.bat

ファイルの種類: 「すべてのファイル (.)」 に変更

「保存」 を押してメモ帳を閉じます。

 

黒い画面にログが流れ始めたら、

ブラウザで http://localhost:8080 を開いてログイン

終わったら、デスクトップの OpenWebUI終了.bat をダブルクリックして終了

これでターミナルで複雑なコマンドを打つ必要がなくなります！

 

トークン上限エラーの対処法

トークンが利用サイズを超えていますと出た場合の対処法です。

このエラーは 「AIに送った文章（または会話の履歴）が長すぎて、

一度に読み込める文字数の上限（コンテキストサイズ）を超えてしまった」 という状態です。

現在の設定上限が 4096トークン になっており、

入力したデータが 5126トークン あったためエラーになっています。

 

Open WebUI の設定でコンテキストサイズ（num_ctx）を

大きめの数値（例：8192 や 16384）に増やすことで一発で解決できます！

 

 コンテキストサイズを増やす設定手順

Open WebUI の画面から設定を変更する

画面左上の 「⚙️（設定）」アイコン（または歯車マーク）をクリックします。

左メニューから 「モデル」（または「ワークスペース」→「モデル」）を選択します。

 

一覧から gemma4:12b を探して編集（ペンマーク✎など）をクリックします。

下にスクロールするとある 「高度なパラメーター（Advanced Params）」 を開きます。

Context Length（コンテキスト長 / num_ctx） の項目を探します。

値を以下のように変更します。

画面下の 「保存」 をクリックします。

Context Length（コンテキスト長） を 8192 や 16384 に増やして保存します。

 

 

STEP 7: PCを再起動したときはどうする？（再起動後の使い方）

PCの電源を切ったり再起動すると、Open WebUIのプログラムは一度終了します。

しかし、これまでのインストールや設定はすべて保存されているので、

次回からはコマンド3行を打つだけで一瞬で復活します！

順序	実行場所	コマンド	内容
1	PowerShell	wsl	Linux（Ubuntu） に入る
2	Ubuntu	cd /mnt/d/AI/openwebui && source .venv/bin/activate	フォルダ移動 & 仮想環境の起動
3	Ubuntu	open-webui serve	Open WebUI を スタート

 

1. PowerShell（またはターミナル）を開いてUbuntuに入る

wsl

 

2. Open WebUI のフォルダに移動して仮想環境をオンにする

cd /mnt/d/AI/openwebui
source .venv/bin/activate

 

3. Open WebUI を起動する

open-webui serve

 

起動したら、ブラウザに以下を入力

http://localhost:8080

 

前回までの会話履歴が残った状態でそのまま再開できます！

 

トラブル：再起動後に通信エラーが出たら？

WSL2の仕組み上、PCを再起動すると「インターネット接続（DNS設定）」が自動リセットされて、通信エラーが発生することがあります。

もし「パッケージの更新やダウンロードがうまくいかない」という場合は、以下のコマンドをTerminalで1度だけ実行しておくと、通信設定が自動で固定化されてエラーを防げます。

 

# 通信設定の自動上書きを無効化する（初回のみ実行）
sudo bash -c 'echo -e "[network]\ngenerateResolvConf = false" > /etc/wsl.conf'

 

まとめ

自分専用のローカルAI環境なら、質問回数や文字数の制限もありません。

入力した個人情報が外部のサーバーに送信される心配もありません。

持っているグラフィックボード（RTX 3060）のパワーをフルに活かして、

勉強のサポートやプログラミングの相談、アイデア出しなど、

どんどん自分専用のAIとして使い倒してみてくださいね！