Windowsのローカル環境でLLMを動かす -話題のDeepSeekを動かしてみる-
»
とりあえず、Windowsのローカル環境でLLMを動かしてみます。前回は、LLMを動かすためのツールであるollamaを導入してMicrosoftのLLMであるphi-3を動かしてみました。
Windowsのローカル環境でLLMを動かす(とりあえず動かしてみたい方)
今度は最近話題になっているDeepSeekを動かしてみましょう。(初めての方は上記のリンクの記事から読んでください)
DeepSeekのインストール
Windowsのコマンドラインから下記のコマンドを打ちます。
ollama run deepseek-r1:7b
ここの 7b というのはモデルのパラメーター数が7億あるということです。7bの他には8bと14bがあります。
8bの場合はこちら
ollama run deepseek-r1:8b
14bの場合はこちら
ollama run deepseek-r1:14b
Ollama-uiで動かす
ChromeまたはEdgeのエクステンションOllama-uiを起動します。
プロンプト
プロンプトはこれで行ってみましょう。日記を生成してもらいます。このメモを日本語の日記にしてください。
・今日は2025年2月6日
・朝起きたら寒くて布団から出られなかった
・会社に行く途中でファーストフードでコーヒーを飲んだ
・お昼はスーパーマーケットでパンを買った
・食品が値上がりしている
・会社の帰りに家電量販店に寄り道した
DeepSeek-R1 7bの結果
中国語も入っています。微妙ですね。
DeepSeek-R1 14bの結果
DeepSeek-R1 14bを入れてみましょう。最初だけ、モデルをダウンロードします。実行してみます。かなりいい感じになっています。ollama run deepseek-r1:14b
cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf
最後にCyberAgentがDeekSeekを日本語にファインチューニングした32億パラメータのLLMを使ってみましょう。 モデルは20GBあります。初回はダウンロードに時間がかかりますし、ディスクの容量も気を付けてください。ollama run hf.co/mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf
結果です。かなりいい感じに仕上がっています。なんかやりすぎ感さえ感じられます。
処理時間はCyberAgentのDeekSeekは10分くらいかかりました。他はChatGPTと変わらない感じです。
使用したマシンのスペックとシステム負荷
今回使用したのは自作のWindows PCです。下記のものを使いました
- CPU Intel Core i5-9400F(6コア)
- メモリ 32GB
- GPU NVIDIA GeForce RTX3060(VRAM 12GB)
- CPU負荷率 6コアすべて100%
- メモリ 24GB使用
- GPU負荷率 15～20%で、時々50～100%
- VRAM 11GB使用
SpecialPR