Windowsのローカル環境でLLMを動かす(とりあえず動かしてみたい方)
»
Windowsのローカル環境でLLMを動かしてみました。ハードルが高いかと考えてしまいましたが、そんなことはありません。「もう、能書きはいいのでとくかく自分のPCだけでChatGPTみたいのを動かしたい」という観点で、まずはやってみます。
ollamaをダウンロード
LLMを便利に使わせてもらえる ollama というツールをつかいます。下記のサイトからダウンロードしてください。
ollamaをインストール
コマンドプロンプト（ターミナル）を開いて、ディレクトリはどこでもいいので下記のコマンドを実行します。 OllamaSetup.exeを実行します。
ollamanのインストールの確認
ollama.exeを実行してヘルプが出るのを確認します。
Ollama-ui のインストール(Chromeエクステンション)
LLMはコマンドラインからでも使えますが、Webインターフェースの方が使いやすいでしょう、ChromeやEdgeではaollamaエクステンションがありますので、インストールしておきます。
https://chromewebstore.google.com/detail/ollama-ui/cmgdpmlhgjhoadnonobjeekmfcehffco?hl=ja&pli=1
LLMを試してみる
LLMはマイクロソフトのPhi-3や、最近話題のDeepSeekなどが使えます。
phi-3を実行
コマンドプロンプト（ターミナル）を開いて、ディレクトリはどこでもいいので下記のコマンドを実行します。
ollama run phi3
ここでエラーが出ることがありますが、その際は再度実行してみてください。
WebブラウザでLLMを試す
EdgeでOllama-uiエクステンションを実行します。
続きます
DeepSeekなど他のLLMモデルを動かしてみたい、どのくらいの負荷や処理時間はどうなの？というお話は追って書きます。
SpecialPR