WSL2のUbuntuを使用して、Phi-2を動かしてみる。

自分のパソコンで小規模のLLMが使えるかどうかを確認してみたいと思い、Phi-2を動かしてみました。

前提
手順

前提

WindowsにNVIDIAのドライバーを導入済み
Ubuntuのインストール、CUDA、cuDNNのインストール済み(open-calm-7bの記事を参照してください。)

手順

Python仮想環境の作成

1.Pythonの仮想環境作成するためのパッケージをインストール

sudo apt install python3.10-venv

2.Pythonの仮想環境の作成

python3 -m venv .venv

3.仮想環境のアクティベート

source .venv/bin/activate

Pythonパッケージのインストール

1.transformersのインストール

pip install git+https://github.com/huggingface/transformers

2.Pytorchのインストール

pip3 install torch torchvision torchaudio

Phi-2の実行

1.コードの作成

vi phi2.py

以下を記載
----------------

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

torch.set_default_device("cuda")

model = AutoModelForCausalLM.from_pretrained("microsoft/phi-2", torch_dtype="auto", trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("microsoft/phi-2", trust_remote_code=True)

inputs = tokenizer('''def print_prime(n):
   """
   Print all primes between 1 and n
   """''', return_tensors="pt", return_attention_mask=False)

outputs = model.generate(**inputs, max_length=200)
text = tokenizer.batch_decode(outputs)[0]
print(text)

2.推論の実行