自分の環境に AI チャットをインストールできる privateGPT

完全にオフラインで ChatGPT のような AI チャットを構築できる privateGPT をインストールしていました。

privateGPT のダウンロード

何はともあれ、まずは privateGPT をダウンロードします。

% git clone https://github.com/imartinez/privateGPT.git

ダウンロードが完了したら、privateGPT ディレクトリに移動します。

% cd privateGPT

privateGPT のための仮想環境を作成し、仮想環境を有効にします。

% python3 -m venv .venv
% source .venv/bin/activate

pip を使用して privateGPT に必要なライブラリーをインストールします。

% pip install -r requirements.txt

次に環境設定ファイルのファイル名を変更します。

% mv example.env .env

models ディレクトリを作成して、環境設定ファイルで指定している LLM モデルをダウンロードします。モデル名やバージョンなどは環境設定ファイル (.env ファイル) を参照してください。

% mkdir models
% cd models
% curl -O https://gpt4all.io/models/ggml-gpt4all-j-v1.3-groovy.bin

AI に学習させるデータファイルを source_documents ディレクトリに入れます。サンプルとして一般教書演説のテキストファイル (state_of_the_union.txt) が入っているので、必要なデータファイルを入れたら、削除します。

% rm source_documents/state_of_the_union.txt

データファイルをすべて source_doucuments 入れたら、全てのデータを取り込みます。

% python ingest.py

取り込みが完了すると、db ディレクトリが作成されています。

これで privateGPT を実行できます。

% python privateGPT.py

このコマンドを実行すると、”Enter a query: ” と表示されるので、privateGPT に聞きたい内容を入力します。”exit” と入力すると終了します。