完全にオフラインで ChatGPT のような AI チャットを構築できる privateGPT をインストールしていました。
privateGPT のダウンロード
何はともあれ、まずは privateGPT をダウンロードします。
% git clone https://github.com/imartinez/privateGPT.git
ダウンロードが完了したら、privateGPT ディレクトリに移動します。
% cd privateGPT
privateGPT の仮想環境
privateGPT のための仮想環境を作成し、仮想環境を有効にします。
% python3 -m venv .venv
% source .venv/bin/activate
privateGPT の環境構築
pip を使用して privateGPT に必要なライブラリーをインストールします。
% pip install -r requirements.txt
次に環境設定ファイルのファイル名を変更します。
% mv example.env .env
models ディレクトリを作成して、環境設定ファイルで指定している LLM モデルをダウンロードします。モデル名やバージョンなどは環境設定ファイル (.env ファイル) を参照してください。
% mkdir models
% cd models
% curl -O https://gpt4all.io/models/ggml-gpt4all-j-v1.3-groovy.bin
学習
AI に学習させるデータファイルを source_documents ディレクトリに入れます。サンプルとして一般教書演説のテキストファイル (state_of_the_union.txt) が入っているので、必要なデータファイルを入れたら、削除します。
% rm source_documents/state_of_the_union.txt
データファイルをすべて source_doucuments 入れたら、全てのデータを取り込みます。
% python ingest.py
取り込みが完了すると、db ディレクトリが作成されています。
privateGPT の実行
これで privateGPT を実行できます。
% python privateGPT.py
このコマンドを実行すると、”Enter a query: ” と表示されるので、privateGPT に聞きたい内容を入力します。”exit” と入力すると終了します。
コメントする