前回投稿した gensim についての知識のなさから、最新バージョンに対応した Word2Vec 用のモデルを見つけることができなかったので、自分でモデルを作成することにしました。検索能力の欠如ですね。
今回は Wikipedia の記事を使ってモデルを作成していきます。
(さらに…)カテゴリー: Python
-
gensim 3 と 4 の Model 読み込み方法の違い
Word2Vec で遊ぶために gensim で model を読み込もうと思ったら、エラーが出たので対処法を確認しようと思います。
今回 gensim のバージョンは 4.1.2 を使用しました。
model = gensim.models.KeyedVectors.load_word2vec_format('ファイル名', binary=True)はじめ、このコードで書いたところ下記のようなエラーが出ました。
(さらに…)UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0: inv -
M1 Mac で LINE の日本語言語モデル
LINE が HuggingFace Hub で公開している日本語言語モデル japanese-large-lm を M1 Mac で動かしてみました。
(さらに…) -
Python でスクレイピング比較
スクレイピングをしたいと思い Python のライブラリーを調べてみると、次の3つがメジャーらしいので特徴を調べてみました。
- Beautiful Soup (+ Requests)
- Selenium
- Scrapy
-
CORESERVER V2 に Python をインストール
CORESERVER V2 には始めから Python がインストールされていますが、バージョンが 3.8 と古いので、現在最新のバージョン 3.10 をインストールしてみます。
(さらに…) -
Python で MeCab を使う
Python で MeCab を使いたくなったので、macOS にインストールしました。しかし、pip で mecab-python をインストールしようとしたら、早速エラーが発生！
error: [Errno 2] No such file or directory: 'mecab-config'ということで、先に MeCab をインストールします。
(さらに…) -
Django でマルチドメイン
Django で複数のドメインを構築する方法です。django-hosts を使用すると、Django プロジェクト内でマルチドメインをルーティングして、ドメインごとにアプリケーションを指定できます。
(さらに…)