Git LFS を有効にした Git レポジトリに 100 MB を超える複数のファイルを push したら，エラーが発生してどうにもならなくなりました． > git push origin master:master send-pack: unexpected disconnect while reading sideband packet fatal: the remot…

Git LFS を使う時の備忘録です． 有効化の手順 インストール Git LFS をダウンロードしてインストールする． アカウント毎に以下のコマンドを実行する． git lfs install LFS で管理する対象のファイルを指定する git lfs track "*.pdf" これで .gitattribut…

MacOS に podman remote client をインストールしてから，別の Ubuntu PC の podman server にアクセスする設定の備忘録です． インストール MacOS Releases · containers/podman · GitHub 上記ウェブサイトから， podman-remote をダウンロードして実行でき…

ESM な TypeScript を node.js で実行するときの設定を検討します．なお，ESM とは以下のように import を使う方式のことです． import { valueOfPi } from "./constants"; export const twoPi = valueOfPi * 2; https://www.typescriptlang.org/ja/tsconfig…

Pydantic ConfigDict を使います*1．allow, forbid, ignore から選択します． pydantic.Extra.forbid や Config class を使用する方法もありましたが，Pydantic 2.x では奨励されていません． 動作確認のための unittest は以下の通りです．モデルに text フ…

scp コマンドでリモートにファイルをコピーするときに，SSHをパスワード認証で使用しているとうまくいかないので，鍵を作成してSSH公開鍵認証を使用します． なお，リモートは user@remote.local と表記しますので，適宜読み替えてください． MacOS, Linux s…

Python で複数の要素から特定のものが存在するかを検索する場合の，効率がよい方法を検討します． 課題 10万個の要素から特定の要素が存在するかどうかを返す． set を使用する方法， list を使用する方法をすぐに思いつきます．list を set に変換してから…

Git でバージョン管理しているプロジェクトにおいて，大きなバイナリファイルを一緒に扱おうとすると，GitHub のファイルサイズの 100 MB 制限でエラーが発生したり*1，バイナリファイルを更新する度にレポジトリが肥大化していって処理に時間がかかるように…

Git の内部がどうなっているのか気になったのですが，深く理解しなくても使えるツールなので，ざっくりとまとめます． Git の要点 Git は key-value 型データストアでデータを管理している． Git オブジェクトには，blob, tree, commit, tag の4種類が存在す…

JSON Schema を使えば，自分が欲しい構造の JSON データであるかを簡単に判定できるので，とても便利です． まずは JavaScript で JSON Schema を使ってみます． ajv を使う JSON schema バリデータの実装はたくさんありますが，今回は，Ajv JSON schema val…

sum() 関数の where で指定します． numpy.sum — NumPy v1.26 Manual import numpy as np a = np.array( [ [1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12], ] ) b = np.array( [ [1, 0, 0, 0], [0, 1, 0, 0], [0, 0, 1, 0], ] ) v = a.sum(where=b.astype(boo…

PyTorch の学習に時間がかかるとイライラするので，利用可能な計算資源をなるべく効率的に使用するための工夫をまとめました． 以下は インテル Core i5 12400 と GeForce RTX 4080 を搭載したパソコンに Ubuntu をインストールした環境で検証しています． G…

例えば dict[int, int] を JSON で記述しようとすると，キーは文字列にする必要がありますが，Pydantic がうまく型変換してくれるので気にせず使えて便利です． % python --version Python 3.11.6 % pip freeze pydantic==2.5.2 test_pydantic.py import jso…

.github/workflows/run.yaml on: push permissions: contents: write jobs: main: runs-on: ubuntu-latest steps: - uses: actions/checkout@v4 - run: | echo "sample." >> text.txt git config user.name github-actions git config user.email github-act…

ループ(繰り返し処理)の書き方はプログラミング言語により様々です．使いやすい書き方を選択すればよいとは思いますが，気になったので処理速度を比較してみました． みーがよく使っている，Python, Rust, Node.js について，1千万個の要素を含む配列を用意…

Python のスクリプトを作成している途中で別のモジュールを import したくなった時に，カーソルをファイルの先頭に移動して，import 文を追加して，元のカーソル位置に戻るのが面倒なので，VS Code の Quick Fix を活用しましょう． Refactoring source code…

Ray Tune を使用していて，このような警告が表示されました． The object store is using /tmp instead of /dev/shm because /dev/shm has only * bytes available. This will harm performance! You may be able to free up space by deleting files in /de…

Linux でグラフィックボードを使わない時は電源を切って節電したいと思ったので調べました． 検証方法 Ubuntu 22.04.3 LTS NVIDIA GeForce RTX 4080 NVIDIA Driver 535 マザーボード MSI PRO B660-A DDR4 パソコン全体の消費電力をELPA電力計で測定します． …

「小説家になろう」では「縦書きPDF」を提供してくれています．以下の小説の縦書きPDFをダウンロードして Kindle Scribe で読もうとしましたが，文字が表示されませんでした． https://ncode.syosetu.com/n9669bk/ 仕方がないので，MacOS の Preview.app で …

環境 接続するディスプレイ端子 nvidia-driver をインストール Secure Boot のための追加の設定 Docker をインストール NVIDIA Container Toolkit をインストール 環境 下記の構成で検証しました． Ubuntu 22.04.3 LTS GG-RTX4080-E16GB/OC/TP (GeForce RTX …

Evernote は，2015年から2023年まで，学習用やメモ用のアプリケーションとしてお世話になりましたが，退会しました．この記事は，みーの人生の一部を8年間にわたり支えてくれた Evernote に感謝をするために書きました． 2015年当時は，ノート機能のアプリケ…

自分用メモです． autoencoding autoregressive batch normalization broadcasting causal computational graph convolution convolutional criterion derivative dropout embedding finetune gradient gradient descent method large language models (LLM)…

Ray は Apache-2.0 license *1 で公開されている， AI 関連や Python の処理を簡単に並列化して大規模に実行可能にするフレームワークです*2．この中に Ray Tune というライブラリがあります． Ray Tune: Hyperparameter Tuning Ray Tune: Hyperparameter Tu…

もともとの論文には，Transformer は encoder と decoder を含む構造として記載されています． *1 もう少しわかりやすい図があったので紹介します． *2 Encoder / Decoder 実際には encoder と decoder はどちらかがあればモデルとして成立するので， encode…

機械学習では，たくさんのデータを利用してモデルを学習させる手法なので，データを統計学的に適切に扱う必要があります． 機械学習では，モデルの訓練と評価に同じデータセットを使用してはいけないという原則があります．モデルは単純にデータセットを丸暗…

Docker Desktop The #1 containerization software for developers and teams Docker Desktop: The #1 Containerization Tool for Developers | Docker 便利なソフトウェアだと思いますが，必ずしも無料ではありません． Pricing | Docker また，実行速度やC…

PyTorch のチュートリアルのソースコードを見ていて，理解できない部分がありました．該当部分を抜粋して引用します． class NeuralNetwork(nn.Module): def __init__(self): super().__init__() self.flatten = nn.Flatten() self.linear_relu_stack = nn.S…

RuntimeError: Placeholder storage has not been allocated on MPS device! というエラーを修正するために調べたことをまとめます． torch.Tensor は保存するデバイスを指定でき，Tensor.device プロパティで確認できます． Tensor Attributes — PyTorch 2.…

PyTorch でモデルを構築する方法として， torch.nn.Sequential を使用する torch.nn.Module のサブクラスを作る torch.nn.Module のサブクラスで torch.nn.functional を使用する の3個の方法があります*1． 1.torch.nn.Sequential を使用する nn.Sequential…

torch.autograd provides classes and functions implementing automatic differentiation of arbitrary scalar valued functions. *1 PyTorch のドキュメントを読んでもよく分からなかったので，こちらのサンプルを参考にしました． 任意の関数の勾配を自動…