.github/workflows/run.yaml on: push permissions: contents: write jobs: main: runs-on: ubuntu-latest steps: - uses: actions/checkout@v4 - run: | echo "sample." >> text.txt git config user.name github-actions git config user.email github-act…

ループ(繰り返し処理)の書き方はプログラミング言語により様々です．使いやすい書き方を選択すればよいとは思いますが，気になったので処理速度を比較してみました． みーがよく使っている，Python, Rust, Node.js について，1千万個の要素を含む配列を用意…

Python のスクリプトを作成している途中で別のモジュールを import したくなった時に，カーソルをファイルの先頭に移動して，import 文を追加して，元のカーソル位置に戻るのが面倒なので，VS Code の Quick Fix を活用しましょう． Refactoring source code…

Ray Tune を使用していて，このような警告が表示されました． The object store is using /tmp instead of /dev/shm because /dev/shm has only * bytes available. This will harm performance! You may be able to free up space by deleting files in /de…

Linux でグラフィックボードを使わない時は電源を切って節電したいと思ったので調べました． 検証方法 Ubuntu 22.04.3 LTS NVIDIA GeForce RTX 4080 NVIDIA Driver 535 マザーボード MSI PRO B660-A DDR4 パソコン全体の消費電力をELPA電力計で測定します． …

「小説家になろう」では「縦書きPDF」を提供してくれています．以下の小説の縦書きPDFをダウンロードして Kindle Scribe で読もうとしましたが，文字が表示されませんでした． https://ncode.syosetu.com/n9669bk/ 仕方がないので，MacOS の Preview.app で …

環境 接続するディスプレイ端子 nvidia-driver をインストール Secure Boot のための追加の設定 Docker をインストール NVIDIA Container Toolkit をインストール 環境 下記の構成で検証しました． Ubuntu 22.04.3 LTS GG-RTX4080-E16GB/OC/TP (GeForce RTX …

Evernote は，2015年から2023年まで，学習用やメモ用のアプリケーションとしてお世話になりましたが，退会しました．この記事は，みーの人生の一部を8年間にわたり支えてくれた Evernote に感謝をするために書きました． 2015年当時は，ノート機能のアプリケ…

自分用メモです． autoencoding autoregressive batch normalization broadcasting causal computational graph convolution convolutional criterion derivative dropout embedding finetune gradient gradient descent method large language models (LLM)…

Ray は Apache-2.0 license *1 で公開されている， AI 関連や Python の処理を簡単に並列化して大規模に実行可能にするフレームワークです*2．この中に Ray Tune というライブラリがあります． Ray Tune: Hyperparameter Tuning Ray Tune: Hyperparameter Tu…

もともとの論文には，Transformer は encoder と decoder を含む構造として記載されています． *1 もう少しわかりやすい図があったので紹介します． *2 Encoder / Decoder 実際には encoder と decoder はどちらかがあればモデルとして成立するので， encode…

機械学習では，たくさんのデータを利用してモデルを学習させる手法なので，データを統計学的に適切に扱う必要があります． 機械学習では，モデルの訓練と評価に同じデータセットを使用してはいけないという原則があります．モデルは単純にデータセットを丸暗…

Docker Desktop The #1 containerization software for developers and teams Docker Desktop: The #1 Containerization Tool for Developers | Docker 便利なソフトウェアだと思いますが，必ずしも無料ではありません． Pricing | Docker また，実行速度やC…

PyTorch のチュートリアルのソースコードを見ていて，理解できない部分がありました．該当部分を抜粋して引用します． class NeuralNetwork(nn.Module): def __init__(self): super().__init__() self.flatten = nn.Flatten() self.linear_relu_stack = nn.S…

RuntimeError: Placeholder storage has not been allocated on MPS device! というエラーを修正するために調べたことをまとめます． torch.Tensor は保存するデバイスを指定でき，Tensor.device プロパティで確認できます． Tensor Attributes — PyTorch 2.…

PyTorch でモデルを構築する方法として， torch.nn.Sequential を使用する torch.nn.Module のサブクラスを作る torch.nn.Module のサブクラスで torch.nn.functional を使用する の3個の方法があります*1． 1.torch.nn.Sequential を使用する nn.Sequential…

torch.autograd provides classes and functions implementing automatic differentiation of arbitrary scalar valued functions. *1 PyTorch のドキュメントを読んでもよく分からなかったので，こちらのサンプルを参考にしました． 任意の関数の勾配を自動…

PyTorch で時系列データを学習させてみたかったので，このサンプルを参考に，long short-term memory (LSTM) cell を使った，Recurrent neural network を作成し，ある区間の sin 関数を学習させて，その続きを予測させてみました． sin 関数は，振幅と周波…

The mypy configuration file - mypy 1.5.1 documentation 上記のドキュメントに従って，mypy の設定ファイルで細かな調整をしようとしても，VS Code の mypy-type-checker にうまく認識されませんでしたが，以下のような設定を追加することで認識されるよう…

MacBook Air (M1, 2020) に USB3.1 Gen1 対応ギガビット LAN アダプタを接続してインターネットを使っていたのですが，時々ウェブサイトにアクセスできない問題が発生していました．ウェブサイトによって症状はまちまちで，例えば以下のようなエラーが出てい…

部屋の換気扇のスイッチを入れるとUSB接続のハードディスクが切断されるという現象に困っていました． 電源ケーブルとUSB3の干渉を考えて配線を遠ざけたり，換気扇の電源を別のコンセントに接続しなおしたり，工夫をしてみましたが効果がありませんでした． …

TensorFlow, PyTorch が有名ですが，最近は JAX をよく見かけるようになりました． 論文で使用されているフレームワークのシェアを確認すると，PyTorchが圧勝です．TensorFlowが使われる頻度はかなり減っているようです．JAXやMindSporeは徐々に増えているよ…

NPM License Checker というそのものずばりの名前のツールを使って，依存関係のライセンスを確認してみます． 例 package.json { "private": true, "dependencies": { "vue": "^3.3.4" }, "devDependencies": { "license-checker": "^25.0.1" } } license-ch…

ブラウザーで実行する JavaScript において，無限ループで処理が進まなくなってしまう不具合が発生した場合に，修正する方法を検討します． Python など実行を強制終了 (Control+C) できる言語ならば，終了時のスタックトレースを確認することで無限ループの…

Django で単体テストを作成しているときに，Python の unittest を継承している*1からと思って，クラスの初期化を setUpClass() 関数に記載してました． class DummyTest(TestCase): @classmethod def setUpClass(cls): ... setUpTestData()関数を使う ある…

Node.js はシングルスレッドで実行されるので，排他処理は原則不要ですが，非同期関数が含まれるとその限りではないと思ったので，排他処理ができるライブラリを探したのですが，自分で作った方が簡単だと思ったので，実験してみました． 以下のソースコード…

JavaScript で大きなサイズのデータを扱いたかったので， stream の使い方をまとめます． 以下のソースコードは全て TypeScript の Vitest 用単体テストです． ReadableStream まずは ReadableStream を扱ってみます． ReadableStream - Web API | MDN impor…

Cloudflare のビルドシステムに含まれるライブラリのバージョンは古い状態になっていました． Node.js 12.18.0 *1 これは3年前のバージョンです*2． しかし，V2 Build System が導入されたことにより，改善されました． Language support and tools · Cloudf…

CPUは高速に処理するためにどのようなしくみで動作しているのか？ いまいちよく分からなかったので，本で勉強することにしました．専門的なCPUの本はおそらく理解できないだろうと思ったので，読みやすそうな本を探したところ，以下の本を見つけました． プ…

エクセルのN番目のセル番号を取得する関数は，少し変則的な表記であることを知りましたので，メモしておきます． エクセルのセル番号は以下のように増えていきます． 1,2,...,26 → A,B,...Z 27,28,29,...,701,702 → AA,AB,AC,..ZY,ZZ 703,704,705,...,18277,…