自分用メモです． autoencoding autoregressive batch normalization broadcasting causal computational graph convolution convolutional criterion derivative dropout embedding finetune gradient gradient descent method large language models (LLM)…

Ray は Apache-2.0 license *1 で公開されている， AI 関連や Python の処理を簡単に並列化して大規模に実行可能にするフレームワークです*2．この中に Ray Tune というライブラリがあります． Ray Tune: Hyperparameter Tuning Ray Tune: Hyperparameter Tu…

もともとの論文には，Transformer は encoder と decoder を含む構造として記載されています． *1 もう少しわかりやすい図があったので紹介します． *2 Encoder / Decoder 実際には encoder と decoder はどちらかがあればモデルとして成立するので， encode…

機械学習では，たくさんのデータを利用してモデルを学習させる手法なので，データを統計学的に適切に扱う必要があります． 機械学習では，モデルの訓練と評価に同じデータセットを使用してはいけないという原則があります．モデルは単純にデータセットを丸暗…

Docker Desktop The #1 containerization software for developers and teams Docker Desktop: The #1 Containerization Tool for Developers | Docker 便利なソフトウェアだと思いますが，必ずしも無料ではありません． Pricing | Docker また，実行速度やC…

PyTorch のチュートリアルのソースコードを見ていて，理解できない部分がありました．該当部分を抜粋して引用します． class NeuralNetwork(nn.Module): def __init__(self): super().__init__() self.flatten = nn.Flatten() self.linear_relu_stack = nn.S…

RuntimeError: Placeholder storage has not been allocated on MPS device! というエラーを修正するために調べたことをまとめます． torch.Tensor は保存するデバイスを指定でき，Tensor.device プロパティで確認できます． Tensor Attributes — PyTorch 2.…