Look back on the week.
English
- Nothing special
Tech
- Open Source活動
- [WIP] Improve logging by mshr-h · Pull Request #412 · mshr-h/vscode-verilog-hdl-support
- モジュール構造を考慮したログを出力したくて、Logging実装の改善に取り組み中
- とりあえず作ってみた
- [WIP] Improve logging by mshr-h · Pull Request #412 · mshr-h/vscode-verilog-hdl-support
- Kria KV260関連
- O’Reilly Japan - 入門 モダンLinux
- 気になる
- LLM(Large Language Model)を調べた
- LLM Introduction: Learn Language Models
- FLAN (FinetunedLAnguage Net)
- GPT (Generative Pre-trained Transformer)
- microsoft/LoRA: Code for loralib, an implementation of “LoRA: Low-Rank Adaptation of Large Language Models”
- ChatGPT 人間のフィードバックから強化学習した対話AI - Speaker Deck
- Cerebras-GPT vs LLaMA AI Model Comparison | LunaTrace
- PyTorch Profiler — PyTorch Tutorials 2.0.0+cu117 documentation
- operatorごとの処理時間、メモリ使用量などを測定するためのPyTorch公式プロファイラ
- 基本的な使い方は、プロファイラのコンテキストマネージャ
torch.profiler.profileで測定範囲をwrapする - 測定範囲を
torch.profiler.record_functionでwrapすることでラベル付けも可能
- Jetson AGX Xavier
- Windows 11 + VMware Workstation Playerの環境でNVMe SSDにインストール成功
- 各種ツールインストール
- PyTorch
- torchvision
- https://forums.developer.nvidia.com/t/pytorch-for-jetson/72048/573を参考にソースビルド
python3 setup.py install --user --prefix=でインストール
- 【組み込みマシンで大規模言語モデル】JetsonでFlexGenは動くのか？ | AGIRobots
- 動かした
- jtopコマンド
- Jetson nanoの負荷の状況を表示するコマンド – CPU/GPUの使用率を見る | FABSHOP.JP -デジタルでものづくり！ ファブショップ ！
sudo pip3 install -U jetson-stats- 一般ユーザ権限ではインストールできなかった
- インストール後に
sudo systemctl restart jtop.serviceを実行し、端末からログアウトする必要がある
- Apache TVM
- cmakeは3.18以上必須であるが、インストールされているバージョンは3.16と古いので、最新版をインストールする必要がある
cd tvm; python3 setup.py develop --userでdevelopモードでインストールした
- dusty-nv/jetson-inference: Hello AI World guide to deploying deep-learning inference networks and deep vision primitives with TensorRT and NVIDIA Jetson.
- 動かした
- NVMe のパフォーマンス測定まとめ - Qiita
- fioコマンド
Rock climbing
- Nothing special