Tenstorrent Blackhole でモデルを推論してみる

ConvNeXt

今回は例として ConvNeXt を Blackhole で推論させてみようと思います。 近年画像認識界隈は ViT (Vision Transformer) が主流になりつつありますが CNN もまだ戦える！ということで作られたのが ConvNeXt というモデルです。 ViT のアイディアを取り込んだ CNN です。

Tenstorrent の

環境構築

リファレンス実装

何はともあれ初手は Huggingface からリファレンスとなる実装を持ってきます。 デプロイには以下の３つが必要です。

1. モデルの実装
2. モデルのウェイト
3. 評価データセット

PyTorch で ConvNeXt が動きました！

Tenstorrent 実装

最適化

エージェント時代のモデルデプロイ

エージェントだからといって、特に特殊なことはしていません。 従来人間がやっていた仕事をエージェントにやらせているにすぎません。

唯一の違いは よくわからないまま 実装できてしまう点です。このような最適化はアーキテクチャについて理解していないとできない仕事でしたが、エージェントに任せれば初心者でも最適化ができる時代になりました。

一方で、エージェントに適切な助言をすることで、最適化にかかるトークン消費量を減らせます。要は人件費ですね。 主たる人間様が理解していないのはよくなかろう、ということで次回から Tenstorrent Blackhole のアーキテクチャを深堀りしてみます。