管理人

本記事では、RWKVとよばれるモデルのアーキテクチャについて詳しく説明します。 はじめに 自然言語処理の分野において、Transformer[1]の登場以前に一般的に使用されてきたRNN[2]はいくつ ...

はじめに 本記事では、Attention Free Transformer[1]と呼ばれるモデルのアーキテクチャについて解説します。 はじめに大枠を説明します。近年ではTransformer[2]と呼 ...

Transformer[1]は、自然言語処理の領域を超えて、画像処理などの分野でも高いパフォーマンスを達成することができる、という大きな特徴を持っています。一般的に、Transformerがこのような ...

はじめに 皆さんは、日常生活の中で、視覚や聴覚、触覚など、さまざまな感覚を同時に使って情報を処理しています。これは、人間が複数の感覚情報を統合的に知的処理している、いわゆる「マルチモーダル[1]」な処 ...

近年、追加学習無しで新たなデータに対応できる学習方法、すなわち「ゼロショット学習[1]」への関心が高まっています。この興味深い進展は、自然言語処理（Natural Language Processin ...

本記事では、Jetson AGX Orinに後付けした、M.2 SSDにJetPackを書き込む方法について説明します。ちなみに、M.2 SSDではなくeMMCに書き込む場合でも、手順は基本的には同じ ...

基盤モデルの概要 基盤モデル（Foundation Models: FM）とは、膨大なデータを用いて訓練され、多くの下流のタスクに適応することができる大規模モデルを指します[1]。 研究開発において、 ...

本記事では1982年に提案されたClassicalなHopfield Networkについて詳しく知ることを目標に、解説していきたいと思います。 連想記憶とHopfield Network 連想記憶と ...

近年、機械学習分野で大きな成果をあげているTransformer[1]において、その中核をなすScaled Dot-Product Attention[1]には、革新的な仕組みが備わっています。その仕 ...

Transformer[1]の核心となる仕組みであるAttentionは、入力シーケンス内の各トークン間の関連性に基づいて注意の計算を行います。それにより、Transformerは従来の系列処理におい ...