管理人

本記事では1982年に提案されたClassicalなHopfield Networkについて詳しく知ることを目標に、解説していきたいと思います。 連想記憶とHopfield Network 連想記憶と ...

近年、機械学習分野で大きな成果をあげているTransformer[1]において、その中核をなすScaled Dot-Product Attention[1]には、革新的な仕組みが備わっています。その仕 ...

Transformer[1]の核心となる仕組みであるAttentionは、入力シーケンス内の各トークン間の関連性に基づいて注意の計算を行います。それにより、Transformerは従来の系列処理におい ...

汎用人工知能の実現が目前に迫っているように感じる今日この頃、今後の汎用人工知能研究はどう進むのか気になることが多くなりました。 汎用人工知能を実現するには、人工知能の研究だけでなく、脳の研究や人間の研 ...

4脚ロボットの歩行において、足先の軌道生成はとても重要な一方で、難しくて分かりにくい領域の１つです。気軽に足先の軌道を生成させてみたくても、ROSを使う必要があったり、複雑な学術的な研究のソースコード ...

本記事では、Transformerの基礎として、Multi-Head Attentionの仕組みを分かりやすく解説します。 本記事の構成は、はじめにTransformerおよびTransformer ...

皆さんこんにちは！ 去年（2022年11月）に発表されたChatGPTの話題が尽きない今日この頃、ChatGPTで使われている重要な技術の１つであるTransformerについて、興味を持った方は沢山 ...

この記事では、近年注目されているマルチモーダルAIの分野で重要な研究テーマの1つであるfusion、すなわち、複数モーダルの統合方法について解説します。 マルチモーダルの重要性 近年、複数のモダリティ ...

みなさんは、Transformerについてどのようなイメージを持っていますか？最近は、BERT、GPTなどのTransformerベースのモデルが目を見張るような成果をだしているので、それらを想像する ...

物体検出のモデルであるR-CNNやSPP-netは学習プロセスが何段階に分かれており複雑という問題がありました。本記事で紹介する、Fast R-CNNは単一ステップの学習で同様の機能を実現できるように ...