トランスフォーマー

Transformer は2017年に米Googleの研究者が発表したディープラーニングの構造の一種。

従来のディープラーニングに比べて拡張性や記憶力、学習能力、汎用性に優れるとされ、生成AIを実現するための技術的なブレークスルーとされる。GPT-4など主要なAIモデルがトランスフォーマーを採用している。

Transformer が登場する以前のニューラルネットワークは、大規模なラベル付きデータセットでトレーニングしなければならず、その生成には多大なコストと時間が必要でした。たとえば猫の画像をAiにみせてそれは猫だよとラベルを付ける作業は人間が行わなければならなかったのです。

しかしTransformer は、要素間のパターンを数学的に発見することでその必要をなくし、自分でラベル付けができるようになったためにWeb 上や企業データベース内に存在する膨大な数の画像やテキスト データを利用できるようになったのです。しかも、Transformer が使用する計算は並列処理に適しているため、モデルの高速実行が可能です。