BERT (Bidirectional Encoder Representations)
BERTは、2018年10月にGoogleのチームが発表した、現代NLP（自然言語処理）の決定的なブレイクスルーとなったオープンソースモデルです。文章を双方向から読み込んで隠された単語を予測する手法（Masked Language Model）により、単語の本当の意味を文脈から理解させることに成功。Google検索の裏側をはじめ、世界中の文書分類・検索アルリズムを書き換えました。
コンテキスト許容量512 トークン
対応フォーマットテキスト
有料プランなし（オープンソース）
主な強み・メリット
- 「文脈を双方向（左から右、右から左）から同時に学習する」ことで、単語の持つ文脈的意味を極めて正確に捉えた
- 検索エンジン（Google検索）のアルゴリズムに組み込まれ、検索精度を劇的に向上させた
弱み・注意点
- ChatGPTのように、「ユーザーからの任意の指示に従って自由で新しい文章を書き出す」生成タスク（NLG）は苦手
- あくまでテキストの埋め込み（意味理解・分類）に特化している
ビジネスでの具体的な活用シーン
1
検索エンジンのインデックス処理における、検索クエリの「前後の文脈」を捉えた意図検索アルゴリズム
2
コールセンターに届く数万件の問い合わせテキストの、感情値分析（怒り・満足等）の自動分類バッチ処理
顧問直伝！効果を高めるプロンプトのコツ
生成モデルではないため文章作成には向きません。文意の類似度算出や、ラベル付け分類などのタスクに使用します。