|
日本語特化モデルにはこんな可能性があるかも
|
ソフトバンク傘下のSB Intuitionsが、自社開発の国産LLM「Sarashina 3」のサービスを始めた。当面は無料で、Webからチャットアプリとしても使える他、APIキーを発行して好きなAIアプリに組み込むこともできる。使い方次第で可能性はありそうに、筆者は感じている。
|
推論モデルではないし、おそらくパラメータ数も巨大ではないので米国のフロンティアモデルには“頭の良さ”ではかなわない。しかし、日本語の流暢さならどうか。
|
GPTやClaudeなどのフロンティアモデルが現在最も力を入れているのは、コーディングを使ったより長時間のタスク解決能力にある。もちろん日本語を含め多国語を話せるのだが、フロンティアモデルの日本語出力を見ていると、コーディング能力を重視しているせいか、どうにも日本語の語彙がおかしいときがある。
|
ならば、命令は日本語で行い、フロンティアモデルが英語でタスク解決や成果物の作成を行い、Sarashinaのような日本語特化モデルに英語の成果物を翻訳させる、というのはどうだろうか。
|
少し前は、そうした変換自体が情報の損失にもなるためかえって性能が落ちると言われていたが、現在の状況なら違った景色になるかもしれない。
|
そう考え、GPT-6 Astraに作らせた英語の文章を、Astra自身とSarashina 3 Translateに翻訳させてみた(末尾参照)。
|
である調かですます調かの違いは置いておいても、違いは感じられるのではないだろうか。Astraはattention output projectionというワードを無理やり日本語に直し、dtypeという単語は解釈せずにそのまま出している一方、Sarashina 3 Translateは無理やりの翻訳はせず、逆にdtypeは「データ型」と翻訳している。
|
この一例だけで判断はできないが、「日本語として解釈しやすいようにする」という用途には有用な可能性があるのではないだろうか。(井上)
|
原文: Names are semantically important. A tensor called an attention output projection cannot be replaced with another matrix merely because its byte length matches. The family loader knows which names, shapes, and dtypes correspond to each architectural role. It may fuse several source projections into one runtime object, but that transformation is deliberate and checked.
|
Astra: 名前には意味上の重要性がある。アテンションの出力射影を表す名前のテンソルを、バイト長が一致するという理由だけで別の行列に置き換えることはできない。ファミリーローダーは、アーキテクチャ上の各役割にどの名前、形状、dtypeが対応するかを把握している。複数のソース射影を一つの実行時オブジェクトに融合する場合もあるが、その変換は意図的に行われ、検査される。
|
Sarashina 3 Translate: 名前は意味的に重要です。「attention output projection」という名前のテンソルは、バイト長が一致するからといって別の行列に置き換えることはできません。ファミリーローダーは、各アーキテクチャ上の役割に対応する名前、形状、データ型を把握しています。複数のソース投影を1つの実行時オブジェクトに統合することもありますが、その変換は意図的に行われ、検証されます。
|
|
|