Search Results BLOOM

このフィンランド拠点のAIスタートアップがポロを発表：革命的なオープンソース言語モデルは、ヨーロッパの多言語AI能力を向上させます

ヨーロッパの言語に対して、英語よりもデータが少ない場合に大規模な言語モデルを作成することは、人工知能の世界では困難です。テックワールドの企業たちはこの問題に取り組んでおり、最近、フィンランドのヘルシンキに拠点を置くスタートアップ企業がこの問題に対する新しい解決策を提案しました。この前までは、いくつかの言語モデルが利用可能でしたが、それらは通常特定の言語に固有で、データが少ない言語に対しては性能が向上できる可能性がありました。問題は、これらのモデルがヨーロッパの各言語の固有の特性、文化、価値基盤を捉える必要があったということです。既存の解決策は限定的であり、より包括的なものが必要でした。今では、フィンランドのAIスタートアップがPoroというオープンソースのソリューションを開発しました。これは、欧州連合の公用語である24の言語をカバーすることを目指した大規模な言語モデルです。そのアイデアは、ヨーロッパの言語の多様性を理解し表現するモデルの系列を作ることです。このスタートアップは、これがデジタル主権にとって重要であり、これらのモデルによって生み出される価値がヨーロッパにとどまるようにする必要があると考えています。 Poroは、フィンランド語などのデータが少ない言語のための言語モデルのトレーニングの課題に取り組むために設計されています。クロスリンガルトレーニングの手法を使っており、よりデータが豊富な言語（例: 英語）のデータから学び、データが少ない言語におけるパフォーマンスを向上させるのです。 Poro 34Bモデルは、342億のパラメータを持ち、ALiBiエンベッディングと呼ばれるユニークなアーキテクチャであるBLOOM変換子を使用しています。これは、PythonやJavaなどの言語やプログラミング言語をカバーする大規模なマルチリンガルデータセットでトレーニングされます。そのトレーニングは、ヨーロッパで最速のスーパーコンピュータの1つで行われ、膨大な計算能力を提供します。スタートアップは、モデルのトレーニングプロセス中にチェックポイントをリリースし、進捗状況を示しています。Poroは30％の進捗でも最先端の結果を示しており、テストではフィンランド語において既存のモデルを上回り、英語のパフォーマンスに追いつくかそれを超える見込みです。まとめると、Poroはヨーロッパの言語にとって、AIにおける一歩前進を意味します。パワフルな言語モデルを作成するだけでなく、オープンで透明性のある方法でこれを行い、ヨーロッパの言語と文化の多様性を尊重することが重要です。成功すれば、Poroは主要なテック企業からの言語モデルに代わる国産の選択肢となり得る可能性があります。記事「This Finland-Based AI Startup Unveils Poro: A Revolutionary Open Source Language Model Boosting European Multilingual…