Search Results Falcon

「Amazon SageMaker JumpStartを使用してFalconでHCLS文書要約アプリケーションを作成する」

健康医療と生命科学（HCLS）の顧客は、より多くのデータを活用するために生成AIをツールとして採用していますユースケースには、ドキュメントの要約化が含まれており、読者が文書の要点に焦点を当てるのを支援し、非構造化テキストを標準化された形式に変換して重要な属性を強調することがあります固有のデータ形式と厳格な規制要件がありますので、顧客の要件に対応するために[…]

Amazon SageMakerで@remoteデコレータを使用してFalcon 7Bやその他のLLMを微調整する

今日、生成型AIモデルはテキスト要約、Q&A、画像やビデオの生成など、さまざまなタスクをカバーしています出力の品質を向上させるために、n-短期学習、プロンプトエンジニアリング、検索補完生成（RAG）およびファインチューニングなどの手法が使用されていますファインチューニングにより、これらの生成型AIモデルを調整して、ドメイン固有の改善されたパフォーマンスを達成することができます

「Falcon 180B あなたのコンピューターで動作しますか？」

2023年5月、アブダビのテクノロジーイノベーション研究所（TII）は、Falcon-7BとFalcon-40Bの2つの事前学習済みLLMとそれらのチャットバージョンをリリースしましたこれら2つのモデルは非常に優れた性能を示しました...

TIIのFalcon 180B基本モデルは、Amazon SageMaker JumpStartを通じて利用可能です

今日は、テクノロジーイノベーション研究所（TII）が開発したFalcon 180B基礎モデルが、お客様がAmazon SageMaker JumpStartを通じて利用できることをお知らせいたしますこのモデルは、推論実行のためのワンクリック展開が可能ですFalcon 180Bは、1800億パラメータのサイズであり、3.5兆トークンの巨大なデータセットでトレーニングされていますFalcon 180Bは、公開された重みを持つ最大かつ最もパフォーマンスの高いモデルの一つですSageMaker JumpStartを使用して、このモデルをお試しいただけますSageMaker JumpStartは、アルゴリズム、モデル、および機械学習（ML）ソリューションへのアクセスを提供するMLハブであり、迅速にMLを始めることができますこの記事では、SageMaker JumpStartを介してFalcon 180Bモデルを発見して展開する方法について説明します

「Falcon 180Bをご紹介します：1800億のパラメータを持つ、公開されている最大の言語モデル」

強力かつ多目的な言語モデルへの需要は、自然言語処理と人工知能においてますます迫り来るものとなっています。これらのモデルは、チャットボットや仮想アシスタントから機械翻訳や感情分析まで、多数のアプリケーションの基盤となっています。しかし、さまざまな言語のタスクで優れたパフォーマンスを発揮できる言語モデルを構築することは、依然として複雑な課題です。最近のブレークスルーは、この中心的な問題に対処することを目指しています。先進的な言語モデルの開発を追求するなかで、研究者はしばしばモデルのサイズ、トレーニングデータ、多目的性に関連する制約に直面してきました。これらの制約により、異なるモデルが特定のタスクで優れている一方で、真にワンサイズフィットオールの解決策と言えるのは一部のモデルに限られています。テクノロジーイノベーション研究所（TII）の研究者は、画期的な言語モデル「Falcon 180B」を紹介しました。Falcon 180Bは、1800億のパラメータを誇る言語モデルの飛躍的な進化を体現しています。しかし、これまでのモデルや競合他社との差別化要因は、そのサイズと多目的性、そして利用のしやすさにあります。Falcon 180Bは最初の大規模な言語モデルではありませんが、オープンアクセスの性質が特徴です。多くのクローズドソースモデルがプロプライエタリなままであるのに対し、Falcon 180Bは研究や商業利用のために利用可能に設計されています。このオープンアクセスへのシフトは、透明性と協力がますます重要視されるAIコミュニティ全体のトレンドと一致しています。 Falcon 180Bの素晴らしい機能は、驚異的な3.5兆のトークンを含む多様なデータセットでのトレーニングによってもたらされています。この膨大なテキストコーパスにより、モデルは言語と文脈の理解において他に類を見ない能力を持ち、幅広い自然言語処理タスクで優れたパフォーマンスを発揮することができます。このモデルの主な強みの一つは、推論、コーディング、熟練度評価、知識テストなど、多様な言語タスクを処理できる能力です。この多目的性は、ウェブデータ、会話、技術論文、さらにはコードの一部まで含まれる豊富で多様なデータセットに対するトレーニングによるものです。Falcon 180Bは、MetaのLLaMA 2などのクローズドソースの競合モデルに引けを取らないパフォーマンスを発揮します。 Falcon 180Bの重要性を示すものとして、Hugging Face Leaderboardでのランキングが挙げられます。現在、Falcon 180Bは競争力のあるスコア68.74を保持しており、このリーダーボードのランキングは、多くの言語関連の課題に対応できるトップクラスの言語モデルであることを確固たるものにしています。まとめると、TIIのFalcon 180Bは自然言語処理の分野において大きな進歩を表しています。そのサイズ、トレーニングデータ、オープンアクセスの可用性により、研究者や開発者にとって強力かつ多目的なツールとなっています。Falcon 180Bをオープンアクセスに提供するという決定は、透明性と協力の重要性が増しているAIコミュニティとの一致点として特筆されます。 Falcon 180Bの導入による影響は広範囲に及びます。1800億のパラメータを持つオープンアクセスモデルを提供することで、TIIは研究者や開発者が自然言語処理の新たな領域を探求する力を与えます。クローズドソースの対抗モデルと比較して、このモデルの競争力のあるパフォーマンスは、医療、金融、教育などさまざまな分野でのイノベーションの可能性を広げるものです。さらに、Falcon 180Bの成功は、AIにおけるオープンソースイニシアチブの価値を示しています。研究者が協力とアクセス可能性を優先すると、AIのブレークスルーはより広範な観衆にとってアクセス可能になります。AIコミュニティが透明性、協力、AIの能力の向上に取り組む原則をますます受け入れていく中で、Falcon…

「翼を広げよう：Falcon 180Bがここにあります」

はじめに本日は、TIIのFalcon 180BをHuggingFaceに歓迎します！ Falcon 180Bは、オープンモデルの最新技術を提供します。1800億のパラメータを持つ最大の公開言語モデルであり、TIIのRefinedWebデータセットを使用して3.5兆トークンを使用してトレーニングされました。これはオープンモデルにおける最長の単一エポックの事前トレーニングを表しています。 Hugging Face Hub（ベースモデルとチャットモデル）でモデルを見つけることができ、Falcon Chat Demo Spaceでモデルと対話することができます。 Falcon 180Bは、自然言語タスク全体で最先端の結果を実現しています。これは（事前トレーニング済みの）オープンアクセスモデルのリーダーボードをトップし、PaLM-2のようなプロプライエタリモデルと競合しています。まだ明確にランク付けすることは難しいですが、PaLM-2 Largeと同等の性能を持ち、Falcon 180Bは公に知られている最も能力のあるLLMの一つです。このブログ投稿では、いくつかの評価結果を見ながらFalcon 180Bがなぜ優れているのかを探求し、モデルの使用方法を紹介します。 Falcon-180Bとは何ですか？ Falcon 180Bはどれくらい優れていますか？ Falcon 180Bの使用方法は？デモハードウェア要件…

ライトオンAIは、Falcon-40Bをベースにした新しいオープンソースの言語モデル（LLM）であるAlfred-40B-0723をリリースしました

画期的な動きとして、LightOnは誇りを持って、Falcon-40Bに基づく革新的なオープンソースの言語モデル（LLM）であるAlfred-40B-0723のローンチを発表しました。この最先端のモデルは、ジェネレーティブAIをシームレスにワークフローに統合したい企業のニーズに特化して設計された、そのようなモデルとしては初めてのものです。エンタープライズは、Alfredとともに、ジェネレーティブAIのフルポテンシャルを引き出し、効率的に目標を達成するための頼れるパートナーを手に入れました。 Alfredは、そのコアとなる強力かつ多機能な言語モデルで、従来のLLMとは一線を画するさまざまなキーフィーチャーを提供しています。その1つの特徴的な機能は、「プロンプトエンジニアリング」であり、Alfredはユーザーが特定のニーズに合わせて効果的なプロンプトを構築し評価するのに優れています。このユニークな機能により、高い精度とパフォーマンスが保証され、企業は各自の産業で競争力を持つことができます。さらに、Alfredの「ノーコードアプリケーション開発」機能を利用すると、コーディングの知識がなくてもアプリケーションを作成することができます。この時間の節約機能は、開発を加速するだけでなく、貴重なリソースを節約するため、ワークフローを最適化したい企業にとって理想的な選択肢です。最先端の機能に加えて、Alfredは、コンテンツの要約、ドキュメントのクエリ応答、コンテンツの分類、およびキーワードの抽出など、言語モデルに期待されるすべての従来のタスクを実行することができます。その多様性により、さまざまな産業において広範な応用が可能な貴重なツールとなっています。 Alfred-40B-0723は、ジェネレーティブAIのコパイロットであるFalcon RLHFによってパワードされており、この分野での重要な進歩を表しています。人間のフィードバックからの強化学習を活用したAlfredは、LightOnの専任チームによって注釈が施された公開データセットと高度にキュレーションされたデータのミックスを用いて徹底的にトレーニングされています。この入念なトレーニングプロセスにより、Alfredは頑健でありながらも複雑なタスクに対して高品質な出力を理解し提供する能力を備えています。エンタープライズ向けのジェネレーティブAIプラットフォームであるParadigmは、Alfred-40B-0723の真のポテンシャルを最大限に活用しています。Alfredは、ユーザーがタスクの成功基準を定義し、プロンプトを洗練させるのをサポートするジェネレーティブAIのコパイロットとして、この進化し続ける分野への進出を検討している人々にとって、すぐに使えるソリューションを提供します。ただし、LightOnはAlfredをオープンソースモデルとして提供していますが、Paradigmプラットフォームバージョンにはさらなる進化があり、ジェネレーティブAIの限界を押し広げることにLightOnが取り組んでいることを示しています。 Alfred-40B-0723のトレーニングには、スケーラブルなインフラストラクチャを提供するAWS SagemakerとのLightOnのパートナーシップが重要な役割を果たしています。このコラボレーションにより、モデルの効率性と信頼性が確保され、個々の開発者と大規模な組織の両方にアクセス可能となっています。ジェネレーティブAIコミュニティ内でのコラボレーションとイノベーションを促進するためのLightOnの取り組みの一環として、Alfredは現在HuggingFaceでも利用可能であり、Foundation Models向けのAWS Jumpstartでも近日中に利用可能となります。オープンソースモデルとしてAlfred-40B-0723を共有することで、LightOnは開発者、研究者、組織に対して可能性を探求し、さらなる開発に貢献することを招待しています。ジェネレーティブAIコミュニティ内での協力は、その全ての可能性を解き放つために不可欠であり、さまざまな産業を変革するのに役立ちます。まとめると、Alfred-40B-0723は、ジェネレーティブAIの世界での大きな進歩を表しています。その高度な機能と協力的でオープンなアプローチにより、ワークフローを向上させ、ジェネレーティブAIの変革力を活用することを求める企業にとって貴重な資産となっています。信頼できる味方としてのAlfredと共に、エンタープライズは革新の旅に乗り出し、最先端のテクノロジーによって支えられた未来を受け入れることができます。

「FalconAI、LangChain、およびChainlitを使用してチャットボットを作成する」

イントロダクションジェネレーティブAI、特にジェネレーティブ大規模言語モデルは、その誕生以来世界を席巻しています。これは、動作可能なプログラムコードを生成することから完全なジェネレーティブAI管理のチャットサポートシステムを作成するまで、さまざまなアプリケーションと統合できたために可能になりました。しかし、ジェネレーティブAIの領域における大規模言語モデルのほとんどは、一般には非公開で、オープンソース化されていませんでした。オープンソースモデルは存在しますが、非公開の大規模言語モデルとは比べものになりません。しかし最近、FalconAIというLLMがリリースされ、OpenLLMのリーダーボードでトップに立ち、オープンソース化されました。このガイドでは、Falcon AI、LangChain、Chainlitを使用してチャットアプリケーションを作成します。学習目標ジェネレーティブAIアプリケーションでFalconモデルを活用する Chainlitを使用して大規模言語モデルのUIを構築するハギングフェイスの事前学習モデルにアクセスするための推論APIで作業する LangChainを使用して大規模言語モデルとプロンプトテンプレートを連鎖させる LangChain ChainsをChainlitと統合してUIアプリケーションを作成するこの記事はData Science Blogathonの一部として公開されました。 Falcon AIとは何ですか？ジェネレーティブAIの分野では、Falcon AIは最近導入された大規模言語モデルの一つで、OpenLLMのリーダーボードで第1位を獲得しています。Falcon AIはUAEのテクノロジーイノベーション研究所（TII）によって導入されました。Falcon AIのアーキテクチャは推論に最適化された形で設計されています。最初に導入された時、Falcon AIはLlama、Anthropic、DeepMindなどの最先端のモデルを抜いてOpenLLMのリーダーボードのトップに立ちました。このモデルはAWS Cloud上でトレーニングされ、2ヶ月間連続で384のGPUが接続されました。現在、Falcon AIにはFalcon 40B（400億パラメータ）とFalcon…

Falcon-7Bの本番環境への展開

これまでに、ChatGPTの能力と提供するものを見てきましたしかし、企業利用においては、ChatGPTのようなクローズドソースモデルは、企業がデータを制御できないというリスクがあるかもしれません...

Falcon AI 新しいオープンソースの大規模言語モデル

はじめに Open AIによるGPT（Generative Pre Trained）の発表以来、世界はGenerative AIによって大いに沸き立っています。その後、多くのGenerative Modelsが登場しました。新しいGenerative Large Language Modelsがリリースされるたびに、AIは人間の知性により近づいてきました。しかし、Open AIコミュニティはGPTファミリーの強力なLarge Language Modelsをクローズドソース化しました。幸いなことに、Falcon AIという非常に能力が高いGenerative Modelが他のLLMsを凌駕し、オープンソースとなり、誰でも使用できるようになりました。学習目標 Falcon AIがLLM Leaderboardのトップになった理由を理解する Falcon AIの能力を学ぶ Falcon AIのパフォーマンスを観察する PythonでFalcon…

Learn more about Search Results Falcon