Search Results コミュニティ

「2023年、オープンLLMの年」

2023年には、大型言語モデル（Large Language Models、LLMs）への公衆の関心が急増しました。これにより、多くの人々がLLMsの定義と可能性を理解し始めたため、オープンソースとクローズドソースの議論も広範な聴衆に届くようになりました。Hugging Faceでは、オープンモデルに大いに興味を持っており、オープンモデルは研究の再現性を可能にし、コミュニティがAIモデルの開発に参加できるようにし、モデルのバイアスや制約をより簡単に評価できるようにし、チェックポイントの再利用によってフィールド全体の炭素排出量を低減するなど、多くの利点があります（その他の利点もあります）。では、オープンLLMsの今年を振り返ってみましょう！文章が長くなりすぎないようにするために、コードモデルには触れません。 Pretrained Large Language Modelの作り方まず、大型言語モデルはどのようにして作られるのでしょうか？（もし既に知っている場合は、このセクションをスキップしてもかまいません）モデルのアーキテクチャ（コード）は、特定の実装と数学的な形状を示しています。モデルのすべてのパラメータと、それらが入力とどのように相互作用するかがリストとして表されます。現時点では、大部分の高性能なLLMsは「デコーダーのみ」トランスフォーマーアーキテクチャのバリエーションです（詳細は元のトランスフォーマーペーパーをご覧ください）。訓練データセットには、モデルが訓練された（つまり、パラメータが学習された）すべての例と文書が含まれています。したがって、具体的には学習されたパターンが含まれます。ほとんどの場合、これらの文書にはテキストが含まれており、自然言語（例：フランス語、英語、中国語）、プログラミング言語（例：Python、C）またはテキストとして表現できる構造化データ（例：MarkdownやLaTeXの表、方程式など）のいずれかです。トークナイザは、訓練データセットからテキストを数値に変換する方法を定義します（モデルは数学的な関数であり、したがって入力として数値が必要です）。トークン化は、テキストを「トークン」と呼ばれるサブユニットに変換することによって行われます（トークン化方法によっては単語、サブワード、または文字になる場合があります）。トークナイザの語彙サイズは、トークナイザが知っている異なるトークンの数を示しますが、一般的には32kから200kの間です。データセットのサイズは、これらの個々の「原子論的」単位のシーケンスに分割された後のトークンの数としてよく測定されます。最近のデータセットのサイズは、数千億から数兆のトークンに及ぶことがあります！訓練ハイパーパラメータは、モデルの訓練方法を定義します。新しい例ごとにパラメータをどれだけ変更すべきですか？モデルの更新速度はどのくらいですか？これらのパラメータが選択されたら、モデルを訓練するためには1）大量の計算パワーが必要であり、2）有能な（そして優しい）人々が訓練を実行し監視する必要があります。訓練自体は、アーキテクチャのインスタンス化（訓練用のハードウェア上での行列の作成）および上記のハイパーパラメータを使用して訓練データセット上の訓練アルゴリズムの実行からなります。その結果、モデルの重みが得られます。これらは学習後のモデルパラメータであり、オープンな事前学習モデルへのアクセスに関して多くの人々が話す内容です。これらの重みは、推論（つまり、新しい入力の予測やテキストの生成など）に使用することができます。事前学習済みLLMsは、重みが公開されると特定のタスクに特化または適応することもあります。それらは、「ファインチューニング」と呼ばれるプロセスを介して、ユースケースやアプリケーションの出発点として使用されます。ファインチューニングでは、異なる（通常はより専門化された小規模な）データセット上でモデルに追加の訓練ステップを適用して、特定のアプリケーションに最適化します。このステップには、計算パワーのコストがかかりますが、モデルをゼロから訓練するよりも財政的および環境的にはるかにコストがかかりません。これは、高品質のオープンソースの事前学習モデルが非常に興味深い理由の一つです。コミュニティが限られたコンピューティング予算しか利用できない場合でも、自由に使用し、拡張することができます。 2022年 – サイズの競争からデータの競争へ 2023年以前、コミュニティで利用可能だったオープンモデルはありましたか？ 2022年初頭まで、機械学習のトレンドは、モデルが大きければ（つまり、パラメータが多ければ）、性能が良くなるというものでした。特に、特定のサイズの閾値を超えるモデルは能力が向上するという考えがあり、これらの概念はemergent abilitiesとscaling lawsと呼ばれました。2022年に公開されたオープンソースの事前学習モデルは、主にこのパラダイムに従っていました。 BLOOM（BigScience Large Open-science…

スマートな意思決定：AIが従業員の転居計画を向上させる方法

「あなたがふかふかのアームチェアに落ち着いている想像をしてみてください空気中には新しく淹れたコーヒーの香りが漂っていますそれでは、従業員の移転計画について考えてみましょうまるで賑やかな都市の中を進むような感じですあちこちで考慮すべき事柄や物流の複雑さが溢れていますしかし、ここで順調になるのはAIが登場するときです... スマートな意思決定 AIが従業員の移転計画をどのように強化するのか詳細を読む」

Tech

マンバ：シーケンスモデリングの再定義とトランスフォーマーアーキテクチャの超越

「マンバの画期的なシーケンスモデリング手法を探求し、効率的な処理と先進的な状態空間メカニズムにより、従来のモデルを超えてくださいマンバとともに、AIの未来に飛び込んでください」

パスライトのCTO兼共同創設者、トレイ・ドイグのインタビューシリーズ

トレイ・ドイグは、パスライトの共同創設者兼CTOですトレイは、IBM、クリエイティブ・コモンズ、Yelpでエンジニアとして働いた経験を持つ、テック業界で10年以上の経験を持っていますTreyは、Yelp Reservationsのリードエンジニアであり、SeatMeの機能をYelp.comに統合する責任を負っていましたTreyはまた、SeatMeウェブアプリケーションの開発を率いました...

Sudowriteのレビュー：AIが人間らしい小説を書けるのか？

「AIは本当に人間のように小説を書くことができるのか？ Sudowriteの詳細を知り、このSudowriteのレビューで真実を解明しましょう」

AI 幻覚の危険性：課題と影響の解明

「AIの幻覚に魅了される探求に乗り出しましょう ― その複雑な原因を解明し、結果をナビゲートし、重要な保護策を見つけましょう」

「NeurIPS 2023のハイライトと貢献」

「ニューラル情報処理システム（Neural Information Processing Systems）カンファレンスであるNeurIPS 2023は、学問的な追及とイノベーションの頂点として存在していますAI研究コミュニティーで崇拝されるこの一流イベントは、再び最も優れた知識と技術の領域を突破しようとする優れたマインドを集めました今年、NeurIPSは印象的な研究の数々を披露し、知識と技術の範疇において重要なマイルストーンを打ち立てました」

Artificial Intelligence

コンテナの力を解放する：あらゆる開発ニーズに対応するトップ20のDockerコンテナを探索する

イントロダクション Dockerコンテナは、ソフトウェア開発とデプロイメントの急速に進化する風景で欠かせないツールとして登場しました。アプリケーションをパッケージ化、配布、実行するための軽量かつ効率的な方法を提供しています。この記事では、さまざまなカテゴリーでのトップ20のDockerコンテナについて詳しく説明し、その機能、使用例、開発ワークフローの合理化への貢献を紹介します。 Webサーバーとコンテンツ管理 Webサーバー Nginx Nginxは、優れたパフォーマンスと拡張性で称賛される多目的のWebサーバーおよびリバースプロキシです。軽量な構造と同時接続の適切な管理により、効率を求める開発者にとって上位の選択肢となっています。主な特徴には、堅牢な負荷分散機能、静的コンテンツの効率的な処理、高度なセキュリティ機能があります。その用途は、静的ウェブサイトの提供からマイクロサービスの負荷分散、アプリケーションサーバーのリバースプロキシまでさまざまです。 Apache HTTP Server Apache HTTP Serverは、Webサーバーのランドスケープでの草分けとして、動的なコンテンツの配信において堅固なオプションです。モジュラーデザインと豊富な設定可能性のために有名で、さまざまなアプリケーションに容易に適応できます。主な特徴には、包括的なモジュールサポート、優れた設定可能性、堅牢なコミュニティの支援があります。その用途は、動的ウェブサイトのホスティング、PHPアプリケーションの実行、さまざまなウェブベースのアプリケーションのバックエンドサーバーまで広がっています。 Traefik もう1つのDockerコンテナであるTraefikは、マイクロサービスアーキテクチャに特化した現代のリバースプロキシとロードバランサーです。動的な構成と自動的なサービスディスカバリーが魅力で、コンテナ化された環境に最適な選択肢となっています。主な特徴には、自動的なサービスディスカバリー、コンテナオーケストレーションツールとのシームレスな統合、Let’s Encryptのサポートが含まれており、SSL/TLS証明書の自動プロビジョニングを可能にします。その用途は、マイクロサービスの負荷分散や指定されたルールに基づいたトラフィックルーティングから、SSL/TLS証明書を自動的に管理することによるセキュアな通信の促進まで、現代のインフラストラクチャセットアップにおける重要なツールとなっています。コンテンツ管理システム WordPress WordPressは、インターネットの大部分を支える支配的なコンテンツ管理システムです。WordPressをDocker化することで、展開を合理化し、拡張性のある環境でコンテンツ管理ニーズを効率化することができます。その大きな特徴は、広範なプラグインエコシステム、ユーザーフレンドリーなインターフェース、堅牢なコミュニティのサポートです。ブログやコンテンツ作成を支援するだけでなく、ビジネスウェブサイトの構築やオンラインコミュニティの監督など、さまざまなウェブ関連の活動に適応する柔軟なソリューションとなっています。データベースとデータストア関係性データベース MySQL MySQLは、広く使われているオープンソースの関係性データベースで、高速性と信頼性が評価されています。MySQLのDocker化は、さまざまなアプリケーションでのデータベースの設定と管理を簡素化します。ACID準拠、レプリケーションとクラスタリングの堅牢なサポート、高性能な機能が主な特徴です。その用途は、ウェブアプリケーションのバックエンドストレージ、eコマースプラットフォームのデータストレージの管理、コンテンツ管理システムのサポートなど、さまざまなドメインでのさまざまなストレージニーズの適応性を示しています。 PostgreSQL PostgreSQLは、拡張性と標準への厳格な準拠で称賛される堅牢なオープンソースの関係性データベースです。PostgreSQLのDocker化により、展開に柔軟性をもたらす移植可能なレプリケーション可能なデータベース環境が実現できます。その特徴には、カスタム関数と演算子による拡張性、データの信頼性を保証するACID準拠、複雑なクエリの強力なサポートが含まれます。その用途は、ジオグラフィック情報システム（GIS）のパワーリング、データウェアハウジングのニーズのサポート、金融アプリケーションの複雑な要件への対応など、厳密なデータ処理とクエリ処理機能を必要とするさまざまなドメインに広がっています。…

「コンピュータビジョン101」

コンピュータビジョンの進歩により、未来には莫大な可能性がありますその変革的な影響は、さまざまな産業にまたがっています

「無料ハーバード講座：PythonでのAI入門」

「Pythonを使った人工知能の学びに最適なコースを探していますか？ハーバード大学の無料コースをチェックしてみてください！」

Python

Learn more about Search Results コミュニティ - Page 3