Search Results 2022年

「フィル・ザ・ギャップス：フィリピンの2022年貿易ネットワークの隠されたつながりを解明する」

ネットワーク科学に没頭すると、最新の学術的追求として、馴染みのある感覚が再燃しました3学期前のプロジェクトを思い出し、再訪することを誓っていたプロジェクトに引き寄せられました...

安定した拡散：インテリアデザインの芸術をマスターする

この速い世界で、パンデミックの後、私たちの多くは、現実から逃れるための心地よい環境を持つことがどれだけ貴重で、追求すべき目標であるかを実感しましたそれが家であろうと、外であろうと、私たちの日常生活において居心地の良い場所を作り出すことは、心の安息であり、幸福感を与えてくれるのです

2023年には、大型言語モデル（Large Language Models、LLMs）への公衆の関心が急増しました。これにより、多くの人々がLLMsの定義と可能性を理解し始めたため、オープンソースとクローズドソースの議論も広範な聴衆に届くようになりました。Hugging Faceでは、オープンモデルに大いに興味を持っており、オープンモデルは研究の再現性を可能にし、コミュニティがAIモデルの開発に参加できるようにし、モデルのバイアスや制約をより簡単に評価できるようにし、チェックポイントの再利用によってフィールド全体の炭素排出量を低減するなど、多くの利点があります（その他の利点もあります）。では、オープンLLMsの今年を振り返ってみましょう！文章が長くなりすぎないようにするために、コードモデルには触れません。 Pretrained Large Language Modelの作り方まず、大型言語モデルはどのようにして作られるのでしょうか？（もし既に知っている場合は、このセクションをスキップしてもかまいません）モデルのアーキテクチャ（コード）は、特定の実装と数学的な形状を示しています。モデルのすべてのパラメータと、それらが入力とどのように相互作用するかがリストとして表されます。現時点では、大部分の高性能なLLMsは「デコーダーのみ」トランスフォーマーアーキテクチャのバリエーションです（詳細は元のトランスフォーマーペーパーをご覧ください）。訓練データセットには、モデルが訓練された（つまり、パラメータが学習された）すべての例と文書が含まれています。したがって、具体的には学習されたパターンが含まれます。ほとんどの場合、これらの文書にはテキストが含まれており、自然言語（例：フランス語、英語、中国語）、プログラミング言語（例：Python、C）またはテキストとして表現できる構造化データ（例：MarkdownやLaTeXの表、方程式など）のいずれかです。トークナイザは、訓練データセットからテキストを数値に変換する方法を定義します（モデルは数学的な関数であり、したがって入力として数値が必要です）。トークン化は、テキストを「トークン」と呼ばれるサブユニットに変換することによって行われます（トークン化方法によっては単語、サブワード、または文字になる場合があります）。トークナイザの語彙サイズは、トークナイザが知っている異なるトークンの数を示しますが、一般的には32kから200kの間です。データセットのサイズは、これらの個々の「原子論的」単位のシーケンスに分割された後のトークンの数としてよく測定されます。最近のデータセットのサイズは、数千億から数兆のトークンに及ぶことがあります！訓練ハイパーパラメータは、モデルの訓練方法を定義します。新しい例ごとにパラメータをどれだけ変更すべきですか？モデルの更新速度はどのくらいですか？これらのパラメータが選択されたら、モデルを訓練するためには1）大量の計算パワーが必要であり、2）有能な（そして優しい）人々が訓練を実行し監視する必要があります。訓練自体は、アーキテクチャのインスタンス化（訓練用のハードウェア上での行列の作成）および上記のハイパーパラメータを使用して訓練データセット上の訓練アルゴリズムの実行からなります。その結果、モデルの重みが得られます。これらは学習後のモデルパラメータであり、オープンな事前学習モデルへのアクセスに関して多くの人々が話す内容です。これらの重みは、推論（つまり、新しい入力の予測やテキストの生成など）に使用することができます。事前学習済みLLMsは、重みが公開されると特定のタスクに特化または適応することもあります。それらは、「ファインチューニング」と呼ばれるプロセスを介して、ユースケースやアプリケーションの出発点として使用されます。ファインチューニングでは、異なる（通常はより専門化された小規模な）データセット上でモデルに追加の訓練ステップを適用して、特定のアプリケーションに最適化します。このステップには、計算パワーのコストがかかりますが、モデルをゼロから訓練するよりも財政的および環境的にはるかにコストがかかりません。これは、高品質のオープンソースの事前学習モデルが非常に興味深い理由の一つです。コミュニティが限られたコンピューティング予算しか利用できない場合でも、自由に使用し、拡張することができます。 2022年 – サイズの競争からデータの競争へ 2023年以前、コミュニティで利用可能だったオープンモデルはありましたか？ 2022年初頭まで、機械学習のトレンドは、モデルが大きければ（つまり、パラメータが多ければ）、性能が良くなるというものでした。特に、特定のサイズの閾値を超えるモデルは能力が向上するという考えがあり、これらの概念はemergent abilitiesとscaling lawsと呼ばれました。2022年に公開されたオープンソースの事前学習モデルは、主にこのパラダイムに従っていました。 BLOOM（BigScience Large Open-science…

「2023年の振り返り：Post-ChatGPT時代のまとめと2024年の期待」

「ChatGPT、LangChain、ベクトルデータベース、およびRAGについての技術イベントと進歩に関するレビュージェネラティブAI領域のすべてをカバーします」

パスライトのCTO兼共同創設者、トレイ・ドイグのインタビューシリーズ

トレイ・ドイグは、パスライトの共同創設者兼CTOですトレイは、IBM、クリエイティブ・コモンズ、Yelpでエンジニアとして働いた経験を持つ、テック業界で10年以上の経験を持っていますTreyは、Yelp Reservationsのリードエンジニアであり、SeatMeの機能をYelp.comに統合する責任を負っていましたTreyはまた、SeatMeウェブアプリケーションの開発を率いました...

２０２４年にフォローするべきデータサイエンスのトップ１２リーダー

データサイエンスの広がりを見据えると、2024年の到来は、革新を牽引し、分析の未来を形作る一握りの著名人にスポットライトを当てる重要な瞬間として迎えられます。『Top 12 Data Science Leaders List』は、これらの個人の卓越した専門知識、先見のリーダーシップ、および分野への重要な貢献を称えるビーコンとして機能します。私たちは、これらの画期的なマインドの物語、プロジェクト、そして先見の見通しをナビゲートしながら、データサイエンスの進路を形作ると約束された航跡を探求します。これらの模範的なリーダーたちは単なるパイオニアにとどまることはありません。彼らは無類のイノベーションと発見の時代へと私たちを導く先駆者そのものです。 2024年に注目すべきトップ12データサイエンスリーダーリスト 2024年への接近とともに、データサイエンスにおいて傑出した専門知識、リーダーシップ、注目すべき貢献を示す特異なグループの人々に焦点を当てています。『Top 12 Data Science Leaders List』は、これらの個人を認識し、注目することで、彼らを思想リーダー、イノベーター、およびインフルエンサーとして認め、来年重要なマイルストーンを達成することが予想されます。さらに詳細に突入すると、これらの個人の視点、事業、イニシアチブが、さまざまなセクターを横断する複雑な課題に対するメソッドとデータの活用方法を変革することが明らかになります。予測分析の進展、倫理的なAIの実践の促進、または先進的なアルゴリズムの開発など、このリストでハイライトされた個人たちが2024年にデータサイエンスの領域に影響を与えることが期待されています。 1. Anndrew Ng 「AIのゲームにおいて、適切なビジネスコンテキストを見つけることが非常に重要です。私はテクノロジーが大好きです。それは多くの機会を提供します。しかし結局のところ、テクノロジーはコンテクスト化され、ビジネスユースケースに収まる必要があります。」 Dr. アンドリュー・エングは、機械学習（ML）と人工知能（AI）の専門知識を持つ英米のコンピュータ科学者です。AIの開発への貢献について語っている彼は、DeepLearning.AIの創設者であり、Landing AIの創設者兼CEO、AI Fundのゼネラルパートナー、およびスタンフォード大学コンピュータサイエンス学科の客員教授でもあります。さらに、彼はGoogle AIの傘下にある深層学習人工知能研究チームの創設リードでありました。また、彼はBaiduのチーフサイエンティストとして、1300人のAIグループの指導や会社のAIグローバル戦略の開発にも携わりました。アンドリュー・エング氏は、スタンフォード大学でMOOC（大規模オープンオンラインコース）の開発をリードしました。また、Courseraを創設し、10万人以上の学生に機械学習のコースを提供しました。MLとオンライン教育の先駆者である彼は、カーネギーメロン大学、MIT、カリフォルニア大学バークレー校の学位を保持しています。さらに、彼はML、ロボット工学、関連する分野で200以上の研究論文の共著者であり、Tiime誌の世界で最も影響力のある100人のリストに選ばれています。…

フラッシュアテンション：基本原則の解説

フラッシュアテンションは、2022年に提案された効率的かつ正確なTransformerモデルの高速化技術ですメモリの読み書き操作を認識することで、FlashAttentionは実行速度を2〜4倍に高速化します...

高度なRAGテクニック：イラスト入り概要

この投稿の目標は、利用可能なRAGアルゴリズムとテクニックの概要と説明をすることなので、コードの実装の詳細には立ち入らず、参照のみ行い、それについては放置します

GPT-4.5 本当か嘘か？私たちが知っていること

テックコミュニティでは、OpenAIの最新バージョンであるGPT-4.5に関する可能性のリークが話題となっています。さまざまなソーシャルメディアプラットフォームで共有されたリークは、正確な場合、印象的な機能と価格体系を明らかにし、大型言語モデルの景色を根本から変える可能性があります。 GPT-4.5の概要 GPT-4.5は、OpenAIの有名なGPT LLMのアップグレードとされており、ビジョン、ビデオ、オーディオ、言語、3Dの分野でマルチモーダルの機能を導入するようです。Twitterユーザーのdaniel_nyugenxによって開始され、Redditのスレッドで議論されたリークは、このモデルの複雑な推論とクロスモーダル理解の可能性を強調しています。ただし、これらの主張の真正性は未確認のままであり、懐疑論も漂っています。価格の詳細リークされた草案によると、GPT-4.5は注目を集める新しい価格体系を持っています。このモデルは、入力トークン1Kあたり0.06ドル、出力トークン1Kあたり0.18ドルの価格であると推測されています。詳細な内訳には、GPT-4.5 64KやGPT-4.5オーディオ・スピーチなどのバリアントが含まれています。これらの価格は既存のGPT-4の料金を上回り、ユーザーや開発者に関する潜在的な影響についての議論が行われています。コミュニティの反応と懐疑論リークのニュースが広まるにつれて、テックコミュニティは反応が分かれています。一部の人々はこれを画期的な瞬間と見なし、コンテンツ制作の可能性についてのパラダイムシフトを期待しています。しかし、インターネット上での情報の捏造が容易であることを考慮すると、リークの信憑性について疑問を呈する声もあります。元のRedditのスレッドのコメントは、価格と草案の正確性についての不確定性を反映しています。 OpenAIの対応と将来の展望 OpenAIのCEOであるSam Altmanは後にXで「リーク」は本物ではないと確認しました。OpenAIはGPT-4.5をリリースするのか、直接GPT-5に移行するのかは不明です。次のモデルは、2023年3月14日にリリースされたGPT-4の後継となるでしょう。 GPT-3が2020年6月にリリースされてから、GPT-3.5は2022年3月に登場しました。一方、OpenAIは既にGPT-5の開発に取り組んでいます。7月には、AI企業がGPT5の商標申請を行い、音声やテキストに基づくAIベースのソフトウェア、音声をテキストに変換するソフトウェア、音声および音声認識を含んでいます。 11月、OpenAIのCEOであるSam Altmanは、Financial Timesに対してGPT-5の開発に取り組んでいると語りましたが、リリースのタイムラインを確定していません。私たちの意見推定されるGPT-4.5のリークの後、テックコミュニティは先進の進化する言語モデルの景色を興奮しながら、潜在的な進歩を考えていました。しかし、OpenAIのCEOであるSam Altmanはリークを早速否定し、その不正確性を強調しました。この事実は、推測される機能と価格に疑問を投げかけ、慎重なアプローチが求められることを示しています。GPT-4.5の可能性は不確実ですが、GPT-5の開発が進行中であるというAltmanの確認は、OpenAIの計画に興味を持つ人々にとって興味深いものとなっています。熱心なファンは公式なアップデートを待ちながら、進化する高度な言語モデルの世界を航海する際には、検証された情報に頼る重要性を強調しています。

リトリーバル・オーグメンテッド・ジェネレーションを使用して、安定した拡散プロンプトを改善しましょう

テキストから画像を生成することは、メディアやエンターテイメント、ゲーム、ECサイトの商品ビジュアライゼーション、広告やマーケティング、建築設計やビジュアライゼーション、芸術創作、医療画像など、さまざまな分野で応用される急速に成長している人工知能の分野ですStable Diffusionは、数秒で高品質な画像を作成する力を与えるテキストから画像へのモデルです11月には[…]

Learn more about Search Results 2022年