Search Results A

「関数をキャッシュしてPythonをより速くする：メモ化」

「Pythonで最も時間がかかるのは、高コストなプロセスを実行する関数やクラスメソッドの呼び出しです同じ引数でそのような関数を2回実行する必要があると想像してください; それは…」

(パイソンでグラディエントこうかアニメーションをさくせいする)

「私がブログ記事でポイントを説明するために勾配降下法のアニメーションを作成した方法を教えてくださいそれをやったことでより多くのPythonを学び、新しいスキルを習得することができました」

教えることは難しい：小さなモデルを訓練し、大きなモデルを上回る方法

大規模な言語モデル（LLM）と数ショット学習は、これらのモデルを見たことのないタスクに使用できることを示していますしかし、これらのスキルにはコストがかかります：非常に多数のパラメータが必要ですしたがって、...

「依存関係の解明と因果推論および因果検証における重要性」

因果推論は、データサイエンスの新興分野であり、イベントと結果の因果関係を特定することに関心を持っていますこれは大きく貢献する可能性があります

データサイエンティストのツールボックス：解析

多くのデータサイエンティストにとって、複雑なドキュメントを使いやすいデータに変換することは一般的な問題です複雑なドキュメントを見て、データを変換するための異なる方法を探ってみましょうルール1：怠け者であること...

数学的な問題解決におけるLLMの潜在能力を開発するための研究

人工知能の進化する風景において、GPT-4やPaLM 2などの最も進んだLLMたちも、複雑な数学問題を解決する際に困難に直面していますGoogleとYaleの研究者による最近の研究は、LLMがこれらのハードルを乗り越えて大幅に改善する方法について明らかにすることを期待しています...

スカイワーク-13B：3.2Tトークン以上のコーパスから学習された大規模言語モデル（LLM）のファミリーを紹介しますこのコーパスは、英語と中国語のテキストから引用されています

バイリンガルLLMは、言語の多様性が共通の課題となっている相互につながった世界で、ますます重要になっています。彼らは言語の壁を取り払い、異文化理解を促進し、異なる言語を話す人々にとって情報やサービスへのアクセスを向上させる潜在能力を持っています。バイリンガルLLMは、高品質の機械翻訳サービスを提供するために使用することができます。彼らはテキストを一つの言語から別の言語に翻訳し、異なる文化や地域間でのコミュニケーションを円滑にし、言語の壁を取り払うのに役立ちます。これらのモデルの需要の増加に伴い、商業化のトレンドと透明性の必要性が増しています。多くの組織はモデルのチェックポイントを公に利用可能にし、モデルの重要な情報を公開しないという傾向があります。AIの透明性を回復するために、昆仑科技の研究者たちは英語と中国語のテキストから抽出された32兆トークン以上を使用してトレーニングされた大規模な言語モデルのファミリーを構築しました。それは「Skywork-13B」と呼ばれています。 Skywork-13Bファミリーには、Skywork-13B-BaseとSkywork-13BChatが含まれています。ベースは最新の中国語言語モデリング能力を持つ強力な基礎モデルであり、チャットは会話に最適化された調整済みバージョンです。他の組織とは異なり、彼らはトレーニングプロセスとデータ構成に関する詳細な情報を公開しています。彼らはまた、トレーニング中にモデルの能力がどのように発展するかを理解するための貴重なリソースである中間チェックポイントも公開しました。彼らはこの開示によって、他の研究者が彼らのユースケースにチェックポイントを活用できると信じています。彼らはまた、トレーニング段階でのドメイン内データの使用レベルを検出する新しい方法も開発しました。チームはSkywork-13B基盤モデルをSkyPileでトレーニングしました。それらはSkyPile全体ではなく、2つのステージのトレーニングアプローチを追いました。最初のステージでは、SkyPile-Mainでモデルをゼロからトレーニングする主要な事前トレーニングフェーズを構成します。 2番目のステージでは、SkyPile-STEMでSTEM関連のドメイン知識と問題解決能力を最適化するために継続的な事前トレーニングを行います。モデルのトレーニング中に、チームは多数のバリデーションセットでの言語モデリング損失を調べました。それぞれが中国語と英語のコード、学術論文、ソーシャルメディアの投稿、およびウェブテキストによる異なるデータ分布を反映する独自のバリデーションセットを作成しました。彼らは、このアプローチに従うことが、構成の容易さ、計算の簡素さ、トレーニングの進行に対する高い感度、およびモデルに対する無関心さをもたらすと述べています。 Skywork-13Bモデルは、全体的に最も優れたパフォーマンスを示しています。平均的なPerplexityスコアが最も低い9.42を獲得しました。また、テック、映画、政府、および金融のドメインで最も優れたパフォーマンスを発揮しています。それは同じサイズのモデルのパフォーマンスを超えるだけでなく、InternLM-20BやAquila2-34Bなどのはるかに大きなモデルを大きく上回る優れた成績を収めています。

GPT-4にチャート画像解析を促す：チャレンジに耐えられるかどうか？

ここ数日で、GPT-4のインターフェースにいくつかの変更が加わりましたさまざまなプラグインやベータツールをインストールする必要はもはやありませんですので、GPT-4のプロンプトを手に、進めてみましょう...

「Johns Hopkins Medicineの研究者たちは、正確な骨肉腫壊死計算のための機械学習モデルを開発しました」

がん医療の領域において、骨がん患者における化学療法の効果を評価することは予後の重要な指標となります。ジョンズ・ホプキンス医学の研究チームはこの分野で画期的な進歩を達成しました。彼らは、骨肉腫患者における腫瘍死の程度を示す重要な指標である壊死率（Percent Necrosis, PN）を計算するための機械学習モデルを開発・訓練し、その精度が筋骨格病理学者による結果と比較して驚異的な85％、一部外れ値を除いた場合は99％に達することを実証しました。 PNの計算は従来、筋骨格病理学者による豊富な注釈データに依存する労働集約的なプロセスであると同時に、2人の病理学者が同じ全スライド画像（whole-slide images, WSIs）を分析しても異なる結論に至る低い相互観測者信頼性の問題も抱えています。これらの課題を認識し、研究者たちは代替的なアプローチの必要性を強調しました。チームの取り組みは、最小限の注釈データがトレーニングに必要な弱く監視された機械学習モデルを開発することにつながりました。この革新的な方法論によれば、PN計算のためにモデルを利用する筋骨格病理学者は部分的に注釈付けされたWSIsの提供のみが求められるため、病理学者の作業量を大幅に削減することができます。このモデルの構築に際して、チームはジョンズ・ホプキンスの優れた米国の第三次がんセンターの病理学アーカイブからWSIsを含む包括的なデータセットを作成しました。このデータは、2011年から2021年の間にセンターで化学療法と手術を受けた骨中髄型骨肉腫の症例だけで構成されています。筋骨格病理学者は、収集された各WSIs上の3つの異なる組織タイプ（活動性腫瘍、壊死腫瘍、非腫瘍組織）を綿密に注釈付けしました。さらに、病理学者は各患者に対してPNを推定しました。この貴重な情報を手に入れたチームは、訓練フェーズに入りました。研究者たちはトレーニングプロセスを説明しました。彼らは、モデルに画像パターンの認識を教えることでモデルを訓練することにしました。WSIsは数千の小さなパッチに分割され、そこから病理学者がラベル付けした方法に基づいてグループに分けられました。最後に、これらのグループ化されたパッチがモデルにトレーニングのために提供されました。このアプローチは、モデルにより堅牢な参照フレームを提供するために選択されました。ただし、一つの大きなWSIを単独でモデルに与えると発生する可能性のある見落としを回避するためです。訓練後、モデルと筋骨格病理学者によって、2人の骨肉腫患者の6つのWSIsが評価されました。その結果、モデルのPN計算と組織のラベリングとの間に85％の正の相関があり、筋骨格病理学者の結果と比較して驚異的な結果が得られました。ただし、軟骨組織を適切に識別することに時折困難があるため、一つのWSIにおいて軟骨が多く存在するため外れ値が生じました。その外れ値を除去すると、相関係数は素晴らしい99％にまで上昇しました。チームは今後、モデルの訓練に軟骨組織を取り入れ、WSIsの範囲を骨中髄型骨肉腫以外のさまざまな型の骨肉腫に拡大することを予想しています。この研究は、骨肉腫の治療成績の評価を革新するために重要な一歩を示しています。

「回答を見つける（最良の回答を見つけるための最良の方法についての回答を見つける方法）」

南カリフォルニア大学のコンピュータサイエンティストたちは、さまざまなアプリケーションに最適な知識グラフの表現方法を検討しました

Learn more about Search Results A - Page 552