「Cを使用してLLMsを最適化し、GPT、Lama、Whisperを自分のラップトップで実行する」

Optimize LLMs using C and run GPT, Lama, and Whisper on my laptop

この最初の記事では、Georgi Gerganovによって作成された素晴らしいテンソルライブラリ`ggml`について詳しく調査していきます。それはどのように機能するのでしょうか？テンソルの作成プロセスはどうなっていますか？いくつかの単純な例から始めることはできますか？

大規模な言語モデル（LLM）はどこでも話題となっています。新聞は新たな到来する世界を説明するために無数の言葉を費やし、「AIはついに到着した」と断言しています。LLMは私たちの生活に具体的な影響をもたらしていますが、私たちは冷静になり、状況全体を批判的に分析する必要があります。LLMのハイプは、いくつか年前に「データサイエンティスト」の仕事がハイプとなったのと同様です。2014年に博士課程を開始したとき、私はデータサイエンティストの求人ポジションの着実な増加を目の当たりにしましたが、ピークは2018年ごろでした。その当時、ニュースは再び「データサイエンティスト：100万ドルの職業」とか「21世紀の最もセクシーな仕事」と書いていました-これらのタイトルはLLMのものと似ているでしょうか？

一方で、LLMは素晴らしい技術であり、より一般的なAIフレームワークへの一歩です。これらのモデルはAIへのより深い旅への出発点であり、私はいつかほとんどのアプリやテクノロジーがこれらのモデルに依存すると確信しています。しかし、VoAGIでもよく見かけることですが、これらのモデルについての明確さが欠けていることがあります。そのパワーや素晴らしい成果に関係なく、これらのモデルは実行やトレーニングが容易ではありません。したがって、企業は戦略的なビジネス方向を決定する前に、LLMを非常によく知る必要があります。最も切実なポイントの1つは、これらのモデルが持つ巨大なメモリコスト、トレーニングに必要な大規模なインフラストラクチャ、および推論に必要な高コストなインフラストラクチャです。

基本的なLLMの構造であるトランスフォーマーを考えると、古典的なエンコーダーデコーダーの構造を認識できます。推論時には、デコーダーはインメモリメカニズムを持っている必要があります…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Was this article helpful?

93 out of 132 found this helpful

「Cを使用してLLMsを最適化し、GPT、Lama、Whisperを自分のラップトップで実行する」

目次

Was this article helpful?

「ニューラルネットワークのプログラミング方法」

「オートエンコーダーメソッドを使用したTensorFlowとKerasにおける異常検知」

人工知能

「LeanTaaSの創設者兼CEO、モハン・ギリダラダスによるインタビューシリーズ」

「ジンディのCEO兼共同創設者、セリーナ・リー― インタビューシリーズ」

「サティスファイラボのCEO兼共同創設者、ドニー・ホワイト- インタビューシリーズ」

「Ntropyの共同創設者兼CEO、ナレ・ヴァルダニアンについて - インタビューシリーズ」

「ゲイリー・ヒュースティス、パワーハウスフォレンジクスのオーナー兼ディレクター- インタビューシリーズ」

「コマンドバーの創設者兼CEO、ジェームズ・エバンスによるインタビューシリーズ」