ルシーンの内部 – 整数のエンコーディングと圧縮の取り扱い

'ルシーンの内部 - 整数のエンコーディングと圧縮'

PackedInts、VInt、FixedBitSet、およびRoaringDocIdSet(Roaring Bitmaps)に深入りする

Image by Gerd Altmann from Pixabay

以前に、類似性検索のための製品量子化を使用したベクトルの圧縮について学びました。

非対称距離計算を使用した類似性検索のために、巨大なベクトルセットをメモリに圧縮して適合させる方法…

towardsdatascience.com

この記事では、整数がどのようにエンコードおよび圧縮されるかについて、Luceneで中心的な役割を果たす逆インデックスの世界を探求し、洞察を得ます。

Luceneの簡単な紹介

Luceneは、Javaで書かれたオープンソースの検索エンジンライブラリです。Doug Cuttingによって1999年に作成され、フルテキスト検索とインデックス作成でよく知られています。

このApacheソフトウェア財団のオープンソースソフトウェアプロジェクトは、20年以上にわたり活発な開発が行われています。これまでに進化し成長し、強力で完全に機能した高性能な検索エンジンライブラリとなりました。

Luceneの成功は、その強力なコミュニティとコミッターによる信じられないほどの貢献のおかげです。彼らの参加と協力により、Luceneは現在の地位に至りました。SolrやElasticsearchなどの人気のあるエンタープライズ検索プラットフォームやソリューションは、Luceneの上に構築されています。

「オープンソースプロジェクトとしては、20年は長い時間です。疑いの余地なく、Luceneの長寿は、そのコミュニティの強さと多様性を示しています」- Apache Luceneの20周年を祝う

逆インデックス

逆インデックスはLuceneの中心に位置しています。逆インデックスは2つのパートで構成されます- 左側には用語の辞書があり、右側には各用語の頻出リストがあります。

Figure 1: Terms dictionary and postings lists form the inverted index in Lucene. All images are by the author unless otherwise specified.

頻出リストには、用語が文書内に出現する情報が含まれています。頻出リストには、文書のドキュメントIDが含まれています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

「ジャスティン・マクギル、Content at Scaleの創設者兼CEO - インタビューシリーズ」

ジャスティンは2008年以来、起業家、イノベーター、マーケターとして活動しています彼は15年以上にわたりSEOマーケティングを...

人工知能

「スノーケルAIのCEO兼共同創設者、アレックス・ラットナー - インタビューシリーズ」

アレックス・ラトナーは、スタンフォードAIラボを母体とする会社、Snorkel AIのCEO兼共同創設者ですSnorkel AIは、手作業のAI...

人工知能

「パクストンAIの共同創業者兼CEO、タングイ・シャウ - インタビューシリーズ」

タングイ・ショウは、Paxton AIの共同創設者兼CEOであり、法的研究と起草の負担を軽減するためにGenerative AIを使用するプラ...

人工知能

ジョナサン・ダムブロット、Cranium AIのCEO兼共同創設者- インタビューシリーズ

ジョナサン・ダムブロットは、Cranium AIのCEO兼共同創業者ですCranium AIは、サイバーセキュリティおよびデータサイエンスチ...

人工知能

『ジュリエット・パウエル&アート・クライナー、The AI Dilemma – インタビューシリーズの著者』

『AIのジレンマ』は、ジュリエット・パウエルとアート・クライナーによって書かれましたジュリエット・パウエルは、著者であ...

人工知能

『DeepHowのCEO兼共同創業者、サム・ジェン氏によるインタビューシリーズ』

ディープハウのCEO兼共同創設者であるサム・ジェンは、著名な投資家から支持される急速に進化するスタートアップを率いていま...