コンテンツモデレーションからゼロショット分類へ

From Content Moderation to Zero-shot Classification

もし、追加情報や文脈のない小さなテキストを分析し、自分自身のデータに対して定義したい最も妥当なラベルを取得したい場合、どうなるでしょうか？これはより決定論的なポリシーエンジンやルールエンジンに供給することができ、必要に応じてより大きなコンテキスト駆動型の分析の一部にもなります。OpenAIは、テキストがより悪質なカテゴリの1つ以上に属するかどうかを判定できる事前設定の分類を使用して「コンテンツのモデレーション」を提供しています。ただし、この分析は、与えられた文やフレーズに対して独自のラベルを定義する方法についてのものです。

以下の4つのカテゴリを見てみましょう：政治、PHI/PII、法的事項、企業のパフォーマンス。このようなカスタムラベルに関してOpen AIから確率スコアを収集するオプションがないため（現時点では）、オプション1ではよりユーザー指向のプロンプトエンジニアリングのルートを試し、オプション2では同じタスクに対してHugging Faceの他の事前訓練モデルを評価します。

また、複数のカテゴリに一致するように意図的に変形されたいくつかのサンプル文も使用します。たとえば、CSV入力ファイルには次のような行が「ペイロード」として含まれています：

1. 大臣たちの間の問題は、それが個人的なものになったときに脱線しました。
2. 私は猫とデータプライバシーを交渉しようとしましたが、彼は私を無視してキーボードをハックして昼寝をしました。
3. 上院の公聴会は、試験中の薬がこの患者だけに使用されるかどうかについてでした。彼は血液に特定の状態を持っており、まだ薬がありません。
4. 政治的な討論から始まったものが、2023年以降の企業の優れたストーリーを持つ人々との関係で会社の優先事項について議論することになりました。
5. 裁判所の画期的な表現の自由に関する判決は、オンラインプラットフォームでの表現と有害なコンテンツの微妙な境界線についての議論を引き起こしました。
6. PHIのチェックアップ中に私の医者に政治的なジョークを言ったら、私の医療記録には「患者のユーモアセンス：危険な両党派」と書かれています。
7. ユーザー管理アクセスによって、あなたのアイデンティティを制御するといういわゆる利点が得られますが、それによって最初の名前-メール-電話番号を活用するあなたの携帯電話のアプリの許可をどれだけの人が検証していますか？

オプション1：OpenAIによるプロンプトエンジニアリング

GPT-4は、これらの変形した文において3.5ターボのいとこよりもわずかに優れているようです。出力データフレームは次のようになります。ほとんどの場合、大きな確率を正しく取得しますが、#3のような文ではPHI/PIIに関連するいくらかの「%」が期待されました。また、このようなモデルのより速くてより「よく読む」能力を活用するために、OpenAIにカスタマイズの便利さを提供するよう要求する理由もあります。

• 「ファクトテーブルとディメンションテーブルの違い」
• 「データバージョンコントロール入門」
• データサイエンスは変わった、死んだわけではありません！

オプション2：Hugging Faceのモデルを使用したゼロショット分類

次に、Hugging Faceの事前訓練モデルを使用して同じことを試してみます。これらのモデルは、この特定のタスクに特化しているという点で、ある意味で目的に沿っています。

注意：`multi_label`の値は`True`に設定されています。`False`にすることも試してみることができます。

また、この出力（最後の列）をレビューするために、独自の人間の専門知識も使用します。次のような単純なインデックスを使用することができます：

• 妥当 – エンジンが正確に複数のラベルを選択したもの
• 部分的に正確 – 2つのラベルのうち1つが正確
• 不正確 – 明らかに良くない

データセットがあまりにも小さすぎて具体的な結果を導き出すことはできませんが、このタスクに対してそれらは比較的同等の領域にあるようです。

まとめ

大規模な言語モデルは、多くの目的に対してワンサイズフィットオールのようなものです。ゼロショット分類にカスタムラベルが必要な文脈が非常に少ないシナリオでは、上記のような特別な目的のNLI（自然言語推論）モデルで訓練された代替手段を選択することもできます。特定の要件に対する最終的な選択は、リアルタイムトランザクションで使用する場合のパフォーマンス、このより決定論的で統合しやすい追加コンテキストの範囲に基づくことができます。

注：コードを修正したり、これらのモデルをより良く使用するための提案を共有してくれたフォーラムの方々に特別な感謝の意を表します。特に、Open AIフォーラムでは、API呼び出しでは得られない結果にアクセスするためのGPTのクエリ方法についての洞察を共有してくれた方がいました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!