正しい選択をすること：AIのアドバイス、決定支援、およびLLMsの約束

正しい選択をするための鍵：AIのアドバイス、決定支援、そしてLLMの魅力

LLMsを用いた意思決定の新たな時代を探索する

イントロダクション

AIの民主化により、AIシステムの採用がさまざまな領域で進んでいます。最近の大規模なプリトレーニングされた言語モデル（LLMs）などの生成モデルの波は、我々の日常生活のさまざまな活動で広範に使用されており、メールのフレーミングを支援することによる生産性の向上から、初心者や専門家の作家にとっての「白紙のページ」の障壁の解決にも役立っています。LLMsを意思決定の支援にますます頼ることで、本記事では人間の意思決定と人間-AIの意思決定の進化の総合を提示します。最後に、LLMsが意思決定タスクの支援を提供する機会と、LLMsに依存することの同時に生じる意思決定への脅威について考察します。

人間の意思決定

私たちの日常生活でほとんどすべての意思決定において（たとえば、買う食品や着る服、読む本、聴く音楽、観る映画、ライフスタイルの選択から旅行先まで）、選択肢の範囲が増えている世界で、意思決定の質は改めて関心を集めています。バリー・シュワルツは、2000年の技術の進歩による意思決定の困難さを示した影響力のある著作「選択の逆説」でこれを明らかにしました。シュワルツは、例えば​​、医師が患者に複数の治療法を提案し、それぞれのリスクや利益を伝える状況を挙げて、高リスクの意思決定の負担が専門医から非専門医の患者に移っていくことを説明しています。選択肢の豊富さは、効果的な人間の意思決定を妨げることが多い要素の一つです。

進化心理学から認知科学や神経科学までのさまざまな研究コミュニティが、人間の意思決定の性質や人間の意思決定プロセスに影響を与えるさまざまな要因を探ってきました。認知バイアスや非合理性が人間の意思決定を悩ませることは、ノーベル賞受賞の行動経済学者ダニエル・カーネマンが「思考、早く、遅く」で詳細に文書化しました。

人間-AIの意思決定

技術の進歩により、意思決定プロセスにおける障壁を乗り越えるために人間を支援する意思決定支援システムの成長がもたらされました。意思決定支援システムは、より広範な社会技術的な文脈でさまざまな形で現れます。ユーザーとの相互作用を支えるアルゴリズムから、予測や予測にユーザーを支援する複雑な機械学習モデルまで様々です。たとえば、レコメンデーションシステムでは、ユーザーのニーズを最も満たすコンテンツや製品を提案することでユーザーを支援することができます。他のアルゴリズムシステムでは、大量のデータをマイニングしてさまざまな意思決定タスクでユーザーにアドバイスを提供することが可能です。

• ミストラル7B：コンピューターでの微調整と量子化のためのレシピ
• Sb3、応用RLのスイスアーミーナイフ
• 畳み込みニューラルネットワーク ― 直感的かつ詳細に説明されました

すべての人間-AIの意思決定の文脈で共通の中心的な目標は、人間の知恵をアルゴリズムシステムの計算能力と組み合わせることによって意思決定の効果を向上させる可能性です。しかし、これは現実世界では多くの協働的な人間-AI意思決定プロセスとは程遠いものです。人間は意思決定のタスクにおいて適切にAIシステムに頼らず、最適なチームのパフォーマンスを発揮できません。適切な信頼は、AIのアドバイスが正しい場合に人間がAIに頼る信頼と、AIの間違いの場合には自己信頼とされています。そういった結果を形成する要素としては、人間の要因（ドメイン知識、技術との相互作用への親和性、以前の経験）、システムの要因（AIシステムの正確さや信頼性）、タスクの要因（タスクの複雑さ、不確実性、リスク）などがあります。

ローンの申請の意思決定や医療診断など、さまざまな文脈で行われた人間-AIの意思決定の経験的な探索は、人間がAIのアドバイスに過度に頼ることで意思決定の結果の向上の機会を逃したり、AIのアドバイスに過度に依存することで最適な結果を得られなかったりすることを明らかにしました。過度な依存や適切な依存を解決し、AIのアドバイスに適切に依存するための方法として、説明の使用や認知的な強制機能（つまり、意思決定プロセス中の批判的な考慮や反省を強制する介入）の提案、AIシステムの強みと弱点を伝えるチュートリアルやトレーニングセッション、一般的なAIの識字率を向上させる取り組みがあります。最近の研究では、AIのアドバイスに適切に依存するための代替フレームワークである「評価的AI」が提案されています。このフレームワークでは、意思決定支援ツールは意思決定を受け入れるか拒否するための推奨を提供するのではなく、人々が行った意思決定についての賛成および反対の根拠を提供するべきだとしています。

認知バイアスは人間とAIの意思決定にも影響を与えています[1, 3]。ラストギら[9]は確証バイアス、アンカリングバイアス、アベイラビリティバイアスなど、認知バイアスによって意思決定タスクの一般的な認識や理解が歪められる可能性があると述べています。彼らはアンカリングバイアスの役割を探求し、共同意思決定のパフォーマンスに与える否定的な影響を軽減する方法を提案しました。さらに、ヒーら[22]はメタ認知的なバイアスであるダニング・クルーガー効果が、人々がAIシステムからのアドバイスをどのように頼りにするかに影響を与えることを示しました。彼らは、自分の能力やパフォーマンスを過大評価するユーザーはAIシステムへの過度の依存を示し、意思決定タスクにおけるチームの最適なパフォーマンスを妨げる傾向があることを明らかにしました。また、アルゴリズムの嫌悪や評価など、他の要素も人間とAIの意思決定の成果に影響を与えることが示されています[17]。

人間とAIの協力に関する広範囲な研究が進んでいるにもかかわらず、意思決定タスクにおけるAIシステムへの適切な依存を促進することは依然として解決されていない問題です。人工知能、機械学習、ヒューマンコンピュータインタラクションの交差点に位置する異なる研究コミュニティが、この領域の理解を進め、人間とAIの協力の潜在能力を活用するための手法、ツール、フレームワークを開発するために積極的に取り組んでいます。

この時点では、大型言語モデル（LLM）は様々な領域で広く応用され、採用されています。この記事の残りの部分では、LLMが人間の意思決定を支援し、相互に関連しながら提供する可能性がある機会を探求します。

意思決定タスクにおけるLLM

バイアスや潜在的な害を示すにもかかわらず、LLMは社会技術的なシステムでますます使用されています。Rostagiら[8]によると、商業言語モデルの監査を支援するジェネレーティブLLMによって実証されているように、規模の大きな監査プロセスをサポートすることで良い影響を持つ可能性があります。著者らは人間と生成モデルの補完的な強みを活用して商業言語モデルの共同監査を行うための監査ツールを提案しました。Wuら[14]は、マルチエージェントの対話を使用した複雑なLLMベースのワークフローを実現するフレームワークであるAutoGenを提案しました。AutoGenはゲームプレイやウェブインタラクションなどのオンラインの意思決定タスクをサポートできます。

一方で、GPT-3のようなLLMは人間の直感に驚くほど似ている行動や認知エラーを示す証拠があります[16]。最近の研究では、ChatGPTを放射線学的な意思決定に使用することで、臨床ワークフローと放射線学サービスの責任ある使用の向上が可能であることが示されています[18]。意思決定プロセスにおけるAIの安全性を向上させるために、Jinら[15]はLLMにルールが破られるべきかどうかを判断する能力を複製し強化することを目指しました。特に、意思決定支援システムとの人間のインタラクションがさらにシームレスになる（例えば、対話型インターフェースを介して）場合、誤った依存のさらなる例が明らかになる可能性があります。

LLMをアーキテクチャやハイパーパラメータの観点から研究することはますます困難になっています。現時点では、ジェネレーティブAIは、善悪を問わず高品質の文章や視覚コンテンツを生成できることを理解するための十分な証拠があります。ポツダム・マンら[19]は、LLMの出力に対する責任の割り当てや、LLMに焦点を当てた倫理的および政策的な問題について説明しました。

次に行うべきこと

LLMを意思決定タスクで安全かつ堅牢に使用するために、さらなる研究と実証的な作業が必要です。特に、多言語や多文化を考慮する場合、現在の制約が示すように、多様なモダルおよび多言語のLLMに関する問題が残されています。以下に、LLMを日常の意思決定に統合する際に継続的に利益を得ることができるかを判断する上で重要ないくつかの質問のまとめを示します：

• 効果的な意思決定のために、LLMまたはLLMを用いたシステムへの適切な依存をどのように促進できるか？
• LLMを組み込んだ意思決定支援システムの堅牢性、信頼性、信頼性をどのように向上させることができるか？
• LLMを多モーダルおよび多言語の意思決定コンテキストで適切な信頼と依存性を促進する方法は何か？
• 様々な能力、個人的特性、事前知識、教育と資格、その他の人口統計に属する人々をLLMが意思決定タスクで等しくサポートする方法は何か？

だから、あなたがLLMを手に入れているなら、それをブラックボックスの意思決定支援ツールとして早急に頼ることはしないでください！

Dr. ir. Ujwal Gadirajuは、デルフト工科大学の常任助教授であり、デルフト「Design@Scale」AIラボを共同設立し、人間中心のAIとクラウドコンピューティングの研究を共同リードしています。彼はACMの名誉講演者であり、CHI Netherlandsの理事も務めています。UjwalはToloka AIでの彼らのAI、データ、および研究チームとの仕事にも一部関与しており、成長中のMLOps企業であるDeeployのアドバイザリーボードメンバーでもあります。

参考文献

1. Bertrand, A., Belloum, R., Eagan, J. R., & Maxwell, W. (2022, 7月). ノーザンゼブラノ-えんしんおくたいけいのアイによるのーえんち広災防(XAI辞宣)のシス的なレパートリーのじゅけん。2022 AA/ACM人工知能、倫理学、社会学会議のプロシディングス(pp. 78–91)。
2. Bossaerts, P. & Murawski, C. (2017). コンピュータの複雑さと人間の意思決定。認知科学のトレンド、21(12)、917-929。
3. Boonprakong, N., He, G., Gadiraju, U., van Berkel, N., Wang, D., Chen, S., Liu, J., Tag, B., Goncalves, J. and Dingler, T. (2023). ヒューマン-AIコラボレーションにおける認知的バイアスの理解と緩和に関するワークショップ。
4. Buçinca, Z., Malaya, M. B., & Gajos, K. Z. (2021). 信じるか考えるか：AI支援の意思決定における認知的強制機能はAIへの過度な依存を減らすことができる。ACMによる人間-コンピュータ相互作用のプロシーディングス、5(CSCW1)、1-21。
5. Haupt, C. E., & Marks, M. (2023). AI生成の医療アドバイス- GPTとその先について。JAMA、329(16)、1349-1350。
6. Kahneman, D. (2011). 思考、速くて遅いこと。マクミラン。
7. Miller, T. (2023, 6月). 説明可能AIは死んだ、説明可能AI万歳！評価AIを使った仮説駆動の意思決定支援。2023年公正、説明責任、透明性のACM会議のプロシディングス(pp. 333-342)。
8. Rastogi, C., Tulio Ribeiro, M., King, N., Nori, H., & Amershi, S. (2023, 8月). llmpによるllmpの監査における人間-AIコラボレーションのサポート。2023 AAAI/ACM人工知能、倫理学、社会学会議のプロシディングス(pp. 913-926)。
9. Rastogi, C., Zhang, Y., Wei, D., Varshney, K. R., Dhurandhar, A., & Tomsett, R. (2022). AI支援の意思決定における認知的バイアスの役割を早くも遅くも決定する。ACMによる人間-コンピュータ相互作用のプロシーディングス、6(CSCW1)、1-22。
10. Santos, L. R., & Rosati, A. G. (2015). 人間の意思決定の進化的根源。心理学の年次レビュー、66、321-347。
11. Schemmer, M., Hemmer, P., Kühl, N., Benz, C., & Satzger, G. (2022). AIベースのアドバイスに従うべきか？人間-AIの意思決定における適切な依存度の測定。arXivプレプリントarXiv:2204.06916。
12. Schwartz, B. (2004). 選択のパラドックス：多いほど少ない。ニューヨーク。
13. Vasconcelos, H., Jörke, M., Grunde-McLaughlin, M., Gerstenberg, T., Bernstein, M. S., & Krishna, R. (2023). 説明は意思決定時のAIシステムへの過度な依存を減らすことができます。ACMによる人間-コンピュータ相互作用のプロシーディングス、7(CSCW1)、1-38。
14. Wu, Qingyun, Gagan Bansal, Jieyu Zhang, Yiran Wu, Shaokun Zhang, Erkang Zhu, Beibin Li, Li Jiang, Xiaoyun Zhang, and Chi Wang. AutoGen：マルチエージェント会話フレームワークを利用した次世代のLLMアプリケーションを可能にする。arXivプレプリントarXiv:2308.08155 (2023年)。
15. Jin, Z., Levine, S., Gonzalez Adauto, F., Kamal, O., Sap, M., Sachan, M., Mihalcea, R., Tenenbaum, J. and Schölkopf, B. (2022). いつ例外を作成するか：人間の道徳判断の言語モデルとしての探索。神経情報処理システムの進歩、35、28458-28473。
16. Hagendorff, T., Fabi, S., & Kosinski, M. (2022). マシンの直感：GPT-3.5における人間のような直感的な意思決定の発掘。arXivプレプリントarXiv:2212.05206。
17. Erlei, A., Das, R., Meub, L., Anand, A., & Gadiraju, U. (2022, 4月). それだけの価値があるなら：AIシステムとの交渉を避けるために人間は経済的利己心を上書きします。2022 CHIコンピュータ人間因子学会議のプロシディングス(pp. 1-18)。
18. Rao, A., Kim, J., Kamineni, M., Pang, M., Lie, W., & Succi, M. D. (2023). 放射線学的意思決定の補助としてのChatGPTの評価。medRxiv、2023-02。
19. Porsdam Mann, S., Earp, B. D., Nyholm, S., Danaher, J., Møller, N., Bowman-Smart, H., … & Savulescu, J. (2023). 生成AIには信用-非難の非対称性が伴います。ネイチャーマシンインテリジェンス、1-4。
20. Dhingra, H., Jayashanker, P., Moghe, S., & Strubell, E. (2023). クィアの人々はまず人間です：大規模言語モデルの性的アイデンティティのステレオタイプを解体する。arXivプレプリントarXiv:2307.00101。
21. He, G., Kuiper, L., & Gadiraju, U. (2023, 4月). 知っていることについての知識：人間の能力

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!