「AI時代における学術的誠実性の再考：ChatGPTと32のコースの大学生の比較分析」

Reconsidering Academic Integrity in the AI Era Comparative Analysis of ChatGPT and 32 University Courses

機械学習アルゴリズムを使用して以前に作成されたテキスト、音声、または視覚情報を元に新しいコンテンツを生成する人工知能（AI）は、生成型AIとして知られています。この分野における最近のブレイクスルーとこれまでにないアクセシビリティにより、多くの人々がこのセクターを「社会と産業が準備しなければならないゲームチェンジャー」と見なしています。たとえば、Stable DiffusionとDALL-Eは、さまざまなジャンルで作品を制作する能力からアート界で注目されています。また、Amper Musicという生成型AI技術は、これまでにアルバム全体を構築し、任意のジャンルで音楽を生成するために利用されてきました。

この分野の最新のツールはChatGPTであり、複数の言語で人間の反応に似たテキストの返信を生成することができます。より具体的には、それは対話的な方法で行い、ユーザーが以前の情報を連続した対話形式で自然に展開することができます。クリエイティブライティング、マーケティング、カスタマーサービス、ジャーナリズムなど、さまざまなアウトオブボックスのアプリケーションでほぼ無制限の価値を持つため、このツールは「非凡なヒット」と「生産性の革命」と評されています。ChatGPTは、デビューからわずか5日で100万人のユーザーを獲得し、わずか2か月で1億人以上の月間ユーザー数を達成したことで、その能力が注目されました。

驚異的な能力にもかかわらず、生成型AIには倫理的な問題がつきまとっています。オンラインで利用可能な大量のデータを所有するのは誰であり、それらのデータを使用して生成型AIモデルを訓練するのかについて、継続的な議論が行われています。さらに、これらのツールが発展するにつれて、人間の創作物とアルゴリズムによる創作物の区別が困難になっています。ChatGPTがエッセイや課題の解答を生成する能力により、高校生や大学生による学術的誠実性の違反に関する教育に関連する議論が引き起こされています。たとえば、ニューヨーク市、ロサンゼルス、ボルチモアの教育区では、アメリカ合衆国での使用を禁止しています。

• 大規模な言語モデルにおいてコンテキスト学習を活用するためのプロンプトエンジニアリング
• 「Open Interpreterに会ってください：OpenAIのコードインタプリタのオープンソースのローカル実行実装」
• 「RunPodを使用した生成的LLMsの実行 | サーバーレスプラットフォーム」

同様に、オーストラリアの大学では、エッセイを書くために技術を使用する学生を防止するために、「ペンと紙」の試験を再開すると発表しています。多くの教員が盗作を心配しているため、ジョージ・ワシントン大学、ラトガーズ大学、アパラチアン州立大学などの学術機関は、テイクホームのオープンブックの課題を完全に廃止することを決定しました。学術論文や出版物でも、ChatGPTを利用した学術的執筆を禁止しているものがいくつかあります。これは、ChatGPTによって生成された要約が人間が生成したものと同一であることが実証されているため、予想されることではありません。

しかし、いくつかの人々はChatGPTを擁護し、さらなる執筆生産性の向上を提唱しています。教育の分野では、以前の研究が医療およびヘルスケア、コンピュータおよびデータサイエンス、法律、ビジネス、ジャーナリズムおよびメディア、言語習得など、さまざまな分野での大規模な言語モデルの効果と有用性を調査しています。これらの研究は、ChatGPTの標準テストへのパフォーマンスを学生のパフォーマンスと比較したときに、結果が異なることを示していますが、特に大規模な言語モデルとの比較では、質問応答のタスクが大幅に改善されたことがわかりました。

過去の研究では、米国の医師資格試験でのChatGPTのパフォーマンスを評価し、追加の特殊なトレーニングや強化学習の必要性なしに、試験の3つのフェーズすべてで合格水準に近いパフォーマンスを発揮したことがわかりました。同様に、他の研究では、ChatGPTモデルを米国の基盤工学試験にテストし、そのパフォーマンスをエンジニアリングの文脈で評価しました。彼らの研究では、モデルのパフォーマンスが試験のさまざまなセクションによって変動することを示し、プロフェッショナルプラクティスと倫理のような一部のセクションでは高いスコアを獲得し、水文学などの他のセクションでは低いスコアを獲得したことを示しました。

しかし、これらの例にもかかわらず、文献では、同じ大学の異なる学術領域の学生とChatGPTのパフォーマンスを対比した体系的な調査がまだ改善の余地があります。また、この技術の使用について学生や教員の立場が国際的にどのようになっているのかも明確にする必要があります。最後に、ChatGPTによって生成された課題の解答が検出可能かどうかは不明です。ここでは、ニューヨーク大学アブダビ校の研究者が、チャットGPTのパフォーマンスを8つの異なる分野からの32の大学レベルのコースの学生と比較し、そのプラギアリズムツールとしての潜在能力を分析するために、これらのテキストの検出アルゴリズムを回避するために使用できる曖昧化手法の実現可能性を調査しています。

彼らは、ブラジル、インド、日本、イギリス、アメリカ合衆国の5つの異なる国から選ばれた参加者（N=1601）を調査し、ChatGPTの有用性やその使用に関連する倫理的および規範的問題についての学生や教育者の視点をよりよく理解しました。また、著者の大学での151人の学部生と60人の教授を対象に、さまざまな分野がChatGPTをどのように見るかの違いを調査しました。彼らは、32のコースのうち9つでChatGPTが学生と同等またはそれ以上のパフォーマンスを発揮することを発見しました。また、現在の検出アルゴリズムは、ChatGPTの応答をAI生成ではなく人間が生成したものと誤って識別することがよくあります。

さらに悪いことに、難読化攻撃により、これらのアルゴリズムは無意味になり、ChatGPTの応答の95%が欠落します。最後に、学生たちの間でChatGPTを学術的な仕事に利用することに合意が見られ、教員たちはそれを盗作として扱うことになるとのことです。これらの2つの間には本質的な緊張関係があるため、教育機関は生成型AI全般および特にChatGPTに対して受け入れ可能な学術的誠実性の規制を整備する必要があります。生成型AIの時代において、彼らの調査結果は教育改革に関する政策議論に向けられる現代的な洞察を提供しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!