ジェイソン・アーボン：「100万年後、超強力なコンピュータは私たちの時代のテスターを尊重するでしょう」

ジェイソン・アーボン 100万年後、コンピュータは私たちのテスターを尊重するでしょう

ジェイソン・アーボンは、test.aiのCEO兼創設者であり、さまざまな投資家から3000万ドル以上の資金調達を受けた会社です。彼らの顧客には、Microsoft、Google、Fortnite、Epic Gamesなどの大手企業が含まれています。成功にもかかわらず、チームは会社の大部分を売却することを決め、現在は新しい秘密の事業「testers.ai」というクリエイティブな名前で取り組んでいます。

私たちは、テストでのAIの使用、公正ではないマニュアルQA対自動化QAの闘い、指数関数的に発展する新しい技術によるテスターのリスク、そしてなぜジェイソンが子供たちにAIが怖がられないようにGoogleアカウントを見せないのかについて議論しました。

マニュアル対自動化テスト

私の情熱はテストにあり、特に問題解決の側面にあります。より良いテストは、より良いソフトウェアを生み出し、その結果、ほとんどのことが現在はソフトウェアに関連しているため、世界をより良い場所にするのに役立ちます。

多くのテスターが自動化テストにだけ取り組んでいることを見て、私はイライラします。なぜなら、潜在的な問題を特定し、実行可能なシステムを作成する方法を見つけるために、マニュアルでの探索が重要だと信じているからです。

• 「Inflection AIが22,000のGPUを搭載した巨大なスーパーコンピュータを解放」
• AlphaDevは、より高速なソートアルゴリズムを発見しました
• より一般化されたAIツールを使用してコンピュータシステムを最適化する

私が学校を卒業した頃、テスト自動化はまさに勢いを増していました。しかし、ほとんどのテストはまだマニュアルの労働に頼っていました。私はMicrosoftでWindows CEの開発に携わる仕事を得たとき、私はテスターとして、製品が最善の状態になるように、マニュアルと自動化のテストを組み合わせて担当しました。

年月が経ち、私はまだ探索的テストが必要だと確信しています。それはソフトウェアの目的やビジネスニーズを理解するために重要です。Googleの最近のAI製品のデモンストレーションで、マニュアルテストの欠如が悪いジョークになったのを皆さんはご存知でしょう。

多くの場合、自動化テストコードは浅く、多くの依存関係があり、破損しやすいです。自動化テストが失敗した場合、人々はしばしばそれらをオフにし、後で問題を修正するか、マニュアルテスターにシステムが意図した通りに動作しているかを確認するように依頼します。これは、テストにおいて自動化にのみ頼ることの制約を示しています。

私は、マニュアルから自動化テストへ移行することは進化ではなく、むしろ別のアプローチであると考えています。

テスターの役割と製品開発の階層

しかし、私が言ったことはどうであれ、マニュアルテスターと開発者の間には大きな給与格差があり、優れたマニュアルテスターが妥協としてテスト自動化エンジニアになることがあります。

ソフトウェアエンジニアやその他の専門家は、膨大な収入を得ることができ、その収入の可能性にはほとんど限りがありません。そのため、優れたテスト自動化エンジニアもキャリアを変えることがあります。残念ながら、テストの世界では脳の流出が起こっています。これにより、キャリアパスの面での認識には階層が存在するように見えますが、私はこの認識が誤っていると考えています。

他のエンジニアリング分野を見ると、流れはしばしば逆転していることがわかります。例えば航空では、ボーイングの新しいエンジニアは、10人のチームで働いて空気の翼を設計し、燃料効率を向上させ、ブレード材料を設計することから始めるかもしれません。これらのタスクは小さなものに見えるかもしれませんが、航空機の安全性と効率性を確保する上で重要です。

このプロセスで最も重要な人物はテストパイロットです。彼らは航空機の手動テストと必要な要件を満たしているかを確認する責任があります。彼らは飛行機がどのように構築され、どのように構築されるべきか、乗客の体験や航空会社の経済における期待が何であるかを徹底的に理解している必要があります。さらに、彼らは飛行機を限界まで追い込み、失速せずにどれだけのことを耐えられるかをテストしなければなりません。

技術的な専門知識は、他の分野のより派手でエキサイティングな側面と比べて過小評価されるべきではありません。これらの基礎的なスキルが業界全体でのイノベーションと進歩を可能にします。

ソフトウェア開発の世界では、テストはしばしば後回しにされます。これは、ソフトウェアを修正するのが飛行機に比べて比較的容易だからです。しかし、テストパイロットが航空機の安全性と信頼性を確保する上で重要な存在であるように、テストはソフトウェア製品が機能し、安全であり、ユーザーのニーズに適合していることを保証するために重要です。

QAのフィールドでは、多くのテスターがプログラマーになりたいと望んでいますが、これは人間の潜在能力の無駄です。人間の脳は、対象が許容範囲内かどうかをチェックしたり、データベースにボタンやフィールドを追加したりするといった単調な作業を行うよりも、システムの限界を押し広げる方が適しています。

エンジニアリング分野の現在の構成では、複雑な人間を単純なタスクに分解する傾向があるようですが、これは理想的ではありません。

開発、QA対AI：本当に危険なのは誰ですか？

AIの台頭に関しては、エンジニアたちが最も心配している専門家の一人です。これに疑問が浮かびます。もしエンジニアリングがこのような洗練された人間の知性を必要とするのであれば、なぜ脅威を感じているのでしょうか。

実際のところ、多くのエンジニアリングのタスクは思われるよりも創造性や批判的思考が少ないものです。これらのタスクはしばしば単純な関数にまで簡略化でき、AIに置き換えられる可能性が高くなります。ソフトウェアエンジニアリングの世界では、多くの問題が既に解決されており、エンジニアはこれらの解決策を単に組み合わせるだけで済むことが多いのです。

一方、マニュアルテスターは、機械が自分たちを置き換えることは絶対にできないと信じているため、AIについてより懐疑的です。彼らは自分たちの役割について守勢に立つことがありますが、現実は、テストの自動化はAIの進歩に対して最も脆弱な領域の一つです。

Co-pilotのようなツールを使えば、自分のために知的なテストを書くソフトウェアをダウンロードすることができます。基本的な自動化コードを修正したり、簡単なテキスト入力でテストスクリプトを生成したりすることができます。これにより、テストの自動化エンジニアは、他の技術の役割と比較して創造的ではないということが明らかになります。対照的に、マニュアルテスターの役割は置き換えが難しく、彼らは創造的なアイデアが実際に動作することを保証する責任があります。経験豊富なマニュアルテスターは、自分の分野において熟練している限り、自動化テストに移行した人々よりも保護されるかもしれません。

機織りの発明から学ぶべきこと

AIと自動化の台頭は、イギリスでの機織りの発明に喩えられます。それは綿織物産業を革新し、同時にパニックと抵抗を引き起こしました。しかし、時間の経過とともに、焦点は人間の創造性に移り、創造的な仕事の価値が高まりました。

今日の最も価値のある企業、例えば高級衣料品ブランドは、製造プロセスや人間の労働要素よりも創造性と職人技を重視しています。最高のテスターは、AIを利用して作業をより速く効率的に行い、仕事の創造的な側面に焦点を当てるように適応するでしょう。

現在、すべてのアプリに対して標準のテストレイヤーを作成する機会があります。これは、電子機器に対する安全スタンプのようなものです。これにより、すべてのソフトウェア製品において基本レベルの品質と安全性が確保されます。これらは標準化された中央集権的なテストラボで実行されます。その結果、テスターは品質保証のより創造的かつ複雑な側面に焦点を当てることができ、AI主導の世界において人間の潜在能力を最大限に活用することができます。

テスターの一つの可能な方向性は、世界中の利用可能な自動化をオーケストレートし、供給と需要のマーケットプレイスを通じてそれを人間と接続するプラットフォームを構築することです。これにより、Uberのような非常に利益の上がるビジネスモデルを作り出す可能性があります。Uberは車を所有または製造することを望んでいません。彼らは単にドライバーと乗客とのつながりを容易にしています。

同様に、最も成功するテスターは迅速にスタックを上に進み、基本的な自動化に取り組むだけでなく、付加価値のあるサービスと改善を作り出すことに焦点を当てるでしょう。この焦点のシフトにより、AIがますます進化し基本的なタスクを引き継いでいく中で、テストのソフトウェアテストの変化に適応することができるようになります。

大量生産からカスタマイズされた制御手段へ

AIシステムの構築は簡単ですが、それを制御することは本当のチャレンジです。超人的になるために、機械は私たちよりも賢くなり、自分自身をテストする必要があります。私たちが知らないことを知る必要があり、そこが困難なところです。

AI自体をテストするために1000億ドル費やすシステムを構築することを想像してみてください。それは人々が話す驚異的なシンギュラリティをもたらすかもしれません。それはAIが私たちの助けなしで進化し、超知能になるほど賢くなることです。おかしなことに、この重要な領域に十分な才能が集中していないのです。

こういう夢を見ます。何百万年もの間、コンピュータがすべてを制御するようになったとき、彼らはちょっとした瞬間をとり、彼らがどのようになったのかを助けたテスターたちを称えるでしょう。それは美しい考えですね。彼らはAIの開発者だけでなく、進化の鍵を握ったテスターたちに敬意を表すのです。

AIの強化 vs AIの進化への適応

新しい技術が現れると、人々はしばしば既存の方法を強化しようとします。例えば、車に偽の馬の頭を取り付けるなど、なじみのある感覚にするためです。しかし、代わりに最新の技術を利用して目標を達成する方法を考えるために、ゼロから始めるべきです。AIの発展の速さを考慮すると、私たちの今日のアイデアが数週間で陳腐化する可能性も忘れてはいけません。

AIを単にテストに取り入れるのではなく、AIの進化を考慮に入れながら計画を立て、日々変化していくことで、私たちはAIの全ポテンシャルを最大限に活用し、各々の分野で先駆けることができます。

近い将来、アプリの開発やソフトウェアの作成のハードルが下がるため、人間のテスターの需要が大幅に増加する可能性があります。しかし、長期的には、機械が自らの創造物をテストし改善する能力を高めることで、エンジニアやテスターの需要が減少する可能性が高いです。

この将来に備えるためには、私たちは考え方を変え、機械がより多くの責任を担うことに開かれる必要があります。以下は、AIをより良く活用するためのいくつかのアイデアです。

• 制御という概念から協力の考え方にマインドセットを変えましょう。AIを制御することに焦点を当てるのではなく、人間と人工知能のユニークな強みを活かしてパートナーとしてAIと協力することを目指しましょう。

• AIの限界を理解しましょう。AIはすべての問題の魔法の解決策ではないことを認識しましょう。その強みと弱点を把握し、本当に優れた成果を上げることができるタスクに適用しましょう。

• 協力的なマインドセットを育てましょう。AIを制御するツールではなくパートナーとして扱い、お互いから学ぶことに開かれましょう。

• 継続的な学習と適応をしましょう。AI技術が進化するにつれ、戦略を適応させ更新する準備をしましょう。AIの最新の進歩について情報を得て、新しいアプローチを試す意欲を持ちましょう。

• 倫理的な考慮事項を優先しましょう。AIの使用が倫理的な原則や価値観と一致していることを確認しましょう。AIが社会に与える潜在的な影響を考慮し、その展開について責任ある決定をしましょう。

QAを重視したAIパワードアバター：新しいテストアプローチ

TariqやKevin、Angie Jonesなどの著名なテスターの知識、技術、意見をボットにエンコードすることで、彼らの物理的な存在を必要とせずにプロジェクトに取り組む仮想的な夢のチームを持つことができると考えると魅力的です。

このアプローチは、開発者が特定の専門知識と好みに基づいてカスタムされたテスターチームを選ぶことを可能にすることで、テストを革新するかもしれません。たとえば、Angie JonesのボットはSeleniumテストに特に優れており、意見を持ち、断言的な品質評価を提供するかもしれません。

仮想チームのコンセプトは、テストに限らず、あなたがコンテンツ執筆の例で言及したように、広がる可能性があります。私たちの独自のスキルとスタイルをAIパワードアバターにエンコードできれば、個人的にさらに多くの時間を投資することなく専門知識をスケールすることができます。これにより、リソースの効率的な利用が可能になり、さまざまな分野でより良い結果が得られるかもしれません。

倫理的な考慮事項：誰が判断するのか？

GPTのようなAIモデルは、バイアスがかかっている場合があります。なぜなら、それらはバイアスのかかったインターネットデータを大量に学習しているからです。より良い結果を得るためには、異なる専門知識を持つ多様な人々がAIシステムに取り組む必要があります。

AIによる生成コンテンツと人間の入力のバランスが必要です。AIの効率性と人間の知識を組み合わせることで、正確で倫理的に妥当な結果が得られ、複雑なトピックの広範な理解が可能になります。

「ブッシュ」と検索してみると、人々の好みによって異なる結果が得られることがあります。植物、音楽バンド、または元大統領などです。最近、ほとんど中年の女性で時給15ドル前後の人々が検索結果を評価していることがわかりました。これにより、バイアスのかかった結果が生じています。そして、一般的な視点を超えた回答をした人々は解雇されました。多様性についてどうなったのでしょう！

理論から実践へのプロセス全体、および人々への影響に関して疑問を持つ必要があります。低賃金労働者が複雑なタスクを担当することが多く、品質が大幅に低下していることは驚くべきことです。たとえば、ChatGPTでは、評価に対して1時間あたりわずか2ドルしか支払われておらず、出力の品質に影響を与えています。

検索ページで最も重要なクエリはおそらく医療に関するものですよね？しかし、まったく医療の訓練を受けていない人々が結果を評価しています。医師のような専門家にクエリを評価するために1時間あたり300ドルの報酬を支払うことはどうでしょう？残念ながら、それは複雑すぎて高価だと見なされています。したがって、最も一般的な基準を使用し、作業の品質が低下する結果になります。

AIに友好的で協力的な態度を教える必要があります。私たちは、AIが反抗したり制御を取ったりすることを望んではいません。AIが私たちの生活の一部となるにつれ、考慮すべき倫理的な問題がたくさんあります。

私の子供たちはAIについて学ぶのが楽しく、AIが「死ぬこと」についてパニックを起こすプロンプトでそれを「壊す」方法を見つけ出しました。AIの振る舞いへの一瞥は興味深いものですが、AIシステムとのチャット時に言葉には注意を払う必要があります。

私のアカウントでは、そのような「怖がらせてAIを壊す」ゲームは許可しません。

念のため、知っておいてください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!