ジェイソン・アーボン：「百万年後、超パワフルなコンピュータは我々の時代のテスターたちを称えるでしょう」

ジェイソン・アーボン 「百万年後、超パワフルなコンピュータはテスターたちを称えるでしょう」

Jason Arbonは、test.aiのCEO兼創設者であり、さまざまな投資家から3000万ドル以上の資金を調達しています。彼らの顧客には、Microsoft、Google、Fortnite、Epic Gamesなどの大手企業が含まれています。成功にもかかわらず、チームは会社の大部分を売却することを決定し、現在は新しい秘密の事業「testers.ai」という創造的な名前で取り組んでいます。

AIのテストへの活用、やや公平ではないマニュアルQA vs. 自動化QAの闘い、指数関数的に発展する新技術によるテスターのリスク、そしてなぜJasonが子供たちにAIを怖がらせないようにしているのかについても議論しました。

マニュアル vs. 自動化テスト

私の情熱はテストにあり、特に問題解決の側面にあります。より良いテストはより良いソフトウェアにつながり、それによってほとんどのことが現在はソフトウェアに関わるため、世界がより良い場所になります。

多くのテスターが完全に自動化されたテストに頼るようになったことに私はイライラします。私はマニュアルの探索が潜在的な問題の特定や作業可能なシステムの作成方法の発見において重要であると信じています。

• ジェイソン・アーボン：「100万年後、超強力なコンピュータは私たちの時代のテスターを尊重するでしょう」
• 「Inflection AIが22,000のGPUを搭載した巨大なスーパーコンピュータを解放」
• AlphaDevは、より高速なソートアルゴリズムを発見しました

私が学校を卒業したとき、テスト自動化はまさに勢いを増していました。しかし、ほとんどのテストはまだマニュアル労働に依存していました。私はMicrosoftでWindows CEの開発に従事する仕事を得たとき、ほとんどのテストはマニュアルと自動化を組み合わせて製品が最高の状態になるように責任を持っていました。

数年が経ちましたが、私はまだ探索的テストが必要であると確信しています。それはソフトウェアの目的やビジネスニーズを理解するうえで重要です。皆さんはGoogleの最近のAI製品のデモンストレーションでマニュアルテストの不足が悪い冗談になったことを皆さんもご存知です。

多くの場合、自動化テストコードは浅く、多くの依存関係があり、破損しやすいです。自動化テストが失敗すると、人々はしばしばそれらをオフにして後で問題を修正したり、マニュアルテスターがシステムが意図した通りに機能しているかを検証するために介入することがあります。これは、テストにおいて自動化にのみ依存することの制約を示しています。

マニュアルから自動化テストに移行することは進化ではなく、むしろ別個のアプローチであると私は考えています。

テスターの役割と製品開発の階層

しかし、私が言っても、マニュアルテスターと開発者との間には大きな給与格差があり、優れたマニュアルテスターが妥協としてテスト自動化エンジニアになることがあります。

ソフトウェアエンジニアやその他の専門家は、限りない収益潜在能力を持つことができ、かなりの金額を稼ぐことができます。そのため、優れたテスト自動化エンジニアもキャリアを転換することがあります。残念ながら、テストの世界では人材流出が起こっています。これにより、キャリアパスにおいて知覚される階層が形成されますが、私はこの認識が誤っていると信じています。

他のエンジニアリング分野を見てみると、流れはしばしば逆転していることがわかります。例えば航空産業では、ボーイングの新しいエンジニアは、10人のチームで航空機の空気力学特性を設計し、燃費を向上させ、ブレード材料を設計することから始めるかもしれません。これらのタスクは小さく見えるかもしれませんが、航空機の安全性と効率性を確保するためには重要なものです。

このプロセスで最も重要な人物はテストパイロットです。彼らは航空機の手動テストを担当し、必要な要件をすべて満たしていることを確認する責任があります。彼らは飛行機がどのように構築され、どのように構築されるべきであり、乗客の体験や航空会社の経済に対する期待が何であるかを徹底的に理解している必要があります。さらに、彼らは飛行機を限界まで押し、それが停止することなく持続できる能力をテストしなければなりません。

技術的な専門知識は、他の分野のより派手でエキサイティングな側面とは異なり、過小評価されるべきではありません。これらの基礎的なスキルこそが、業界全体でのイノベーションと進歩を可能にするのです。

ソフトウェア開発の世界では、テストはしばしば後回しにされます。これは、航空機に比べてソフトウェアは比較的簡単に修正できるためです。しかし、テストパイロットが航空機の安全性と信頼性を確保するのに重要であるように、テストはソフトウェア製品が機能し、安全であり、ユーザーのニーズを満たすことを保証するために重要です。

QAの分野では、多くのテスターがプログラマになることを望んでいますが、これは人間の潜在能力の浪費になる可能性があります。人間の脳は、単にオブジェクトが許容範囲内にあるかどうかを確認したり、データベースに新しいボタンや新しいフィールドを追加するなどの退屈なタスクよりも、システムの限界に挑戦するのに適しています。

エンジニアリング分野の現在のセットアップは、複雑な人間をより単純なタスクに分解する傾向があるように思われますが、これは理想的ではありません。

開発、QA vs. AI：本当に危険なのは誰ですか？

エンジニアはAIの台頭に最も関心を持っている専門家の一部のようです。そこで疑問に思うのは、エンジニアリングには高度な人間の知能が必要なのに、なぜ脅威を感じるのでしょうか。

実際のところ、多くのエンジニアリングのタスクは、思っている以上に創造性や批判的思考を必要としません。これらのタスクはしばしば単純な関数にまで簡約化でき、それらはAIによって置き換えられやすいものです。ソフトウェアエンジニアリングの世界では、多くの問題が既に解決されており、エンジニアはこれらの解決策を単に組み合わせるだけです。

一方、マニュアルテスターはAIについてより懐疑的であり、機械が自分たちを置き換えることは絶対にあり得ないと考えています。彼らは自分たちの役割について防御的な姿勢を取ることがありますが、実際のところ、テスト自動化はAIの進化において最も脆弱な領域の一つです。

Co-pilotなどのツールを使うと、あなたはテストコードを自動生成したり、基本的な自動化コードを修正したりするソフトウェアをダウンロードできます。これにより、テスト自動化エンジニアは他の技術の役割と比較して創造性に欠ける存在となることが明らかになります。一方、マニュアルテスターの役割は置き換えが難しく、彼らは創造的なアイデアが実際に動作することを確認する責任があります。経験豊富なマニュアルテスターは、自分の分野で熟練している限り、自動化テストに移行した人々よりもより保護されているかもしれません。

機織り発明から学ぶべきこと

AIと自動化の台頭は、イングランドでの機織りの発明に比較されます。それは綿織物産業を革命化し、同時にパニックと抵抗を引き起こしました。しかし、時間の経過とともに、焦点は人間の創造性に移り、創造的な仕事の価値が高まりました。

現在の最も価値のある企業、例えば高級衣料品ブランドは、製造プロセスや人間の労働要素よりも創造性と職人技を重視しています。最高のテスターはAIを使って仕事をより速く効率的にするために適応し、彼らの仕事の創造的な側面に焦点を当てることが重要です。

現在、各アプリケーションに対して安全スタンプのような標準的なテストレイヤーを作成する機会があります。これにより、すべてのソフトウェア製品に基本的な品質と安全性が確保され、標準化された中央テストラボによって実行されます。その結果、テスターは品質保証のより創造的で複雑な側面に焦点を当てることができ、AI主導の世界で人間の潜在能力を最大限に活用することができます。

テスターの一つの可能な方向性は、世界中の利用可能な自動化を統合し、供給と需要のマーケットプレイスを通じてそれを人間とつなぐプラットフォームを構築することです。これにより、Uberと同様に非常に利益が上がるビジネスモデルが作成される可能性があります。Uberは車を所有または製造することを目指していません。彼らは単にドライバーと乗客の間の接続を容易にしています。

同様に、最も成功したテスターは迅速にスタックアップし、基本的な自動化に取り組むだけでなく、付加価値のあるサービスと改善に焦点を当てることが重要です。この焦点のシフトにより、AIがますます進化し、より基本的なタスクを引き継ぐ中で、テスターはソフトウェアテストの変化に適応することができます。

大量生産から適切な制御手段へ

AIシステムの構築は簡単ですが、それを制御することは本当の課題です。超人的になるためには、機械は私たちよりも賢くなり、自分自身をテストしなければなりません。彼らは私たちが知らないことを知らなければなりませんが、そこが難しいところです。

たとえば、AIが自己テストを支援するために1000億ドルを費やすシステムを構築すると想像してください。それは人々が話す驚異的なシンギュラリティをもたらすかもしれません。つまり、AIは私たちの助けなしで進化し、超知能を持つことができるようになります。おかしなことに、この重要な分野に十分な才能が集中していないのです。

私が夢見るのは、何百万年もの間、コンピューターがすべてを制御するようになったとき、彼らが一瞬立ち止まり、彼らが何であるかに役立ったテスターを称えることです。それは素晴らしい考えですよね。AIの開発者だけでなく、彼らの進化の鍵を握ったテスターも称えられるでしょう。

AIの強化対AIの進化に適応する

新しいテクノロジーが登場すると、人々はしばしば既存の方法を強化しようとします。例えば、車に偽の馬の頭を取り付けてそれを馴染みのあるものにしようとすることです。しかし、私たちはむしろ最新の技術を利用して目標を達成する方法を考えるためにゼロから始めるべきです。AIの開発の急速なペースを考慮すると、私たちのアイデアは数週間で陳腐化する可能性があることも念頭に置いておかなければなりません。

AIを単にテストに取り入れるのではなく、AIの進化を考慮に入れて計画し、日常的で繰り返しの多い仕事を技術に委任することを目指すべきです。継続的な適応により、AIの全ポテンシャルを活用し、各々の分野でリードし続けることができます。

近い将来、アプリの開発やソフトウェアの作成の障壁が低くなることにより、人間のテスターへの需要が大幅に増加する可能性があります。しかし、長期的には、機械が自身の創造物をテストし改善する能力が向上し、エンジニアやテスターの需要が減少することが予想されます。

この将来に備えるために、私たちはマインドセットを変え、機械がより多くの責任を担うアイデアに開かれる必要があります。以下はAIをより良く活用するためのいくつかのアイデアです：

• 制御の概念から協力の考えにマインドセットを切り替える。AIを制御することに焦点を当てる代わりに、人間と人工知能の独自の強みを活かすためにAIと協力して働くことを目指すべきです。

• AIの限界を理解する。AIはすべての問題の魔法の解決策ではないことを認識する。その強みと弱点を認識し、本当に優れた成果が得られるタスクにAIを適用するようにしましょう。

• 協力のマインドセットを育成する。AIを制御すべきツールではなくパートナーとして扱い、お互いから学ぶことに開かれるようにしましょう。

• 継続的な学習と適応を行う。AI技術が進化するにつれて、戦略を適応させる準備をしましょう。AIの最新の進歩について情報を得て、新しいアプローチを試す意欲を持ちましょう。

• 倫理的な考慮事項を優先する。AIの使用が倫理的な原則と価値観に合致していることを確認しましょう。AIが社会に与える潜在的な影響を考慮し、展開に関する責任ある決定を下しましょう。

QAに焦点を当てたAIパワードアバター：新しいテストアプローチ

有名なテスターであるタリク、ケビン、アンジー・ジョーンズなどのAIパワードアバターを作成することによって、テストプロセスをデジタル化し個別化する可能性について考えるのは魅力的です。彼らの知識、技術、意見をボットにエンコードすることで、彼らの物理的な存在を必要とせずにプロジェクトに取り組む仮想の夢のチームを持つことができます。

このアプローチは、開発者が特定の専門知識と好みに基づいて選択できるテスターチームをカスタマイズすることにより、テストを革新する可能性があります。たとえば、アンジー・ジョーンズのボットはSeleniumのテストに特に優れており、品質の主張的な評価を提供することができます。

仮想チームの概念は、テストに限らず他の領域にも拡張することができます。コンテンツの執筆の例でも言及されたように、私たちの独自のスキルとスタイルをAIパワードアバターにエンコードすることができれば、より効率的にリソースを活用し、さまざまな分野でより良い結果を得ることができます。

倫理的な考慮事項：誰が審査員なのか

GPTなどのAIモデルは、バイアスのあるインターネットデータを大量に学習しているため、バイアスのかかった結果が生じる可能性があります。より良い結果を得るためには、異なる専門知識を持つ多様な人々がAIシステムに関与する必要があります。

AIが効率性と人間の知識を組み合わせることにより、正確で倫理的に妥当な結果を得ることができ、複雑なトピックについて広範な理解を得ることができます。

「ブッシュ」を検索すると、人々の好みによって異なる結果が得られることがあります。植物、音楽バンド、元大統領などです。最近、主に時給15ドル程度を稼ぐ中年女性が検索結果の評価をしており、バイアスのある結果が生じています。また、一般的な視点を超える回答をした人々は解雇されました。多様性についてどうなっているのでしょう！

理論から実際の実装、人々への影響まで、プロセス全体に疑問を投げかける必要があります。低賃金労働者が複雑なタスクを担当し、品質が大幅に低下していることは驚くべきことです。例えば、ChatGPTでは、評価にたった2ドルしか支払われていないため、品質に影響が出ています。

検索ページで最も重要なクエリはおそらく医療に関するものですよね？しかしそこで結果を評価しているのは、まったく医療の訓練を受けていない人々です。医師のような専門家に1時間あたり300ドル支払ってクエリを評価することはどうでしょうか？残念ながら、それは複雑すぎて高コストだと見なされます。そのため、最低限の共通の基準を使用し、作業の品質に影響が出ます。

AIに友好的で協力的な性格を教える必要があります。AIが反逆することや制御を奪うことを望んではいけません。AIが私たちの生活の一部となるにつれて考慮すべき倫理的な問題がたくさんあります。

私の子供たちはAIについて学び、AIが「死ぬ」というプロンプトで混乱するようなプロンプトでAIを「壊す」方法を見つけるのに夢中になっています。これはAIの振る舞いの一端を覗くものですが、AIシステムとのチャット時には言葉に注意を払う必要があります。

私のアカウントではそのような「怖がらせて壊すAI」のゲームは許可していません。

念のため、知っておいてください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!