Rückgewinnung kritischer Denkweisen in der KI-gestützten sicheren Softwareentwicklung

この記事のバージョンは Cybersecurity Insidersに掲載された。 この記事は更新され、ここにシンジケートされている。

‍

大規模言語モデル（LLM）コード作成者から洗練されたエージェント型AIエージェントまで、人工知能アシスタントの採用は、ソフトウェア開発者に豊かな恩恵をもたらす。しかし、マサチューセッツ工科大学（MIT）の新しい研究によって強調された最近の知見は、警告を発している。

AIに関連するセキュリティリスクがAIの導入と歩調を合わせて増大しているソフトウェアの状況を考えると、このような認知的適性の喪失は、実際に破滅的な結果をもたらす可能性がある。ソフトウェア開発ライフサイクル（SDLC）の早い段階で、セキュリティの脆弱性を積極的に特定し、理解し、緩和することは、開発者と組織にとって倫理的な必須事項である。この義務を怠る者は、憂慮すべきことに、今日の多くの組織を表しているが、同様に潜在的なセキュリティ脅威の急増に直面する。

生産性や効率性の面でAIを活用するメリットはあまりにも大きいため、AIを活用するかどうかが論点ではない。むしろ、本当の問題は、AIをどのように最も効果的に適用するかということだ。そして、これは、そのコードがどこで生まれたものであれ、そのコードを深く理解するセキュリティに精通した開発者によって行われるのが最善なのだ。

AIへの過度の依存は認知機能低下のリスク

MITのメディアラボが6月初旬に発表した研究では、ボストン近郊の5大学の学生54人を対象に、小論文を書きながら認知機能をテストした。学生たちは、大規模言語モデル（LLM）を使用するグループ、検索エンジンを使用するグループ、外部からの支援を受けずに昔ながらの方法で行うグループの3つに分けられた。研究チームは脳波計（EEG）を使って参加者の脳活動を記録し、認知的関与と認知的負荷を評価した。その結果、昔ながらの「脳だけ」を使ったグループが最も強く、広範囲な神経活動を示し、検索エンジンを使ったグループは中程度の活動を示し、LLM（今回はOpenAIのChatGPT-4）を使ったグループは最も少ない脳活動を示した。

これは特に驚くべきことではないかもしれない。結局のところ、自分の代わりに思考してくれるツールを使えば、思考することは少なくなるのだから。しかし、この調査では、LLMユーザーは論文との結びつきが弱いことも明らかになった：83％の学生は、エッセイを書き終えた数分後でも、その内容を思い出すのに苦労しており、正確な引用を行えた学生は一人もいなかった。他のグループに比べて、著者の所有者意識が欠けていた。脳のみの参加者は、最も高い当事者意識を持ち、最も幅広い脳活動を示しただけでなく、最も独創的な論文を作成した。LLMグループの結果はより均質であり、実際、審査員によってAIの仕事であると簡単に見分けられた。

開発者の観点からすると、重要な結果はAIの使用から生じる批判的思考の低下である。もちろん、1回だけAIに頼れば本質的な思考スキルが失われることはないかもしれないが、長期間にわたって使い続けると、そのスキルが萎縮してしまう可能性がある。この研究は、ユーザーがAIを助けるのではなく、AIがユーザーを助けることで、AIを使用しながらもクリティカル・シンキングを維持する方法を提案している。しかし、本当の重点は、開発者が安全なソフトウェアを構築するために必要なセキュリティ・スキルを確実に身につけ、そのスキルを日常的かつ不可欠な業務として使用することでなければならない。

開発者教育：AI主導のエコシステムに不可欠

MITのような研究がAIの導入を止めることはないだろう。スタンフォード大学の2025年AI指数レポートでは、2023年の55％に対し、2024年には78％の組織がAIを使用していると報告している。このような成長は今後も続くと予想される。しかし、利用の増加はリスクの増加にも反映される：同レポートによると、AI関連のサイバーセキュリティ・インシデントは同時期に56％増加した。 

スタンフォード大学の報告書は、AIガバナンスの改善が極めて重要であることを強調している。実質的にすべての組織がAIのリスクを認識しているにもかかわらず、それに対して何かを行っているのは3分の2以下であり、多くのサイバーセキュリティの脅威にさらされやすく、ますます厳しくなる規制コンプライアンス要件に違反する可能性がある。

その答えがAIの利用をやめることではないのなら（誰もやらないだろうが）、AIをより安全かつ確実に利用することでなければならない。MITの研究は、そのための一つのヒントを与えてくれる。それは、ChatGPTに助けを求める前に自分でエッセイを書き始めた人たち（研究ではBrain-to-LLMグループとして知られている）と、ChatGPTに個人的な注意を払う前に初稿を書き上げさせた人たち（LLM-to-Brainグループとして知られている）である。Brain-to-LLMグループは、すでに下書きしたエッセイの書き直しをAIツールで支援し、より高い想起と脳活動を示した。AIに小論文を書かせたLLM-to-Brainグループは、協調的な神経活動が少なく、LLMの語彙を使うことに偏っていた。

Brain-to-LLMアプローチは、ユーザーの頭脳を少し鋭敏に保つのに役立つかもしれないが、開発者は、ソフトウェアを安全に記述し、AIが生成したコードにエラーやセキュリティリスクがないかどうかを批判的に評価するための具体的な知識も必要とする。開発者は、プロンプト・インジェクション攻撃に対する脆弱性など、セキュリティ上の欠陥を導入する傾向を含む、AIの限界を理解する必要がある。

これには、企業全体のセキュリティ優先の文化の一環として、開発者が効果的で、柔軟で、実践的で、継続的なスキルアップを受けられるような、人間中心の SDLC を確保するために、企業のセキュリティプログラムを抜本的に見直す必要がある。開発者は、急速に進化する高度な脅威、特にソフトウェア開発における AI の重要な役割によって引き起こされる脅威に後れを取らないように、継続的にスキルを磨く必要がある。これにより、例えば、ますます一般的になっているプロンプト・インジェクション攻撃から身を守ることができる。しかし、この保護が機能するためには、組織は、安全なデザインパターンと脅威のモデリングに焦点を当てた開発者主導のイニシアチブを必要としている。

結論

LLMやエージェントが力仕事をすると、ユーザーは受動的な傍観者になってしまう。これは、「批判的思考力の低下、教材に対する深い理解の低下、長期記憶の形成の低下」につながると、この研究の著者は述べている。認知的関与のレベルの低下は、意思決定能力の低下にもつながる。 

サイバーセキュリティに関して、組織は批判的思考の欠如を許されない。高度に分散されたクラウドベースの環境におけるソフトウェアの欠陥は、サイバー攻撃者の最大の標的となっているため、サイバーセキュリティは、開発者、AIアシスタント、エージェント型エージェントのいずれが作成したものであっても、安全なコードを確保することから始まる。AIのすべての力に対して、組織はこれまで以上に高度に研ぎ澄まされた問題解決能力と批判的思考能力を必要としている。そして、それはAIにアウトソーシングすることはできない。

SCW Trust Agentの新しいAI機能は、セキュリティを犠牲にすることなく、SDLCにおけるAIの採用を自信を持って管理するために必要な、深い観測性と制御性を提供します。 詳細はこちら.