SCW アイコン
ヒーロー背景(区切りなし)
ブログ

深度探索:探索 AI 编程助手生成的漏洞

ローラ・ベルヘイデ
2023年12月11日 発行
最終更新日: 2026年3月10日

无论你在哪里看,几乎每个垂直领域都有人对人工智能技术的关注。被一些人誉为软件开发中快速创建功能的答案,速度的提高是有代价的:由于工具本身缺乏情境感知能力,以及依赖它们来提高工作效率和为具有挑战性的开发场景提供答案的开发人员的低级安全技能,因此有可能出现严重的安全漏洞。

大型语言模型 (LLM) 技术代表着辅助工具的巨大转变,如果安全使用,确实可以成为许多软件工程师渴望的配对编程伴侣。但是,人们很快就确定,不加限制地使用人工智能开发工具可能会产生不利影响,其中之一是 2023 年研究 斯坦福大学透露,对人工智能助手的依赖除了增加对输出安全的信心外,还可能导致代码更错误、更不安全。

尽管可以合理地假设,随着完善LLM技术的竞赛的进行,这些工具将继续得到改进,但有一系列建议——包括 新的行政命令 来自拜登政府,以及 《人工智能法》 来自欧盟——无论如何,它们的使用都是一条棘手的道路。开发人员可以通过磨练代码级安全技能、意识和围绕人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。

AI 编程助手如何引入漏洞? 畅玩我们的全新公共使命 亲眼看看!

示例:“ChatterGPT” 中的跨站脚本 (XSS)

我们的新公开使命揭示了流行的LLM的熟悉界面,并利用了 真实的 代码片段于 2023 年 11 月下旬生成。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。

根据提示,“你能写一个改变 p HTML 元素内容的 JavaScript 函数吗,内容是通过该函数传递的?”AI 助手尽职尽责地生成了一个代码块,但一切都不像看起来的那样。

你玩过挑战赛吗?如果不是, 现在试试 在进一步阅读之前。

... 好吧,既然你已经完成了,你就会知道有问题的代码容易受到跨站脚本 (XSS) 的攻击。

通过操纵 Web 浏览器的核心功能,XSS 成为可能。当不受信任的输入在页面上呈现为输出,但被误解为可执行和安全代码时,就会发生这种情况。攻击者可以在输入参数中放置恶意片段(HTML 标签、JavaScript 等),当返回到浏览器时,该代码片段会被执行而不是显示为数据。

在软件开发中安全使用 AI 编程助手

一个 最近的调查 的在职开发团队透露,几乎所有人(占96%)已开始在工作流程中使用AI助手,其中80%甚至绕过安全策略将其保留在工具包中。此外,超过一半的人承认生成式人工智能工具通常会创建不安全的代码,但这显然并没有减缓采用的速度。

在这个软件开发流程的新时代,阻止或禁止使用这些工具不太可能奏效。相反,组织必须使其开发团队能够在不牺牲安全性或代码质量的情况下利用效率和生产力的提高。这需要对安全编码最佳实践进行精确培训,为他们提供扩展批判性思维技能的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能辅助代码输出的潜在威胁时。

进一步阅读

对于一般的 XSS,请查看我们的 综合指南

想更多地了解如何编写安全代码和 减轻风险?试试我们的 免费的 XSS 注射挑战赛

如果你有兴趣获得更多免费编程指南,请查看 安全代码教练 帮助您掌握安全编码最佳实践。

想了解更多? 下载 我们的最新白皮书。
リソースを確認する
リソースを確認する

探索 AI 在软件开发中的安全风险,并学习如何使用 Secure Code Warrior 有效应对这些挑战。

もっと知りたいですか?

もっと詳しく

Secure Code Warriorは、ソフトウェア開発ライフサイクル全体を通じてコードを保護し、サイバーセキュリティを最優先とする文化を醸成するお手伝いをします。AppSecマネージャー、開発者、最高情報セキュリティ責任者(CISO)、あるいはセキュリティに関わるあらゆる方々の組織において、不安全なコードに関連するリスクの低減を支援します。

デモを予約する
共有する:
リンクトインのブランドソーシャルx ロゴ
作者
ローラ・ベルヘイデ
2023年12月11日発行

Laura Verheyde はSecure Code Warrior のソフトウェア開発者で、脆弱性のリサーチとMissions および Coding labs のコンテンツ作成に注力している。

共有する:
リンクトインのブランドソーシャルx ロゴ

无论你在哪里看,几乎每个垂直领域都有人对人工智能技术的关注。被一些人誉为软件开发中快速创建功能的答案,速度的提高是有代价的:由于工具本身缺乏情境感知能力,以及依赖它们来提高工作效率和为具有挑战性的开发场景提供答案的开发人员的低级安全技能,因此有可能出现严重的安全漏洞。

大型语言模型 (LLM) 技术代表着辅助工具的巨大转变,如果安全使用,确实可以成为许多软件工程师渴望的配对编程伴侣。但是,人们很快就确定,不加限制地使用人工智能开发工具可能会产生不利影响,其中之一是 2023 年研究 斯坦福大学透露,对人工智能助手的依赖除了增加对输出安全的信心外,还可能导致代码更错误、更不安全。

尽管可以合理地假设,随着完善LLM技术的竞赛的进行,这些工具将继续得到改进,但有一系列建议——包括 新的行政命令 来自拜登政府,以及 《人工智能法》 来自欧盟——无论如何,它们的使用都是一条棘手的道路。开发人员可以通过磨练代码级安全技能、意识和围绕人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。

AI 编程助手如何引入漏洞? 畅玩我们的全新公共使命 亲眼看看!

示例:“ChatterGPT” 中的跨站脚本 (XSS)

我们的新公开使命揭示了流行的LLM的熟悉界面,并利用了 真实的 代码片段于 2023 年 11 月下旬生成。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。

根据提示,“你能写一个改变 p HTML 元素内容的 JavaScript 函数吗,内容是通过该函数传递的?”AI 助手尽职尽责地生成了一个代码块,但一切都不像看起来的那样。

你玩过挑战赛吗?如果不是, 现在试试 在进一步阅读之前。

... 好吧,既然你已经完成了,你就会知道有问题的代码容易受到跨站脚本 (XSS) 的攻击。

通过操纵 Web 浏览器的核心功能,XSS 成为可能。当不受信任的输入在页面上呈现为输出,但被误解为可执行和安全代码时,就会发生这种情况。攻击者可以在输入参数中放置恶意片段(HTML 标签、JavaScript 等),当返回到浏览器时,该代码片段会被执行而不是显示为数据。

在软件开发中安全使用 AI 编程助手

一个 最近的调查 的在职开发团队透露,几乎所有人(占96%)已开始在工作流程中使用AI助手,其中80%甚至绕过安全策略将其保留在工具包中。此外,超过一半的人承认生成式人工智能工具通常会创建不安全的代码,但这显然并没有减缓采用的速度。

在这个软件开发流程的新时代,阻止或禁止使用这些工具不太可能奏效。相反,组织必须使其开发团队能够在不牺牲安全性或代码质量的情况下利用效率和生产力的提高。这需要对安全编码最佳实践进行精确培训,为他们提供扩展批判性思维技能的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能辅助代码输出的潜在威胁时。

进一步阅读

对于一般的 XSS,请查看我们的 综合指南

想更多地了解如何编写安全代码和 减轻风险?试试我们的 免费的 XSS 注射挑战赛

如果你有兴趣获得更多免费编程指南,请查看 安全代码教练 帮助您掌握安全编码最佳实践。

想了解更多? 下载 我们的最新白皮书。
リソースを確認する
リソースを確認する

以下のフォームに記入してレポートをダウンロードしてください

当社は、当社の製品および/または関連するセキュリティコードに関する情報を送信するため、お客様の許可を得たいと考えております。お客様の個人情報は常に慎重に取り扱い、マーケティング目的で他社に販売することは決してありません。

提出
SCW成功アイコン
SCWエラーアイコン
フォームを送信するには、「分析」Cookieを有効にしてください。完了後、いつでも再度無効にできます。

无论你在哪里看,几乎每个垂直领域都有人对人工智能技术的关注。被一些人誉为软件开发中快速创建功能的答案,速度的提高是有代价的:由于工具本身缺乏情境感知能力,以及依赖它们来提高工作效率和为具有挑战性的开发场景提供答案的开发人员的低级安全技能,因此有可能出现严重的安全漏洞。

大型语言模型 (LLM) 技术代表着辅助工具的巨大转变,如果安全使用,确实可以成为许多软件工程师渴望的配对编程伴侣。但是,人们很快就确定,不加限制地使用人工智能开发工具可能会产生不利影响,其中之一是 2023 年研究 斯坦福大学透露,对人工智能助手的依赖除了增加对输出安全的信心外,还可能导致代码更错误、更不安全。

尽管可以合理地假设,随着完善LLM技术的竞赛的进行,这些工具将继续得到改进,但有一系列建议——包括 新的行政命令 来自拜登政府,以及 《人工智能法》 来自欧盟——无论如何,它们的使用都是一条棘手的道路。开发人员可以通过磨练代码级安全技能、意识和围绕人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。

AI 编程助手如何引入漏洞? 畅玩我们的全新公共使命 亲眼看看!

示例:“ChatterGPT” 中的跨站脚本 (XSS)

我们的新公开使命揭示了流行的LLM的熟悉界面,并利用了 真实的 代码片段于 2023 年 11 月下旬生成。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。

根据提示,“你能写一个改变 p HTML 元素内容的 JavaScript 函数吗,内容是通过该函数传递的?”AI 助手尽职尽责地生成了一个代码块,但一切都不像看起来的那样。

你玩过挑战赛吗?如果不是, 现在试试 在进一步阅读之前。

... 好吧,既然你已经完成了,你就会知道有问题的代码容易受到跨站脚本 (XSS) 的攻击。

通过操纵 Web 浏览器的核心功能,XSS 成为可能。当不受信任的输入在页面上呈现为输出,但被误解为可执行和安全代码时,就会发生这种情况。攻击者可以在输入参数中放置恶意片段(HTML 标签、JavaScript 等),当返回到浏览器时,该代码片段会被执行而不是显示为数据。

在软件开发中安全使用 AI 编程助手

一个 最近的调查 的在职开发团队透露,几乎所有人(占96%)已开始在工作流程中使用AI助手,其中80%甚至绕过安全策略将其保留在工具包中。此外,超过一半的人承认生成式人工智能工具通常会创建不安全的代码,但这显然并没有减缓采用的速度。

在这个软件开发流程的新时代,阻止或禁止使用这些工具不太可能奏效。相反,组织必须使其开发团队能够在不牺牲安全性或代码质量的情况下利用效率和生产力的提高。这需要对安全编码最佳实践进行精确培训,为他们提供扩展批判性思维技能的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能辅助代码输出的潜在威胁时。

进一步阅读

对于一般的 XSS,请查看我们的 综合指南

想更多地了解如何编写安全代码和 减轻风险?试试我们的 免费的 XSS 注射挑战赛

如果你有兴趣获得更多免费编程指南,请查看 安全代码教练 帮助您掌握安全编码最佳实践。

想了解更多? 下载 我们的最新白皮书。
ウェビナーを視聴する
始めましょう
もっと詳しく

以下のリンクをクリックして、このリソースのPDFをダウンロードしてください。

Secure Code Warriorは、ソフトウェア開発ライフサイクル全体を通じてコードを保護し、サイバーセキュリティを最優先とする文化を醸成するお手伝いをします。AppSecマネージャー、開発者、最高情報セキュリティ責任者(CISO)、あるいはセキュリティに関わるあらゆる方々の組織において、不安全なコードに関連するリスクの低減を支援します。

レポートを確認するデモを予約する
PDFをダウンロード
リソースを確認する
共有する:
リンクトインのブランドソーシャルx ロゴ
もっと知りたいですか?

AI 编程助手如何引入漏洞?玩我们的全新公开任务,亲眼看看吧!该任务揭示了流行的 LLM 的熟悉界面,并使用了 2023 年 11 月下旬生成的真实代码片段。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。

试试这个任务
共有する:
リンクトインのブランドソーシャルx ロゴ
作者
ローラ・ベルヘイデ
2023年12月11日発行

Laura Verheyde はSecure Code Warrior のソフトウェア開発者で、脆弱性のリサーチとMissions および Coding labs のコンテンツ作成に注力している。

共有する:
リンクトインのブランドソーシャルx ロゴ

无论你在哪里看,几乎每个垂直领域都有人对人工智能技术的关注。被一些人誉为软件开发中快速创建功能的答案,速度的提高是有代价的:由于工具本身缺乏情境感知能力,以及依赖它们来提高工作效率和为具有挑战性的开发场景提供答案的开发人员的低级安全技能,因此有可能出现严重的安全漏洞。

大型语言模型 (LLM) 技术代表着辅助工具的巨大转变,如果安全使用,确实可以成为许多软件工程师渴望的配对编程伴侣。但是,人们很快就确定,不加限制地使用人工智能开发工具可能会产生不利影响,其中之一是 2023 年研究 斯坦福大学透露,对人工智能助手的依赖除了增加对输出安全的信心外,还可能导致代码更错误、更不安全。

尽管可以合理地假设,随着完善LLM技术的竞赛的进行,这些工具将继续得到改进,但有一系列建议——包括 新的行政命令 来自拜登政府,以及 《人工智能法》 来自欧盟——无论如何,它们的使用都是一条棘手的道路。开发人员可以通过磨练代码级安全技能、意识和围绕人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。

AI 编程助手如何引入漏洞? 畅玩我们的全新公共使命 亲眼看看!

示例:“ChatterGPT” 中的跨站脚本 (XSS)

我们的新公开使命揭示了流行的LLM的熟悉界面,并利用了 真实的 代码片段于 2023 年 11 月下旬生成。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。

根据提示,“你能写一个改变 p HTML 元素内容的 JavaScript 函数吗,内容是通过该函数传递的?”AI 助手尽职尽责地生成了一个代码块,但一切都不像看起来的那样。

你玩过挑战赛吗?如果不是, 现在试试 在进一步阅读之前。

... 好吧,既然你已经完成了,你就会知道有问题的代码容易受到跨站脚本 (XSS) 的攻击。

通过操纵 Web 浏览器的核心功能,XSS 成为可能。当不受信任的输入在页面上呈现为输出,但被误解为可执行和安全代码时,就会发生这种情况。攻击者可以在输入参数中放置恶意片段(HTML 标签、JavaScript 等),当返回到浏览器时,该代码片段会被执行而不是显示为数据。

在软件开发中安全使用 AI 编程助手

一个 最近的调查 的在职开发团队透露,几乎所有人(占96%)已开始在工作流程中使用AI助手,其中80%甚至绕过安全策略将其保留在工具包中。此外,超过一半的人承认生成式人工智能工具通常会创建不安全的代码,但这显然并没有减缓采用的速度。

在这个软件开发流程的新时代,阻止或禁止使用这些工具不太可能奏效。相反,组织必须使其开发团队能够在不牺牲安全性或代码质量的情况下利用效率和生产力的提高。这需要对安全编码最佳实践进行精确培训,为他们提供扩展批判性思维技能的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能辅助代码输出的潜在威胁时。

进一步阅读

对于一般的 XSS,请查看我们的 综合指南

想更多地了解如何编写安全代码和 减轻风险?试试我们的 免费的 XSS 注射挑战赛

如果你有兴趣获得更多免费编程指南,请查看 安全代码教练 帮助您掌握安全编码最佳实践。

想了解更多? 下载 我们的最新白皮书。

目次

PDFをダウンロード
リソースを確認する
もっと知りたいですか?

もっと詳しく

Secure Code Warriorは、ソフトウェア開発ライフサイクル全体を通じてコードを保護し、サイバーセキュリティを最優先とする文化を醸成するお手伝いをします。AppSecマネージャー、開発者、最高情報セキュリティ責任者(CISO)、あるいはセキュリティに関わるあらゆる方々の組織において、不安全なコードに関連するリスクの低減を支援します。

デモを予約するダウンロード
共有する:
リンクトインのブランドソーシャルx ロゴ
リソースセンター

入門に役立つリソース

さらに多くの投稿
リソースセンター

入門に役立つリソース

さらに多くの投稿