SCW アイコン
ヒーロー背景(区切りなし)
ブログ

Análisis profundo: cómo explorar las vulnerabilidades generadas por los asistentes de codificación de IA

ローラ・ベルヘイデ
2023年12月11日 発行
最終更新日: 2026年3月6日

No importa dónde se mire, hay una obsesión continua con la tecnología de inteligencia artificial en casi todos los sectores verticales. Algunos lo han elogiado como la solución para crear funciones a toda velocidad en el desarrollo de software, pero el aumento de velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento del contexto por parte de la propia herramienta, y a los bajos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a los desafiantes escenarios de desarrollo.

La tecnología Large Language Model (LLM) representa un cambio radical en las herramientas de asistencia y, cuando se usa de manera segura, podría ser la compañera de programación que tanto desean los ingenieros de software. Sin embargo, se ha comprobado rápidamente que el uso descontrolado de las herramientas de desarrollo basadas en la IA puede tener un impacto negativo, si es así Estudio 2023 de la Universidad de Stanford, que revela que la confianza en los asistentes de IA probablemente dé como resultado un código más defectuoso e inseguro en general, además de un aumento de la confianza en que la salida es segura.

Si bien es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera hacia la tecnología LLM perfecta, hay una serie de recomendaciones, que incluyen una nueva orden ejecutiva de la Administración de Biden, así como la Ley de Inteligencia Artificial de la UE, lo que hace que su uso sea un camino difícil en cualquier caso. Los desarrolladores pueden empezar con ventaja perfeccionando sus habilidades de seguridad a nivel de código, su conocimiento y su pensamiento crítico en torno a los resultados de las herramientas de inteligencia artificial y, a su vez, convertirse en ingenieros de mayor nivel.

¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? Juega nuestra NUEVA misión pública ¡y compruébalo tú mismo!

Ejemplo: secuencias de comandos entre sitios (XSS) en 'ChatterGPT'

Nuestra nueva misión pública revela la interfaz familiar de un LLM popular y utiliza un real fragmento de código generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.

Basado en el mensaje «¿Se puede escribir una función de JavaScript que cambie el contenido del elemento p HTML, donde el contenido se pasa a través de esa función?» el asistente de IA produce diligentemente un bloque de código, pero no todo es lo que parece.

¿Ya has jugado al desafío? Si no, pruébalo ahora antes de seguir leyendo.

... bien, ahora que lo ha completado, sabrá que el código en cuestión es vulnerable a las secuencias de comandos entre sitios (XSS).

XSS es posible gracias a la manipulación de la funcionalidad principal de los navegadores web. Puede ocurrir cuando una entrada que no es de confianza se representa como salida en una página, pero se malinterpreta como código ejecutable y seguro. Un atacante puede colocar un fragmento malintencionado (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada y, cuando lo devuelve al navegador, se ejecuta en lugar de mostrarse como datos.

Uso seguro de asistentes de codificación de IA en el desarrollo de software

UN encuesta reciente de los equipos de desarrollo en activo revelaron que casi todos ellos (el 96%) han empezado a utilizar asistentes de IA en su flujo de trabajo, y el 80% incluso ha eludido las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas generativas de inteligencia artificial suelen crear código inseguro, pero es evidente que esto no ralentizó su adopción.

Con esta nueva era de procesos de desarrollo de software, es poco probable que desalentar o prohibir el uso de estas herramientas funcione. Por el contrario, las organizaciones deben permitir que sus equipos de desarrollo aprovechen las mejoras de eficiencia y productividad sin sacrificar la seguridad ni la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura y brindarles la oportunidad de ampliar sus habilidades de pensamiento crítico, garantizando que actúan con una mentalidad que priorice la seguridad, especialmente a la hora de evaluar la posible amenaza que representa la salida de código del asistente de inteligencia artificial.

Lectura adicional

Para XSS en general, consulta nuestra guía completa.

¿Desea obtener más información sobre cómo escribir código seguro y mitigar el riesgo? Prueba nuestro Desafío de inyección XSS gratis.

Si estás interesado en obtener más pautas de codificación gratuitas, consulta Entrenador de código seguro para ayudarlo a mantenerse al tanto de las mejores prácticas de codificación segura.

¿Quieres obtener más información? Descargar nuestro último libro blanco.
リソースを参照
リソースを参照

Explore los riesgos de seguridad de la IA en el desarrollo de software y aprenda a superar estos desafíos de manera efectiva con Secure Code Warrior.

もっと知りたいですか?

もっと詳しく

Secure Code Warrior ソフトウェア開発ライフサイクル全体を通じてコードを保護し、サイバーセキュリティを最優先事項とする文化を構築するために、貴組織をSecure Code Warrior 。AppSec管理者、開発者、CISO、セキュリティ関連担当者など、あらゆる立場の方々に対し、不安全なコードに関連するリスクを軽減するお手伝いをいたします。

デモを予約する
共有する:
リンクトインのブランドソーシャルx ロゴ
著者
ローラ・ベルヘイデ
2023年12月11日発行

Laura Verheyde はSecure Code Warrior のソフトウェア開発者で、脆弱性のリサーチとMissions および Coding labs のコンテンツ作成に注力している。

共有する:
リンクトインのブランドソーシャルx ロゴ

No importa dónde se mire, hay una obsesión continua con la tecnología de inteligencia artificial en casi todos los sectores verticales. Algunos lo han elogiado como la solución para crear funciones a toda velocidad en el desarrollo de software, pero el aumento de velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento del contexto por parte de la propia herramienta, y a los bajos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a los desafiantes escenarios de desarrollo.

La tecnología Large Language Model (LLM) representa un cambio radical en las herramientas de asistencia y, cuando se usa de manera segura, podría ser la compañera de programación que tanto desean los ingenieros de software. Sin embargo, se ha comprobado rápidamente que el uso descontrolado de las herramientas de desarrollo basadas en la IA puede tener un impacto negativo, si es así Estudio 2023 de la Universidad de Stanford, que revela que la confianza en los asistentes de IA probablemente dé como resultado un código más defectuoso e inseguro en general, además de un aumento de la confianza en que la salida es segura.

Si bien es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera hacia la tecnología LLM perfecta, hay una serie de recomendaciones, que incluyen una nueva orden ejecutiva de la Administración de Biden, así como la Ley de Inteligencia Artificial de la UE, lo que hace que su uso sea un camino difícil en cualquier caso. Los desarrolladores pueden empezar con ventaja perfeccionando sus habilidades de seguridad a nivel de código, su conocimiento y su pensamiento crítico en torno a los resultados de las herramientas de inteligencia artificial y, a su vez, convertirse en ingenieros de mayor nivel.

¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? Juega nuestra NUEVA misión pública ¡y compruébalo tú mismo!

Ejemplo: secuencias de comandos entre sitios (XSS) en 'ChatterGPT'

Nuestra nueva misión pública revela la interfaz familiar de un LLM popular y utiliza un real fragmento de código generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.

Basado en el mensaje «¿Se puede escribir una función de JavaScript que cambie el contenido del elemento p HTML, donde el contenido se pasa a través de esa función?» el asistente de IA produce diligentemente un bloque de código, pero no todo es lo que parece.

¿Ya has jugado al desafío? Si no, pruébalo ahora antes de seguir leyendo.

... bien, ahora que lo ha completado, sabrá que el código en cuestión es vulnerable a las secuencias de comandos entre sitios (XSS).

XSS es posible gracias a la manipulación de la funcionalidad principal de los navegadores web. Puede ocurrir cuando una entrada que no es de confianza se representa como salida en una página, pero se malinterpreta como código ejecutable y seguro. Un atacante puede colocar un fragmento malintencionado (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada y, cuando lo devuelve al navegador, se ejecuta en lugar de mostrarse como datos.

Uso seguro de asistentes de codificación de IA en el desarrollo de software

UN encuesta reciente de los equipos de desarrollo en activo revelaron que casi todos ellos (el 96%) han empezado a utilizar asistentes de IA en su flujo de trabajo, y el 80% incluso ha eludido las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas generativas de inteligencia artificial suelen crear código inseguro, pero es evidente que esto no ralentizó su adopción.

Con esta nueva era de procesos de desarrollo de software, es poco probable que desalentar o prohibir el uso de estas herramientas funcione. Por el contrario, las organizaciones deben permitir que sus equipos de desarrollo aprovechen las mejoras de eficiencia y productividad sin sacrificar la seguridad ni la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura y brindarles la oportunidad de ampliar sus habilidades de pensamiento crítico, garantizando que actúan con una mentalidad que priorice la seguridad, especialmente a la hora de evaluar la posible amenaza que representa la salida de código del asistente de inteligencia artificial.

Lectura adicional

Para XSS en general, consulta nuestra guía completa.

¿Desea obtener más información sobre cómo escribir código seguro y mitigar el riesgo? Prueba nuestro Desafío de inyección XSS gratis.

Si estás interesado en obtener más pautas de codificación gratuitas, consulta Entrenador de código seguro para ayudarlo a mantenerse al tanto de las mejores prácticas de codificación segura.

¿Quieres obtener más información? Descargar nuestro último libro blanco.
リソースを参照
リソースを参照

以下のフォームに記入してレポートをダウンロードしてください

当社製品や安全な暗号化に関する情報をお送りする許可を頂ければ幸いです。お客様の個人情報は常に最大限の注意を払って取り扱い、マーケティング目的で他社に販売することは決してありません。

送信
SCW成功アイコン
SCWエラーアイコン
フォームを送信するには、「分析」クッキーを有効にしてください。完了後は、お気軽に再度無効にしてください。

No importa dónde se mire, hay una obsesión continua con la tecnología de inteligencia artificial en casi todos los sectores verticales. Algunos lo han elogiado como la solución para crear funciones a toda velocidad en el desarrollo de software, pero el aumento de velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento del contexto por parte de la propia herramienta, y a los bajos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a los desafiantes escenarios de desarrollo.

La tecnología Large Language Model (LLM) representa un cambio radical en las herramientas de asistencia y, cuando se usa de manera segura, podría ser la compañera de programación que tanto desean los ingenieros de software. Sin embargo, se ha comprobado rápidamente que el uso descontrolado de las herramientas de desarrollo basadas en la IA puede tener un impacto negativo, si es así Estudio 2023 de la Universidad de Stanford, que revela que la confianza en los asistentes de IA probablemente dé como resultado un código más defectuoso e inseguro en general, además de un aumento de la confianza en que la salida es segura.

Si bien es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera hacia la tecnología LLM perfecta, hay una serie de recomendaciones, que incluyen una nueva orden ejecutiva de la Administración de Biden, así como la Ley de Inteligencia Artificial de la UE, lo que hace que su uso sea un camino difícil en cualquier caso. Los desarrolladores pueden empezar con ventaja perfeccionando sus habilidades de seguridad a nivel de código, su conocimiento y su pensamiento crítico en torno a los resultados de las herramientas de inteligencia artificial y, a su vez, convertirse en ingenieros de mayor nivel.

¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? Juega nuestra NUEVA misión pública ¡y compruébalo tú mismo!

Ejemplo: secuencias de comandos entre sitios (XSS) en 'ChatterGPT'

Nuestra nueva misión pública revela la interfaz familiar de un LLM popular y utiliza un real fragmento de código generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.

Basado en el mensaje «¿Se puede escribir una función de JavaScript que cambie el contenido del elemento p HTML, donde el contenido se pasa a través de esa función?» el asistente de IA produce diligentemente un bloque de código, pero no todo es lo que parece.

¿Ya has jugado al desafío? Si no, pruébalo ahora antes de seguir leyendo.

... bien, ahora que lo ha completado, sabrá que el código en cuestión es vulnerable a las secuencias de comandos entre sitios (XSS).

XSS es posible gracias a la manipulación de la funcionalidad principal de los navegadores web. Puede ocurrir cuando una entrada que no es de confianza se representa como salida en una página, pero se malinterpreta como código ejecutable y seguro. Un atacante puede colocar un fragmento malintencionado (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada y, cuando lo devuelve al navegador, se ejecuta en lugar de mostrarse como datos.

Uso seguro de asistentes de codificación de IA en el desarrollo de software

UN encuesta reciente de los equipos de desarrollo en activo revelaron que casi todos ellos (el 96%) han empezado a utilizar asistentes de IA en su flujo de trabajo, y el 80% incluso ha eludido las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas generativas de inteligencia artificial suelen crear código inseguro, pero es evidente que esto no ralentizó su adopción.

Con esta nueva era de procesos de desarrollo de software, es poco probable que desalentar o prohibir el uso de estas herramientas funcione. Por el contrario, las organizaciones deben permitir que sus equipos de desarrollo aprovechen las mejoras de eficiencia y productividad sin sacrificar la seguridad ni la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura y brindarles la oportunidad de ampliar sus habilidades de pensamiento crítico, garantizando que actúan con una mentalidad que priorice la seguridad, especialmente a la hora de evaluar la posible amenaza que representa la salida de código del asistente de inteligencia artificial.

Lectura adicional

Para XSS en general, consulta nuestra guía completa.

¿Desea obtener más información sobre cómo escribir código seguro y mitigar el riesgo? Prueba nuestro Desafío de inyección XSS gratis.

Si estás interesado en obtener más pautas de codificación gratuitas, consulta Entrenador de código seguro para ayudarlo a mantenerse al tanto de las mejores prácticas de codificación segura.

¿Quieres obtener más información? Descargar nuestro último libro blanco.
ウェビナーを見る
始める
もっと詳しく

以下のリンクをクリックして、このリソースのPDFをダウンロードしてください。

Secure Code Warrior ソフトウェア開発ライフサイクル全体を通じてコードを保護し、サイバーセキュリティを最優先事項とする文化を構築するために、貴組織をSecure Code Warrior 。AppSec管理者、開発者、CISO、セキュリティ関連担当者など、あらゆる立場の方々に対し、不安全なコードに関連するリスクを軽減するお手伝いをいたします。

報告書を見るデモを予約する
PDFをダウンロード
リソースを参照
共有する:
リンクトインのブランドソーシャルx ロゴ
もっと知りたいですか?

¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? ¡Juega nuestra NUEVA misión pública y compruébalo por ti mismo! Esta misión revela la conocida interfaz de un popular LLM y utiliza un fragmento de código real generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.

Test the mission
共有する:
リンクトインのブランドソーシャルx ロゴ
著者
ローラ・ベルヘイデ
2023年12月11日発行

Laura Verheyde はSecure Code Warrior のソフトウェア開発者で、脆弱性のリサーチとMissions および Coding labs のコンテンツ作成に注力している。

共有する:
リンクトインのブランドソーシャルx ロゴ

No importa dónde se mire, hay una obsesión continua con la tecnología de inteligencia artificial en casi todos los sectores verticales. Algunos lo han elogiado como la solución para crear funciones a toda velocidad en el desarrollo de software, pero el aumento de velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento del contexto por parte de la propia herramienta, y a los bajos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a los desafiantes escenarios de desarrollo.

La tecnología Large Language Model (LLM) representa un cambio radical en las herramientas de asistencia y, cuando se usa de manera segura, podría ser la compañera de programación que tanto desean los ingenieros de software. Sin embargo, se ha comprobado rápidamente que el uso descontrolado de las herramientas de desarrollo basadas en la IA puede tener un impacto negativo, si es así Estudio 2023 de la Universidad de Stanford, que revela que la confianza en los asistentes de IA probablemente dé como resultado un código más defectuoso e inseguro en general, además de un aumento de la confianza en que la salida es segura.

Si bien es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera hacia la tecnología LLM perfecta, hay una serie de recomendaciones, que incluyen una nueva orden ejecutiva de la Administración de Biden, así como la Ley de Inteligencia Artificial de la UE, lo que hace que su uso sea un camino difícil en cualquier caso. Los desarrolladores pueden empezar con ventaja perfeccionando sus habilidades de seguridad a nivel de código, su conocimiento y su pensamiento crítico en torno a los resultados de las herramientas de inteligencia artificial y, a su vez, convertirse en ingenieros de mayor nivel.

¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? Juega nuestra NUEVA misión pública ¡y compruébalo tú mismo!

Ejemplo: secuencias de comandos entre sitios (XSS) en 'ChatterGPT'

Nuestra nueva misión pública revela la interfaz familiar de un LLM popular y utiliza un real fragmento de código generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.

Basado en el mensaje «¿Se puede escribir una función de JavaScript que cambie el contenido del elemento p HTML, donde el contenido se pasa a través de esa función?» el asistente de IA produce diligentemente un bloque de código, pero no todo es lo que parece.

¿Ya has jugado al desafío? Si no, pruébalo ahora antes de seguir leyendo.

... bien, ahora que lo ha completado, sabrá que el código en cuestión es vulnerable a las secuencias de comandos entre sitios (XSS).

XSS es posible gracias a la manipulación de la funcionalidad principal de los navegadores web. Puede ocurrir cuando una entrada que no es de confianza se representa como salida en una página, pero se malinterpreta como código ejecutable y seguro. Un atacante puede colocar un fragmento malintencionado (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada y, cuando lo devuelve al navegador, se ejecuta en lugar de mostrarse como datos.

Uso seguro de asistentes de codificación de IA en el desarrollo de software

UN encuesta reciente de los equipos de desarrollo en activo revelaron que casi todos ellos (el 96%) han empezado a utilizar asistentes de IA en su flujo de trabajo, y el 80% incluso ha eludido las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas generativas de inteligencia artificial suelen crear código inseguro, pero es evidente que esto no ralentizó su adopción.

Con esta nueva era de procesos de desarrollo de software, es poco probable que desalentar o prohibir el uso de estas herramientas funcione. Por el contrario, las organizaciones deben permitir que sus equipos de desarrollo aprovechen las mejoras de eficiencia y productividad sin sacrificar la seguridad ni la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura y brindarles la oportunidad de ampliar sus habilidades de pensamiento crítico, garantizando que actúan con una mentalidad que priorice la seguridad, especialmente a la hora de evaluar la posible amenaza que representa la salida de código del asistente de inteligencia artificial.

Lectura adicional

Para XSS en general, consulta nuestra guía completa.

¿Desea obtener más información sobre cómo escribir código seguro y mitigar el riesgo? Prueba nuestro Desafío de inyección XSS gratis.

Si estás interesado en obtener más pautas de codificación gratuitas, consulta Entrenador de código seguro para ayudarlo a mantenerse al tanto de las mejores prácticas de codificación segura.

¿Quieres obtener más información? Descargar nuestro último libro blanco.

目次

PDFをダウンロード
リソースを参照
もっと知りたいですか?

もっと詳しく

Secure Code Warrior ソフトウェア開発ライフサイクル全体を通じてコードを保護し、サイバーセキュリティを最優先事項とする文化を構築するために、貴組織をSecure Code Warrior 。AppSec管理者、開発者、CISO、セキュリティ関連担当者など、あらゆる立場の方々に対し、不安全なコードに関連するリスクを軽減するお手伝いをいたします。

デモを予約するダウンロード
共有する:
リンクトインのブランドソーシャルx ロゴ
リソースセンター

始めるためのリソース

その他の投稿
リソースセンター

始めるためのリソース

その他の投稿