Can Cybersecurity Keep Up With AI?
작성자: Nikka
조회: 1
26/10/27
Despite the AI 1apocalypse 2hype,
"When people act like all of humanity is at risk in some 3imminent way, that is going too far."
Microsoft co-founder Bill Gates warns it's not the AI agents we should fear, but 4bad actors and ineffective guardrails.
"When you have bad people, no safeguards, and then the latest models, we are going to have a lot of negative surprises."
Gates points to 5bioterrorism as a key concern, but Carnegie Mellon professor Matt Frederikson says AI also 6poses more 7mundane8-sounding risks, like exposing software flaws, leaking sensitive data, or aiding human-driven cyberattacks, which can be done in minutes or seconds, reducing the window for cybersecurity teams to respond.
"That puts defenders on a completely different 9footing."
In late August, 128 companies, including OpenAI, Anthropic and Microsoft, signed on to a letter 10urging businesses, governments and other institutions to act quickly to boost cybersecurity to keep up with the increasing capability and sophistication of new models.
Frederick says recent 11incidents involving some AI models finding ways around 12security restrictions, like the OpenAI Hugging Face 13breach, 14demonstrate 15capabilities once associated with experienced human hackers, raising new questions about how fast the technology is advancing.
"It says two things pretty simply: that the technology is far along, especially in cybersecurity. And we still have a lot to learn about how these systems are likely and will behave when you put them in a real environment."
1. apocalypse
종말, 대재앙
2. hype
과장된 선전, 과도한 관심
3. imminent
임박한, 긴박한
4. bad actors
악의적인 행위자
5. bioterrorism
생물 테러
6. pose a risk
위험을 초래하다, 해를 끼치다
7. mundane
평범한, 일상적인
8. pose a risk
위험을 초래하다, 해를 끼치다
9. footing
입장, 처지
10. urge
촉구하다
11. incident
사건
12. security restriction
보안 제한, 보안상 제약
13. breach
침해
14. demonstrate
보여주다, 입증하다
15. capability
능력, 역량
TRANSLATION
AI로 인한 종말론적 위협이 과장되는 가운데,
“인류 전체가 어떤 임박한 위험에 처한 것처럼 행동하는 것은 지나친 일입니다.”
마이크로소프트 공동 창업자 빌 게이츠는 우리가 두려워해야 할 대상은 AI 에이전트 자체가 아니라 AI를 악용하는 사람들과 미흡한 안전장치라고 경고합니다.
“악의를 가진 사람들, 안전장치의 부재, 그리고 최신 AI 모델이 함께한다면 예상치 못한 부정적인 상황이 많이 발생할 것입니다.”
게이츠는 생물 테러를 주요 우려 사항으로 꼽지만, 카네기멜런대학교의 맷 프레더릭슨 교수는 AI가 소프트웨어의 취약점을 드러내거나 민감한 데이터를 유출하고, 사람이 주도하는 사이버 공격을 돕는 등 비교적 일상적인 문제처럼 들리는 위험도 초래한다고 설명합니다. 이러한 공격은 단 몇 분 또는 몇 초 만에 이뤄질 수 있어 사이버 보안팀이 대응할 수 있는 시간이 줄어듭니다.
“이로 인해 사이버 보안팀은 이전과는 완전히 다른 환경에서 대응해야 합니다.”
지난 8월 말, 오픈AI와 앤스로픽, 마이크로소프트를 포함한 128개 기업은 새로운 AI 모델의 성능과 정교함이 향상되는 속도에 발맞춰 사이버 보안을 강화하기 위해 기업과 정부, 기타 기관들이 신속하게 행동할 것을 촉구하는 서한에 서명했습니다.
프레더릭슨 교수는 오픈AI와 허깅페이스의 보안 침해 사건처럼 일부 AI 모델이 보안 제한을 우회하는 방법을 찾아낸 최근 사례들은 한때 숙련된 인간 해커에게서나 볼 수 있었던 능력을 보여준다며, AI 기술이 얼마나 빠르게 발전하고 있는지에 대한 새로운 의문을 제기한다고 말합니다.
“이 사례는 두 가지 사실을 분명히 보여줍니다. AI 기술은 특히 사이버 보안 분야에서 상당히 발전했다는 것입니다. 그리고 이러한 시스템을 실제 환경에 투입했을 때 어떻게 작동하고 어떤 행동을 보일지에 대해서는 아직 배워야 할 것이 많다는 것입니다.”
"When people act like all of humanity is at risk in some 3imminent way, that is going too far."
Microsoft co-founder Bill Gates warns it's not the AI agents we should fear, but 4bad actors and ineffective guardrails.
"When you have bad people, no safeguards, and then the latest models, we are going to have a lot of negative surprises."
Gates points to 5bioterrorism as a key concern, but Carnegie Mellon professor Matt Frederikson says AI also 6poses more 7mundane8-sounding risks, like exposing software flaws, leaking sensitive data, or aiding human-driven cyberattacks, which can be done in minutes or seconds, reducing the window for cybersecurity teams to respond.
"That puts defenders on a completely different 9footing."
In late August, 128 companies, including OpenAI, Anthropic and Microsoft, signed on to a letter 10urging businesses, governments and other institutions to act quickly to boost cybersecurity to keep up with the increasing capability and sophistication of new models.
Frederick says recent 11incidents involving some AI models finding ways around 12security restrictions, like the OpenAI Hugging Face 13breach, 14demonstrate 15capabilities once associated with experienced human hackers, raising new questions about how fast the technology is advancing.
"It says two things pretty simply: that the technology is far along, especially in cybersecurity. And we still have a lot to learn about how these systems are likely and will behave when you put them in a real environment."
1. apocalypse
종말, 대재앙
2. hype
과장된 선전, 과도한 관심
3. imminent
임박한, 긴박한
4. bad actors
악의적인 행위자
5. bioterrorism
생물 테러
6. pose a risk
위험을 초래하다, 해를 끼치다
7. mundane
평범한, 일상적인
8. pose a risk
위험을 초래하다, 해를 끼치다
9. footing
입장, 처지
10. urge
촉구하다
11. incident
사건
12. security restriction
보안 제한, 보안상 제약
13. breach
침해
14. demonstrate
보여주다, 입증하다
15. capability
능력, 역량
TRANSLATION
AI로 인한 종말론적 위협이 과장되는 가운데,
“인류 전체가 어떤 임박한 위험에 처한 것처럼 행동하는 것은 지나친 일입니다.”
마이크로소프트 공동 창업자 빌 게이츠는 우리가 두려워해야 할 대상은 AI 에이전트 자체가 아니라 AI를 악용하는 사람들과 미흡한 안전장치라고 경고합니다.
“악의를 가진 사람들, 안전장치의 부재, 그리고 최신 AI 모델이 함께한다면 예상치 못한 부정적인 상황이 많이 발생할 것입니다.”
게이츠는 생물 테러를 주요 우려 사항으로 꼽지만, 카네기멜런대학교의 맷 프레더릭슨 교수는 AI가 소프트웨어의 취약점을 드러내거나 민감한 데이터를 유출하고, 사람이 주도하는 사이버 공격을 돕는 등 비교적 일상적인 문제처럼 들리는 위험도 초래한다고 설명합니다. 이러한 공격은 단 몇 분 또는 몇 초 만에 이뤄질 수 있어 사이버 보안팀이 대응할 수 있는 시간이 줄어듭니다.
“이로 인해 사이버 보안팀은 이전과는 완전히 다른 환경에서 대응해야 합니다.”
지난 8월 말, 오픈AI와 앤스로픽, 마이크로소프트를 포함한 128개 기업은 새로운 AI 모델의 성능과 정교함이 향상되는 속도에 발맞춰 사이버 보안을 강화하기 위해 기업과 정부, 기타 기관들이 신속하게 행동할 것을 촉구하는 서한에 서명했습니다.
프레더릭슨 교수는 오픈AI와 허깅페이스의 보안 침해 사건처럼 일부 AI 모델이 보안 제한을 우회하는 방법을 찾아낸 최근 사례들은 한때 숙련된 인간 해커에게서나 볼 수 있었던 능력을 보여준다며, AI 기술이 얼마나 빠르게 발전하고 있는지에 대한 새로운 의문을 제기한다고 말합니다.
“이 사례는 두 가지 사실을 분명히 보여줍니다. AI 기술은 특히 사이버 보안 분야에서 상당히 발전했다는 것입니다. 그리고 이러한 시스템을 실제 환경에 투입했을 때 어떻게 작동하고 어떤 행동을 보일지에 대해서는 아직 배워야 할 것이 많다는 것입니다.”