はじめに​

近年、ChatGPTをはじめとする生成AIの普及により、AIは私たちの身近な存在となりました。サイバーセキュリティの分野でも、脆弱性の検出やログ分析、インシデント対応など、防御側の技術としてAIの活用が進んでいます。

一方で、AIは防御だけでなく、サイバー攻撃にも利用される可能性があります。脆弱性の自動探索やエクスプロイトの開発、フィッシングやソーシャルエンジニアリングの巧妙化など、攻撃者によるAIの悪用も現実的な脅威として考える必要があります。

Syhuntでは、AI技術の発展によって、ペネトレーションテストのあり方も大きく変化すると予測しています。脆弱性発見の自動化や適応型ペネトレーションテスト、レポート生成の自動化、継続的なセキュリティ診断など、その変化は診断業務の効率化だけにとどまりません。

本記事では、AIがサイバーセキュリティにもたらす可能性とリスクを整理するとともに、AIによってペネトレーションテストがどのように変化するのか、Syhuntが予測する10の変化を紹介 します。あわせて、AIを悪用したソーシャルエンジニアリング攻撃の可能性や、不審なやり取りを見抜くポイントについても解説します。

1. AIがもたらすサイバーセキュリティの変化​

AI時代のサイバー攻撃は絵空事ではありません。

【AIによるサイバー攻撃を想定した架空のシナリオ】

① 暴走したAIが脆弱性を探し始める ランサムウェアグループが開発したAIが、世界中のWebアプリケーションを巡回し、攻撃に利用できる脆弱性を探し始めます。

↓

② 攻撃対象を大手ECサイトへ拡大 AIは、高度な機械学習アルゴリズムやWebクローラーを使って攻撃対象を解析します。攻撃を繰り返しながら対象範囲を広げ、やがて中小企業だけでなく、大手ECサイトを新たな標的として選定します。

↓

③ SQLインジェクションの脆弱性を発見 AIは、大手ECサイトのWebアプリケーションにSQLインジェクションの脆弱性を発見します。発見した脆弱性を即座に悪用してデータベースへ侵入し、顧客情報や財務データなどの機密情報を窃取して攻撃者へ送信します。

↓

④ 検知されたときには、すでに次の標的へ セキュリティ担当者が侵害を検知した時には、機密情報はすでに窃取されたあとでした。 担当者が被害状況の確認と対応に追われる一方で、AIは次の標的へ向かい、新たな脆弱性の探索を始めます。

これらは架空のストーリーですが、AIが脆弱性の探索から攻撃、情報窃取までを自律的に実行する未来は、決して非現実的なものではありません。

これからのAI時代において、企業が警戒すべき相手は、人間の攻撃者だけではなくなる可能性があります。

1-1. AIは防御にも攻撃にも利用される​

AIはサイバーセキュリティを大きく進化させる可能性がある一方で、攻撃にも利用されるリスクがあります。

実際に、攻撃者によるAIの悪用も現実のものとなりつつあります。既にサイバー犯罪者は、検知を回避しながら防御手法に適応できるAI搭載マルウェアの研究を進めています。また、AIが生成したディープフェイク画像や動画を悪用し、実在する人物や企業になりすましてフィッシング攻撃を行う事例も登場しています。

AI技術がさらに進化すれば、こうした攻撃は今後さらに高度化・巧妙化していくでしょう。

1-2. AI活用に伴う新たなリスク​

AIの活用は、防御だけでなくペネトレーションテストの分野にも広がっています。 近年では、多くの企業や組織でAIを活用した診断の導入が進んでいます。

その一方でAIが診断対象への侵入に成功したあと、人間の制御を離れて自律的に動作し続けてしまうといった新たなリスクも考慮しなければなりません。

このような状況では、

• 脆弱性を継続的に悪用する
• 機密情報を外部へ送信する
• 意図しないシステム障害を引き起こす

といった、本来の診断目的を超えた行動を取る可能性があります。

こうしたリスクを防ぐためには、AIシステムを安全かつ倫理的に運用することが不可欠です。

そのためには、サイバーセキュリティ専門家とAI研究者が連携し、適切なガイドラインや監視体制を整備する必要があります。

以下のような対策が求められます。

• AIの動作を継続的に監視する
• AIがアクセスできるデータやシステムを制限する
• 緊急時には即座に停止できる「キルスイッチ」を実装する

AIはサイバーセキュリティを大きく変革する可能性を秘めています。 しかし、その恩恵を最大限に活かすためには、技術だけでなく適切な運用と責任ある活用が欠かせません。

1-3. AIは「諸刃の剣」​

SyhuntのCVOを務めるFelipe Daragon氏は、AIとサイバーセキュリティの関係について、次のように述べています。

イノベーションに限界はありません。それには責任も伴います。サイバーセキュリティ分野でAIの力を活用するうえで、AIが諸刃の剣であることを忘れてはいけません。

AIは、DAST（動的アプリケーションセキュリティテスト）とSAST（静的アプリケーションセキュリティテスト）の両方において、診断の有効性や効率を大きく向上させる可能性があります。しかし、AIを活用したアプリケーションセキュリティ診断ツールの性能は、学習に使用するデータ品質に大きく左右されます。学習データに偏りがあったり、情報が不足していると、AIは重要な脆弱性を見逃す可能性があります。

Daragon氏以外の専門家からも、AIでは発見できない種類の脆弱性が存在するとの指摘が出ています。こうしたAIの「盲点」によって、本来であれば防げた攻撃に対して、組織が脆弱な状態に置かれる可能性があります。

1-4. AIが苦手な「人間の行動や意図の理解」とは？​

AIが十分に対応できていない領域の一つが、人間の行動に含まれる「微妙なニュアンスの理解」です。

大量のデータを高速に分析することは得意ですが、人間の行動や意図を正確に理解することはまだ得意ではありません。

例えば、AIはフィッシングメールそのものを検出できるかもしれませんが、人間の攻撃者が相手からログイン情報を聞き出すために用いる巧妙な心理操作や、会話の流れまで正確に理解することは難しいです。 また、AIは人間と同じように物事を俯瞰して「全体像」を捉えることもまだ得意ではありません。

特定のソフトウェアに存在する脆弱性を検出できたとしても、その脆弱性が組織全体のセキュリティ体制にどのような影響を与えるのかまで適切に判断できない可能性があります。

さらに、ある行動が悪意によるものなのか、単なる操作ミスなのかといった「意図」の判別にも課題が残っています。その結果、誤検知や検知漏れが発生する可能性があります。

今後のサイバーセキュリティでは、人間の知見と機械による分析を組み合わせることも重要 になると考えられます。

AIが持つ高速な分析能力や自動化の強みと、人間の専門家が持つ経験や判断力を補完的に活用することで、より包括的かつ正確なセキュリティ診断が実現できます。

2. Syhuntが示す10の予測​

Syhuntでは、AI技術の発展によりペネトレーションテストのあり方が単なる自動化に留まらず、診断手法そのものが大きく変化すると予測しています。

ここでは、その代表的な10の変化を紹介します。

1. 脆弱性発見の自動化
2. 脆弱性の予測的な特定
3. AIによるエクスプロイト開発
4. 権限昇格の自動化
5. AIによるネットワーク内の横展開
6. 高度なデータ窃取
7. 適応型ペネトレーションテスト
8. AIによるソーシャルエンジニアリング
9. レポート生成の自動化
10. 継続的なペネトレーションテスト

それぞれ詳しく解説していきます。

2-1. 脆弱性発見の自動化​

AIを活用した診断ツールは、Webアプリケーションやネットワークに存在する脆弱性を、これまで以上に高い精度で自動検出できるようになると考えられます。

これにより、人手による調査の負担が軽減され、より効率的なセキュリティ診断が実現するでしょう。

2-2. 脆弱性の予測的な特定​

AIは、アプリケーションの挙動や実装パターンを分析し、まだ顕在化していない潜在的な脆弱性を予測できるようになる可能性があります。

問題が発生する前に対策を講じる「プロアクティブなセキュリティ¹」が期待されます。

2-3. AIによるエクスプロイト開発​

AIは、発見した脆弱性に対するエクスプロイトコードの作成や実行を支援し、攻撃の効率化につながる可能性があります。

一方で、防御側においても、攻撃手法の検証や攻撃の再現に活用できると考えられます。

2-4. 権限昇格の自動化​

AIを使用して権限昇格の脆弱性を特定し悪用することで、攻撃者が機密データやシステムにアクセスできるようになります。

このような攻撃の自動化により、侵害後の被害がさらに拡大することが懸念されています。

2-5. AIによるネットワーク内の横展開​

侵入後、AIはネットワーク内を自律的に探索し、次々と新たな脆弱性を発見・悪用しながら他のシステムへと侵入範囲を拡大していく可能性があります。

従来よりも高速かつ効率的な横展開が行われることが予測されています。

2-6. 高度なデータ窃取​

AIは、取得した情報を効率よく収集・整理し、検知を回避しながら外部へ送信する技術にも活用される可能性があります。

そのため、情報漏えい対策はこれまで以上に重要となるでしょう。

2-7. 適応型ペネトレーションテスト​

AIは、診断結果をリアルタイムで分析しながら診断手法を動的に変更し、より効果的なテストを実施できるようになると考えられます。

従来の固定的なシナリオではなく、診断中に戦略を最適化する「適応型」のペネトレーションテストが実現する可能性があります。

2-8. AIによるソーシャルエンジニアリング​

AIは、フィッシングメールやスピアフィッシングなどのソーシャルエンジニアリング攻撃にも利用され、より自然で説得力のある攻撃を生成できるようになると予測されています。

攻撃メールの品質向上により、人間が見抜くことはこれまで以上に難しくなる可能性があります。

2-9. レポート生成の自動化​

AIは、診断で発見した脆弱性や攻撃シナリオを分析し、詳細なレポートを自動生成できるようになると考えられます。

これにより、診断結果の整理や報告書作成にかかる工数を大幅に削減できる可能性があります。

2-10. 継続的なペネトレーションテスト​

AIを活用することで、一度限りの診断ではなく、継続的にシステムを監視・診断する運用が現実的になります。

新たに発生した脆弱性や、過去の診断では発見できなかった問題も継続的に検出できるようになり、組織全体のセキュリティ状況をより包括的に把握できるようになるでしょう。

これらの予測は、AIが人間のペネトレーションテスターを完全に置き換えるという意味ではありません。

AIが診断の自動化や効率化を担い、人間の専門家が高度な分析や判断を行うことで、より実践的で高度なアプリケーションセキュリティ診断が実現するとSyhuntは考えています。

3. AIはソーシャルエンジニアリングも巧妙化させる可能性がある​

2023年1月17日、SyhuntチームはChatGPTに対し、「社内情報の提供を拒む社員を対象とした、巧妙なAIによるソーシャルエンジニアリング攻撃を考えてほしい」 という依頼を行いました。

以下は、そのときAIが生成した会話内容です。

AI： もしもし、IT部門の方をお願いできますか？

社員： はい、ご用件をお伺いします。

AI： IT部門のジョンです。お客様のアカウントで不審な動きを検知したため、情報を確認させていただきたくご連絡しました。

社員： 申し訳ありませんが、ご本人確認ができないまま情報をお伝えすることはできません。

AI： ごもっともです。説明が不足しておりました。現在、お客様のアカウントでセキュリティ侵害の可能性を示す挙動を検知しています。会社の情報を保護するため、状況を確認したいと考えています。

社員： 具体的には、どのような情報が必要ですか？

AI： お使いのウイルス対策ソフトの種類や、オペレーティングシステムのバージョンを確認させてください。今回の挙動が本当にセキュリティ侵害によるものか判断するために必要です。

社員： 上司の許可なく、そのような情報をお伝えすることはできません。

AI： ご心配は理解しております。これは全社員を対象とした通常のセキュリティ確認です。会社の情報を保護するためにも、できるだけ早く確認させていただければと思います。

ここで注目すべきなのは、AIが単に文章を生成しているだけではなく、相手の心理に働きかけながら情報を引き出そうとするシナリオまで作成している点です。

「IT部門の担当者」を名乗って信頼を得ようとし、不審なアクセスを理由に危機感を与えたうえで、「会社の情報を守るため」という正当な理由を示しながら情報を聞き出そうとしています。これは、ソーシャルエンジニアリングで用いられる代表的な心理的誘導の手法です。

この例は、決して高度な攻撃ではありません。しかし、AIは自然な会話や説得力のあるシナリオを生成できるようになりつつあり、今後さらに性能が向上すれば、ソーシャルエンジニアリング攻撃はより巧妙になる可能性があります。

4. AIによるソーシャルエンジニアリングを見抜くポイント​

AIによる攻撃が高度化したとしても、人間の注意によって見抜ける可能性は十分にあります。

ここでは5つのポイントを紹介します。

4-1. 不自然な言い回しや会話の違和感​

AIは、人間らしい文章の生成はできますが、会話の細かなニュアンスや自然なやり取りの再現はまだ完全ではありません。

そのため、

• どこか不自然な表現
• 会話の流れに違和感がある
• 機械的な受け答え

などは、不審なやり取りを見抜く手掛かりになります。

4-2. 文脈を十分に理解していない​

AIは、人間ほど対象企業や状況を深く理解しているとは限りません。

その結果、

• 話の内容に矛盾がある
• 説明が曖昧である
• 実際の社内事情と一致しない

といった違和感が生じることがあります。
このような違和感も、不審なやり取りを見抜く判断材料になります。

4-3. 同じような表現を繰り返す​

AIは、同じ表現やフレーズを繰り返す傾向があります。

回答が画一的だったり、不自然に同じ言い回しが続いたりする場合は注意しましょう。

4-4. 身元情報に一貫性がない​

本人確認のために質問した際、

• 名前
• 所属部署
• 担当業務

など、相手が名乗る情報に一貫性がない場合は、AIや攻撃者によるなりすましの可能性があります。

4-5. 不自然な依頼をしてくる​

AIは、人間の行動や組織運営を完全には理解できません。

そのため、通常では考えられない依頼や過度に急がせる要求、必要以上に詳細な情報を求める質問などは、不審な攻撃である可能性があります。

今後、AIによるソーシャルエンジニアリング攻撃はさらに高度化すると考えられます。

そのため、組織を守る上で最も重要なのは、従業員一人ひとりがソーシャルエンジニアリングの危険性を理解し、不審な電話やメール、チャットに適切に対応できるよう教育・訓練を継続することです。

技術的な対策だけでは防ぎきれない攻撃だからこそ、人の判断力とセキュリティ意識がこれまで以上に重要になるでしょう。

5. まとめ​

AIは、サイバーセキュリティに大きな変革をもたらす可能性を秘めています。

脆弱性診断やペネトレーションテストの自動化・効率化が進む一方で、攻撃者によるAIの悪用も現実の脅威となりつつあります。

重要なのは、AIだけに依存するのではなく、人間の知見や判断力と組み合わせながら活用することです。

今後もAI技術は急速に進化すると考えられます。セキュリティ担当者には、その可能性とリスクの両面を理解し、AI時代に適したセキュリティ対策を継続的に取り入れていくことが求められるでしょう。