オルタナティブ・ブログ > 新倉茂彦の情報セキュリティAtoZ >

~攻撃は最大の防御なり~正解のない対策を斜めから斬る

AI時代のソーシャルエンジニアリング手法に聞き出されるって、どうすればいいのですかね?

»

会話などからヒントや答えそのものを聞き出していく「古典的手法のソーシャルエンジニアリング」ですが、未だ充分に有効な手法です。自動化された「ある意味不用心になりがちな」強力な相手ならば...

AIチャッAIチャットボットに会話から個人情報を盗ませるプロンプトが見つかる:研究結果:WIREDセキュリティ

カリフォルニア大学サンディエゴ校(UCSD)とシンガポールにある南洋理工大学のセキュリティ研究者のグループは、このほどチャットボットの新たな攻撃手法を発表した。この攻撃は、ユーザーとのチャットから名前やID番号、クレジットカード情報、メールアドレス、住所などの個人情報を収集し、ハッカーに直接送信するようLLMに指示するものである。

Imprompter」と名付けられたこの攻撃は、アルゴリズムを使ってLLMに与えるプロンプトを一見そうには見えない悪意のある指示に変換する。例えば、入力された個人情報を見つけ出し、ハッカーに送信するようにLLMに指示する英語の文章を、ランダムな文字列に変えるのだ。

会話でのやり取りからは、文字では表現出来ない熱量や会話の速度、「はい」というような返事や反応のコンマ何秒かのズレから、聞き出すための次の手を考えながら...と考えています。

チャットボットが増え、便利と思う反面、何度も同じことを違い言い方で伝えないと先進めないことが多くなりました。これ多少待たされても、電話で対応してくれれば簡単に済む話でも、結構無駄な時間を費やしています。

この自動化された相手がAIソーシャルエンジニアリングだとは、これっぽっちも思わずに話が伝わらねぇなぁ。あぁイライラする!っと、ソーシャルエンジニアリングの罠にどんどん嵌まっていっているような気がします、あぁ・・・恐いですね。

過去のソーシャルエンジニアリングに関する投稿

1.相手が何であろうが余計なことは言わない

ここでは人とボットに別けて考えてみます。

人:話し好きな人なのか、会話に飢えているのか、自分ことを話したくてしかたないのか...日常の色々な場面で「そういう方」を見ます。
これ話している人にはもちろんのこと、それ以外の人にも断片的な情報(パズルのピース)をばら撒いています。人とのコミュニケーション(かなり一方的ですが)という事ならば良いのかも知れませんが、昨今の強盗事件などを考えても、何かに繋がってしまうことを自ら言いふらす「リスク」って視点で考えたいものです。
少なくとも私が耳にしているのは、聞き耳です。こんなのいくらでもあります。Aの質問に対して、BやCは必要ありません。恐い怖い。

ボット:先に書いた、話の通じない相手だと、別な言い合わしで話をするようにしてます。これ通じないことが多いので、段々と雑に乱暴になっていくのが自分でわかります。なんだよ通じねぇのかよ!という上から見ている相手は、粛々と情報収集しているのかもしれません。これも恐い怖い。

2.独り言をブツブツ言わない習慣

スマートスピーカー等:ここ数年、スマート家電が勝手に音声を拾って送信している嫌らしいことや、捜査という名目等でスマホが音声収集している等々...それらのものを単に使わなければ良いだけの簡単な話ですが、不便のが多くなるので天秤に掛けたときのバランスです。どのように上手く付き合っていくか?の方法を考えた方が、セキュリティ的にも応用が効きます。

パスワードを声に出して復唱している方を見る機会が多いです。おそらく気が付かずに声に出ていることと思いますが、こういうのが一番こわいです。意識を持つことで、無意識から離れることが出来ます。

人:数を数えるときに、指を使ったり、首を縦に振ってカウントしたりと、声に出さなくても動作の伴うことは多くあります。先のスマート家電と同じく人が聞いていれば、自らばら撒いていることになります。

3.悪意の視点を持つ

上記の1と2の逆の立場を自ら実行してみましょう。普段とらない行動をするかイメージするだけです。
スマート家電になりきるのもいいと思います。

聞き耳を立てて、欲しい情報を数周する立場です。

どうすれば聞き出しやすい質問が出来ますか?

どんな状況だと話しやすくなりますか?

ターゲットを絞れば、間接情報も次の質問のヒントになります。

...ヤバイですね。この答えは聞き出した情報そのものではなく「自ら行っている同じこと」ことを認識することです。

なので結論としては、

・相手が何であろうが余計なことはいわない

・独り言をブツブツ言わない習慣

・悪意の視点を持つ

話したり言ったりする責任は自分自身にあります。それらの行為は巡り巡るとブーメランのように自身に降りかかります。

AIソーシャルエンジニアリングに対抗できることって、何かありませんかね?

Comment(0)