[B! AI][セキュリティ] yamadarのブックマーク

画像生成ソフトウェア「ComfyUI」のノードにキーロガーが仕込まれていたことが発覚、クレジットカード情報やパスワードなど全ての入力が筒抜けに

ノードベースの画像生成ソフトウェア﹁ComfyUI﹂向けに作られたノードの一つ﹁ComfyUI_LLMVISION﹂にマルウェアが仕込まれていることがわかりました。発覚後、ComfyUI_LLMVISIONのGitHubリポジトリが削除されています。 PSA: If you've used the ComfyUI_LLMVISION node from u/AppleBotzz, you've been hacked byu/_roblaughter_ incomfyui クリエイターのロブ・ラフター氏がRedditで共有したところによると、ComfyUI_LLMVISIONをインストールして使用した場合、ブラウザのパスワード、クレジットカード情報、閲覧履歴がWebhook経由でDiscordサーバーに送信されてしまうとのこと。ラフター氏自身も影響を受け、ComfyUI_LLMVISIO

yamadar 2024/06/13

リンク

【悲報】ChatGPTが新車を1ドルで勝手に売ってくる事案が発生｜ﾊﾟﾄﾙ | AI x Biz

こんにちは、パトルです。 2023年12月17日、カルフォルニアのシボレーの販売店で使われている顧客対応用のChatGPTが、プロンプトインジェクション︵AIのハッキングみたいなやつ︶にあって、多大な特典を付与したり、新車を1ドルで売ってしまう事案が発生しました。今回は、このショッキングな事案の概要、どういうプロンプトインジェクションが用いられたのか、損害状況などを解説しながら、プロンプトインジェクションのリスクを勉強したいと思います。概要今回の舞台はカルフォルニアのワトソンビルという地区にあるシボレーのディーラーのホームページに設置されていたセールチャットボットです。URLはこちらです。︵残念ながら12/22時点ではChatGPTは外されています︶ https://www.chevroletofwatsonville.com/ChatGPTは、商品を説明するという位置づけで導入されて

yamadar 2023/12/26

AIと化かし合いの時代が始まってる

リンク

知らない番号に間違えて出たら、義妹そっくりの声で詐欺電話がかかってきた→留守電からAIで似せた声を作ってるらしい

Sao🇨🇦 @seikatau さっき知らん番号に間違って出たら義妹から大変なトラブルに巻き込まれているからお金至急送って欲しいって言われた。誰って言ったら義妹の名前言うし私の名前も言う….声も義妹で電話番号だけが違う。とりあえずかけ直すわって電話切って本人にかけたらやはり詐欺電話だと判明。 2023-10-24 09:15:50 Sao🇨🇦 @seikatau 留守番電話の設定を自分の声で登録してる人は気をつけて。どうやらそこから個人情報とか取られ、声までもAIで似せてかける詐欺電話が最近北米で流行ってるらしい。その場で変なこと言わずとりあえず事実確認した方がいいよ！ 2023-10-24 09:15:51

yamadar 2023/10/25

リンク

「マルウェア入り画像」で生成AIにサイバー攻撃　入力すると回答結果をハック、悪意サイトへの誘導も

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア﹁Seamless﹂︵シームレス︶を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Cornell Techに所属する研究者らが発表した論文﹁︵Ab︶using Images and Sounds for Indirect Instruction Injection in Multi-Modal LLMs﹂は、画像や音声に悪意あるプロンプトを含ませたプロンプト・インジェクション︵生成AIに対しての攻撃︶を提案した研究報告である。ユーザーが知らずにその画像や音声を大規模言語モデル︵LLM︶のチャットbotAIに入力すると、画像や音声と無関係な偽の情報や、フィッシングサイトに誘導するテキスト回答を出力する。また、ギャル風に

yamadar 2023/07/28

画像や音声のディテールを削ぎ落とすと大丈夫そうに見える

リンク

当社社員が翻訳協力した「ChatGPTのセキュリティへの影響」が公開されました | NTTデータ先端技術株式会社

一般社団法人　日本クラウドセキュリティアライアンス︵以下‥CSAジャパン︶にて、﹁ChatGPTのセキュリティへの影響﹂が公開されました。 CSAジャパンは、Cloud Security Alliance︵以下‥CSA︶の日本法人で、日本のクラウドセキュリティの向上を目的とし、クラウドのセキュリティに関する啓発・情報発信等の活動を行う任意団体です。﹁ChatGPTのセキュリティへの影響﹂は、CSAが公開している﹁Security Implications of ChatGPT﹂の日本語訳で、ChatGPTのような大規模な言語モデルがサイバーセキュリティ産業の未来をどのように形作るかを包括的に理解することを目的としています。原本である﹁Security Implications of ChatGPT﹂の日本語化において、当社サイバーセキュリティ事業本部石井英男が、翻訳メンバーの一員と