Appleの拡張ビジュアル検索とは何?

年末からプライバシー関連で騒がれているAppleの拡張ビジュアル検索(Enhanced Visual Search)。僕も騒がれるまで、このような機能(?)が入ったことを知りませんでした。

macOSの写真アプリの設定やiOSの設定には「あなたの写真の場所をAppleが維持しているグローバルインデックスと照合してランドマークや見どころを検索」と書かれています。よくわかりません。どのように使うのでしょうか?

Appleの写真とプライバシーには、次のように書かれています。

"写真"の"拡張ビジュアル検索"では、ランドマークや見どころを使って写真を検索することができます。デバイス内で、あなたの写真の場所をAppleのサーバで維持しているグローバルインデックスと照合します。準同型暗号と差分プライバシーを適用し、IPアドレスを公開しないOHTTPリレーを使用しています。これによって、Appleは写真に関する情報を知ることができなくなります。

翻訳が変な感じがします。これの元、Photos & Privacyは以下の通りであり、日本語の「デバイス内で」は誤訳ですね。。

Enhanced Visual Search in Photos allows you to search for photos using landmarks or points of interest. Your device privately matches places in your photos to a global index Apple maintains on our servers. We apply homomorphic encryption and differential privacy, and use an OHTTP relay that hides IP address. This prevents Apple from learning about the information in your photos.

さて、macOSの写真アプリでショートカットメニュー(右クリックなどで表示されるメニュー)を開くと、写真によっては「ランドマークを調べる」が出ることに気づきました。iOSの場合は、画面下部中央の情報アイコンが変わるとともに、それを押すと、「調べる: ランドマーク >」が出てきます。それを選ぶと、場所によってはランドマーク名や解説が表示されます。それらは表示されないこともありますし、表示されても間違っていることがありました。また、写真アプリの検索にランドマーク名を入れると、ランドマークによっては横長楕円にピンが刺さっている候補が表示されるので、それもおそらく拡張ビジュアル検索と思われます。

ここまでわかった上で、AppleのCombining Machine Learning and Homomorphic Encryption in the Apple Ecosystemを読むと、写真アプリは、各写真からランドマークの候補を検出し、その特徴をAppleのサーバーに送付し、結果を得ています。つまり、送付しているのは特徴データのみであり、写真そのものではありません。ただし、デバイス内で検索できるように、iOSを更新した後に全写真に対する特徴検出と検索処理が動いたと思われます。そのため、人によってはバッテリー消費が大きくなったのでしょう。僕の写真ライブラリは6万枚以上ですが、バッテリー消費の増加は気づきませんでした。この論文でよくわからないのは、特徴による検索をhomomorphic encryption (HE)、準同型暗号と言う仕組みを使っていること。特徴だけならば、それ以外のプライバシー保護機構で十分な感じがします。

最後に、今回の一連の議論の元の訴え、Apple Photos phones home on iOS 18 and macOS 15 と記事、Is your iPhone sharing photos data with Apple by default?も読みました。悪いのは新機能の説明なしに有効にしたAppleなのですが、元々の訴えは気にしすぎに思います。ここまで気にすると、そもそもiCloudを使えないだけでなく、Apple以外のサービスも使えなくなってしまう。

とは言え、Appleにはちゃんとした説明を希望します。公式のユーザガイドにすら"拡張ビジュアル検索"が何であるかの説明が無いのですから。