FacebookのAI画像キャプション機能、まだ使えなかったけど分かったこと

FacebookがAI採用の画像の音声キャプションを視覚障害者向けに提供開始したそうです。記事に貼ったデモ動画を見ると、Facebookサービスに投稿された写真の内容を「人が2人写っててサングラスかけて笑ってる」みたいな説明を読み上げてくれます。視覚障害者用アクセシビリティ機能です。

今回発表された「自動代替テキスト」は、まだ英語のiOSアプリのみですが、米国以外でも"ローリングアウト"するというので、手元のiPodを［一般］→［言語と地域］→［英語］、［一般］→［アクセシビリティ］→［VoiceOver］オンにして、試してみました。

でも、まだ来てませんでした。なーんだ。

自分で作ったサンプルを読み上げてもらったら、「なんの写真でしょう？　photo image」と言うだけ。

それにしても、VoiceOverは使い慣れていないこともあってすごく大変。使いこなしている人を尊敬します。そして、「なんの写真でしょう？」みたいな投稿にはさぞいらついたりがっかりしたりするだろうと思いました。

そういうわけで今回は無駄骨だったんですが、その過程で、先日Twitterが誇らしげに発表した画像のキャプション追加機能は、Facebookには以前から備わっていたことを知りました。

そして、New York Timesはちゃんとこの機能を使って写真に読み上げ用キャプションをつけていました。

偉い。でも、普通のユーザーは、桜の写真をスマホからアップするたびにキャプションをつけたりはなかなかしないので、自動でキャプションをつけてくれる機能はVoiceOver愛用者にとって朗報です。

FacebookもMicrosoftもGoogleも、ここのところいろいろ人工知能関連技術を発表しています。

Googleフォトは画像認識技術で写真を検索できます。「カピバラ」で検索するとちゃんとカピバラの画像が出てきますが、「猫」で検索してもカピバラの写真が混ざるし、「犬」で検索すると猫の写真が混ざったりもします。

Facebookの新機能がローリングアウトしきったころに、上の投稿をもう一度試してみようと思います。果たしてカピバラをカピバラと説明してくれるでしょうか。