オルタナティブ・ブログ > 吉政忠志のベンチャービジネス千里眼 >

IT業界でベンチャービジネスの支援をしている執筆者が日々の活動ログと感じたことを、徒然なるままに書き綴っていきます。

グーグルのクラウドを支えるテクノロジー > 第93回 Googleドライブ「クイックアクセス」機能のMLモデル開発(パート3)

»

私が編集支援しているCTC教育サービスのコラム「グーグルのクラウドを支えるテクノロジー > 第93回 Googleドライブ「クイックアクセス」機能のMLモデル開発(パート3)」が公開されました。興味がある方はご覧ください。

###

はじめに
 前回に続いて、2017年に公開された論文「Quick Access: Building a Smart Experience for Google Drive」を元にして、Googleドライブの「クイックアクセス」機能を支える機械学習システムについて解説します。今回は、このシステムを実環境に適用した際に直面した課題、そして、実環境における性能評価の結果を紹介します。

データ品質の問題
 第91回の記事で説明したように、このシステムでは「Activity Service」を用いて学習データを生成しています。これは、Bigtableに保存されたさまざまなログを集約してレポートするシステムですが、この機械学習プロジェクトのために用意されたものではなく、以前から存在していたものです。さらに、このシステムでは、複数のチームが管理するログを集約しているため、ログデータの品質にばらつきがありました。フィールドとしては存在するものの実際のデータは存在していなかったり、大元のログの仕様変更によりデータの値が突然変化するなどの問題に直面したそうです。すでに稼働しているシステムに後から機械学習を適用する場合、「機械学習に使用することを前提とせずに収集されるデータ」を用いる必要があるため、このようなデータの品質に関わる問題は必ず発生します。この問題に対応するために、クイックアクセスの開発チームでは、Activity Serviceから得られるデータの統計値(平均や分散など)を自動計算して、モニタリングするシステムを開発しました。あきらかに不自然な統計値を持つフィールドや、統計値が大きく変化するなどの事象をトラッキングすることで、問題のあるデータを発見したそうです。

この続きは以下をご覧ください
https://www.school.ctc-g.co.jp/columns/nakai2/nakai293.html

Comment(0)