グーグルのクラウドを支えるテクノロジー　＞　第93回　Googleドライブ「クイックアクセス」機能のMLモデル開発（パート3）

私が編集支援しているCTC教育サービスのコラム「グーグルのクラウドを支えるテクノロジー　＞　第93回　Googleドライブ「クイックアクセス」機能のMLモデル開発（パート3）」が公開されました。興味がある方はご覧ください。

＃＃＃

はじめに
　前回に続いて、2017年に公開された論文「Quick Access: Building a Smart Experience for Google Drive」を元にして、Googleドライブの「クイックアクセス」機能を支える機械学習システムについて解説します。今回は、このシステムを実環境に適用した際に直面した課題、そして、実環境における性能評価の結果を紹介します。

データ品質の問題
　第91回の記事で説明したように、このシステムでは「Activity Service」を用いて学習データを生成しています。これは、Bigtableに保存されたさまざまなログを集約してレポートするシステムですが、この機械学習プロジェクトのために用意されたものではなく、以前から存在していたものです。さらに、このシステムでは、複数のチームが管理するログを集約しているため、ログデータの品質にばらつきがありました。フィールドとしては存在するものの実際のデータは存在していなかったり、大元のログの仕様変更によりデータの値が突然変化するなどの問題に直面したそうです。すでに稼働しているシステムに後から機械学習を適用する場合、「機械学習に使用することを前提とせずに収集されるデータ」を用いる必要があるため、このようなデータの品質に関わる問題は必ず発生します。この問題に対応するために、クイックアクセスの開発チームでは、Activity Serviceから得られるデータの統計値（平均や分散など）を自動計算して、モニタリングするシステムを開発しました。あきらかに不自然な統計値を持つフィールドや、統計値が大きく変化するなどの事象をトラッキングすることで、問題のあるデータを発見したそうです。

この続きは以下をご覧ください
https://www.school.ctc-g.co.jp/columns/nakai2/nakai293.html