【CEDEC2019】DeNAゲーム事業部関連のセッション内容をチェック

CEDEC2019

2019年9月4日(水)~9月6日(金)の3日間で開催された「CEDEC2019」では、DeNAゲーム事業に関する7つのセッションが行われました。編集部では、今回はその7セッションをピックアップしましたのでぜひご確認ください!

登壇情報(9月4日)

ゲーム開発者とゲームメディアの理想の関係とは?

■セッション内容
リアルイベントやコミュニティの醸成、企業が独自のオウンドメディアを展開するなど、ゲーム開発者がSNSなどで自ら発信することも増えてきた昨今、ゲーム開発者とゲームメディアの理想の関係とは何か? DeNAのゲーム事業部を率いる佐々木悠と、2019年7月より、まったく新しいメディアの形を模索して完全独立系のメディアとして再スタートをした電ファミニコゲーマー編集長のTAITAIこと平信一によるディスカッションです。(開始時間/14:50〜)

■登壇者
佐々木 悠(株式会社ディー・エヌ・エー)
平 信一(株式会社マレ)

[su_note note_color=”#ffffff” radius=”2″]
[su_row][su_column size=”1/6″ center=”no” class=””]
[/su_column] [su_column size=”5/6″ center=”no” class=””]
■DeNA登壇者プロフィール

佐々木 悠
執行役員 ゲーム・エンターテインメント事業本部 ゲーム事業部長

慶應義塾大学卒、2009年DeNA新卒入社。入社後はモバイルオークションのサイト運営、広告営業の経験を経て、2010年にゲーム事業に異動。住み着き妖精セトルリンの運営、有名IPゲームの立ち上げを行いつつ、組織マネジメントに従事。アプリ開発部署の部長として『三国志ロワイヤル』、『FINAL FANTASY Record Keeper』の立ち上げ後、職能組織長として部署の立ち上げとマネジメントを実施。その後、専門役員として協業案件に従事して新規ゲームの立ち上げに尽力。2019年4月からゲーム・エンターテインメント事業本部ゲーム事業部長に就任。

■受講者へのメッセージ

新しいメディアの形を模索し続ける電ファミニコゲーマー様と、ゲームの文化を伝えていくために開発者とメディアがどう向き合い語り合うのがよいか?情報発信の選択肢が多様化している今だからこそ改めて検討していければと思います。

【CEDEC2019】「ゲーム開発者とゲームメディアの理想の関係とは?」セッションレポート

[/su_column][/su_row][/su_note]


組織的に Game x AI を推進していくための方法論
〜『逆転オセロニア』 の一歩先へ〜

■セッション内容
私たちは運用中のモバイルゲーム『逆転オセロニア』においてデッキ編成をする AI、人間のような戦いをする AI をリリースしました。まず今回は、AI をうまく活用することができた開発プロセスなどを整理し、リリースまでの軌跡を振り返ってみます。

その中で技術検証からリリースまで一貫して行った経験から、AI 活用を成功させるために重要な要素がいくつか見えてきました。過去事例の収集、自社の個別ゲームタイトルの要望の把握、投資領域の選定、課題設定への落とし込み、AI開発をスムーズにするような周辺ツールやデータの整備、そしてそれを可能にするための部署横断での体制の整備……。

本セッションでは、これらの「AI 開発のあるべき」を検討します。その中でも技術的に重要になってくるシミュレータについては具体的な設計を交えてお話しします。(開始時間/17:50〜)

[su_note note_color=”#ffffff” radius=”2″]
[su_row][su_column size=”1/6″ center=”no” class=””]

[/su_column] [su_column size=”5/6″ center=”no” class=””]
■登壇者プロフィール

田中 一樹
AI本部 AIシステム部 データサイエンス第一グループ
データサイエンティスト

2017年に DeNA 入社後、データサイエンティストとしてアプリゲーム『逆転オセロニア』に関する AI 機能の開発に従事し、機械学習、強化学習、データサイエンス技術の研究開発 / 設計から実応用に携わる。現在は、多様な事業へのデータサイエンス活用を目指した研究開発や課題発掘に従事。大学時代は電力系統に関する数理計画や統計的機械学習の工学的応用を研究。『速習 強化学習 −基礎理論とアルゴリズム−』(共著)を執筆。データ分析の大会に没頭し複数大会で入賞。Kaggle Master。

■受講者へのメッセージ

AIをモバイルゲームに活用するのはとても面白くもありますが、大変な面もあります。特に、AIの不確実性や、どんなAI機能がプレイヤーさんに価値を提供できるのか、真摯に向き合って考えなければいけないことは多くあります。

本セッションでは、現在AI機能を開発しているまたは将来に開発をしたいと考えている皆様のお役に立つ情報を発信できればと思います。[/su_column][/su_row][/su_note]

[su_note note_color=”#ffffff” radius=”2″]
[su_row][su_column size=”1/6″ center=”no” class=””]

[/su_column] [su_column size=”5/6″ center=”no” class=””]
■登壇者プロフィール

岡田 健
AI本部 AIシステム部 MLエンジニアリンググループ
MLエンジニア

DeNA所属のエンジニア。元数学徒。ゲーム『FINAL FANTASY Record Keeper』を開発 / 運用していたが、2018 年からはその経験を生かして AI によってゲームのおもしろさの軸を増やしたり、ゲーム作りの方法を変革する側に。『逆転オセロニア』への AI 導入では学習高速化、学習管理の仕組み作り、実サービスのためのアーキテクチャ設計と実装などを担当。

■受講者へのメッセージ

AI は、言うなれば魔法です。便利な半面、それなりにコストがかかりますし、専門家が必要なことが多いです。準備が不完全であれば、不発になるときだってあります。敵の弱点を突けなければ、費用対効果に合わないこともあります。

魔法使いを上手く既存のパーティーに組み込んで、より難易度の高いことをなしたり、今まで行けなかったところに行くためにはどうするべきか? 我々のケースを通じてお伝えできればと思います。

【CEDEC2019】「組織的にGame x AIを推進していくための方法論~『逆転オセロニア』のAIの一歩先へ~」セッションレポート

[/su_column][/su_row][/su_note]

登壇情報(9月5日)

自由に移動できるVRゲームにおけるプレイヤーの誘導、こうやってみました

■セッション内容
このセッションでは、VR空間内を自由に移動できるタイプのゲームにおいて、いかにプレイヤーの行動を制御しゴールまで導くかという課題をどのように解決したか、実例をもとに説明します。加えて、VRゲームに没入するために必要な『没入感』や『納得感』を上げるために行った、世界観を含めた演出についても取り上げます。

カテゴリはAC分野としていますが、ゲームデザインやサウンドまで幅広く演出のお話をする予定です。今回はDeNAが研究開発しTGS2018やLAVAL VIRTUAL 2018にも出展した謎解きアドベンチャーVRゲーム『VoxEl(ボクセル)』を実例としてご紹介します。(開始時間/14:50〜)

■登壇者
永田 峰弘(株式会社ディー・エヌ・エー)
高橋 宏典(あまた株式会社)

[su_note note_color=”#ffffff” radius=”2″]
[su_row][su_column size=”1/6″ center=”no” class=””]

[/su_column] [su_column size=”5/6″ center=”no” class=””]
■DeNA登壇者プロフィール

永田 峰弘
ゲーム事業部Publish統括部第四プロデュース部
ゲームデザイナー

サウンドクリエイターを経てゲーム業界にプランナーとして入り、2011年にDeNAに入社。モバイル、スマートフォン向けタイトルを中心に企画、ディレクションを担当。

複数タイトルの企画面を横断でサポートしつつVRの研究開発に着手。2018年にハイエンド向けVRゲーム『VoxEl』を開発、TGS018やLAVAL VIRTUAL 2018に参考出展。本タイトルではプロデューサー、企画、シナリオ、サウンドを担当。酒粕から作った甘酒がすきです。

■受講者へのメッセージ

『VoxEl』開発中に試行錯誤したこと、またTGS2018などで試遊していただいた際に得られた知見を元に、VR開発の初歩的な注意点から、VR空間内でのプレイヤー誘導、また納得感や没入感を高めるために実装した内容をご紹介します。
受講していただく皆様にとって、より楽しいVR体験を作るための手助けになればと思います。

【CEDEC2019】「自由に移動できるVRゲームにおけるプレイヤーの誘導、こうやってみました」セッションレポート

[/su_column][/su_row][/su_note]


『逆転オセロニア』における、機械学習モデルを用いたデッキのアーキタイプ抽出とゲーム運用への活用

■セッション内容
プレイヤーが構築したデッキを用いて対戦する PvP ゲームにおいて、代表的なデッキ構築パターン (アーキタイプ)、そして各アーキタイプの使用頻度、 総合勝率、 対戦成績などの KPI を継続して観測することは、 現状のゲームバランスを把握し、 プレイヤーのゲーム体験を向上させる上で有用である。

本講演では、 『逆転オセロニア』における、 機械学習モデル (トピックモデル) を用いた、 大規模データからのデッキアーキタイプの抽出、 アーキタイプに関連する KPI の可視化、 これらを用いたゲーム運用への活用について紹介する。(開始時間/16:30〜)

[su_note note_color=”#ffffff” radius=”2″]
[su_row][su_column size=”1/6″ center=”no” class=””]

[/su_column] [su_column size=”5/6″ center=”no” class=””]
■登壇者プロフィール

安達 涼
ゲーム事業部Publish統括部分析部
アナリスト

人間の意思決定プロセスの数理モデル化と、その神経基盤を解明する研究に従事し、カリフォルニア工科大学PhD(計算論的神経科学)を取得。2018年3月にデータアナリストとしてDeNA入社。機械学習の手法のみならず、行動経済学の知見などを用い、人間のゲーム内外での行動データを包括的に理解することで、ゲームタイトルの運営力・UX向上を目指している。

■受講者へのメッセージ

モデル構築から実運用まで幅広い内容をカバーしますので、みなさまお気軽にお越しください。

[/su_column][/su_row][/su_note]

[su_note note_color=”#ffffff” radius=”2″]
[su_row][su_column size=”1/6″ center=”no” class=””][/su_column] [su_column size=”5/6″ center=”no” class=””]
■登壇者プロフィール

岩城 惇
ゲーム事業部Develop統括部企画部
プランナー

大学卒業後、ゲーム制作の道へ。アクションゲームやRPGの開発に携わる。『逆転オセロニア』では運用プランナーとして機械学習を用いたキャラクターのレベルデザインに携わっている。

■受講者へのメッセージ

機械学習が実際に運用の現場で活用されている「生」の様子をお伝えできればと考えております。

【CEDEC2019】「『逆転オセロニア』における、機械学習モデルを用いたデッキのアーキタイプ抽出とゲーム運用への活用」セッションレポート

[/su_column][/su_row][/su_note]

登壇情報(9月6日)

ゲームと機械学習の最前線
〜現状と未来を正しく捉えるために〜

■セッション内容
近年の機械学習研究の進捗は目覚ましく、ゲーム産業でも様々な活用事例が報告されてきています。一方で、これらの技術に対する加熱した期待値も成熟を迎え、「ゲーム開発・体験にどの程度インパクトを与えるか」「どのように戦略的な活用を目指していくべきか」といった論点に注目が集まっています。

本セッションでは、ゲームと「機械学習」の関わりについて認識を深めていきます。パネリストとしては、機械学習導入を実際に成功させ、ゲーム開発やUXへの影響について見通しを持つメンバーを集めました。国内外で発表されている多くの事例を整理し、2019年時点で出来ること・不足している要素、中長期的な戦略について、現実的な目線で議論を展開します。(開始時間/11:20〜)

■登壇者
奥村 純(株式会社ディー・エヌ・エー)
三宅陽一郎(株式会社スクウェア・エニックス)
長谷 洋平(株式会社バンダイナムコスタジオ)

[su_note note_color=”#ffffff” radius=”2″]
[su_row][su_column size=”1/6″ center=”no” class=””]

[/su_column] [su_column size=”5/6″ center=”no” class=””]
■DeNA登壇者プロフィール

奥村 純
AIシステム部 AI研究開発グループ
AI研究開発エンジニア

国内外の研究機関で観測的宇宙論の研究に従事し、京都大学理学研究科宇宙物理学専攻にて博士号取得。DeNAではデータアナリストとしてユーザー体験や事業推進をデータからサポートすることを目指し、主にゲーム領域のデータ分析・パラメータ設計の経験を積む。2017年よりAI研究開発エンジニアに転身しゲームAIの研究開発を推進、 複数のAI施策をリリース。機械学習の実ビジネス適用や、UXデザインに興味を持っている。

著書:
『データサイエンティスト養成読本 ビジネス活用編』
講演:
『次世代QAとAI 』(CEDEC2018)
『一周年で爆発した「逆転オセロニア」における、ゲーム分析の貢献事例』(CEDEC2017)

■受講者へのメッセージ

昨年は『次世代QAとAI』というテーマで、QA文脈にフォーカスして機械学習の活用方法や見通しを議論しました。その後も技術は様々な形で進展しており、ゲーム開発の多くの領域で機械学習導入のトライアルが行われたり、学術業界によるゲームAI研究も進んだりしています。

本セッションではより広い観点から「ゲーム」と「機械学習」の関係を考えます。国内外の最新事例の紹介から現在の状況を俯瞰し、現実的な目線で今後の見通しについて議論を広げていけたら嬉しいです。

【CEDEC2019】「ゲームと機械学習の最前線~現状と未来を正しく捉えるために~」パネルディスカッションレポート

[/su_column][/su_row][/su_note]


サービス終了寸前だったタイトルが、CMを使わずにDAUを増やして九死に一生を得たSNSプロモーション術

■セッション内容
本セッションでは、SNSでの情報の伝播を戦略的に盛り込んだコミュニケーションの手法を紹介します。
主にtwitterを通してゲームの情報が伝わったり、SNSでの盛り上がりによって「いまこのゲームがアツい」といった雰囲気を作り出すことで、新規のプレイヤーを呼び込んだり、ゲームから離れていたプレイヤーに復帰していただいたりすることが可能です。

ゲームリリース1周年のタイミングを機にプロモーション戦略の柱の1つに「SNSでの盛り上がり」を設定し、サービス終了の危機を脱することができた「天華百剣 -斬-」の事例と共にその手法を紹介します。(開始時間/13:30〜)

[su_note note_color=”#ffffff” radius=”2″]
[su_row][su_column size=”1/6″ center=”no” class=””]

[/su_column] [su_column size=”5/6″ center=”no” class=””]
■登壇者プロフィール

ナカムラ ケンタロウ
ゲーム事業部Publish統括部第四プロデュース部
「天華百剣 -斬-」プロデューサー

2013年に株式会社DeNA Games Osakaに入社。
プランナーとして社内の運用タイトル、新規タイトルを担当。
2014年の夏頃より金髪になる。
2017年11月より「天華百剣 -斬-」にディレクターとして参加。
2018年1月に株式会社ディー・エヌ・エーに転籍。
2018年4月「天華百剣 -斬-」の1周年のタイミングでプロデューサーに就任。

■受講者へのメッセージ

リリース1周年のタイミングで多くの方から応援をいただけたこと。自分自身がオタク、サブカル厨であることと前職の広告業界で制作をやっていた知見が上手く融合したこと。それらが上手く合わさった結果、1つのゲームが生き長らえることができました。

その時に得られたあれやこれやがみなさんの何かのお役に立てば幸いです。

【CEDEC2019】「サービス終了寸前だったタイトルが、CMを使わずにDAUを増やして九死に一生を得たSNSプロモーション術」セッションレポート

[/su_column][/su_row][/su_note]


大規模モバイルゲーム運用におけるマスタデータ管理事例

■セッション内容
DeNA はこれまで様々なゲームをリリース・運用してきました。その中には100名を超えるメンバーで運用しているタイトルもあれば、運用10周年を迎えるタイトルもあります。

本セッションでは、モバイルゲーム運用におけるマスタデータの管理で、特に大規模なチーム人数や、長期運用で発生してきた課題や失敗事例をご紹介します。その上で、それらの課題解決のために開発した共通マスタデータ管理システムの概要と、その機能や運用ワークフローを説明します。

そして実際のゲームの開発・運用にそのシステムを導入してみて、どのような効果があったかをお話します。(開始時間/16:30〜)

[su_note note_color=”#ffffff” radius=”2″]
[su_row][su_column size=”1/6″ center=”no” class=””]

[/su_column] [su_column size=”5/6″ center=”no” class=””]
■登壇者プロフィール

人西 聖樹
ゲーム事業部Publish統括部共通基盤部
ゲームデベロッパーライブラリグループ エンジニアリングリード

DeNAの大規模mobageタイトルの開発・運用のリードエンジニアを経て、現在はゲーム横断の開発基盤の部署にて、マスタデータ管理システムの開発リーダーを担当。

■受講者へのメッセージ

モバイルゲーム特有のマスタデータの運用周りの苦労や、それに対してどのようなアプローチをしていったかをお伝えできればいいなと思っております。

【CEDEC2019】「大規模モバイルゲーム運用におけるマスタデータ管理事例」セッションレポート

[/su_column][/su_row][/su_note]

 

[su_note note_color=”#ffffff” radius=”10″]
GeNOM(ゲノム)とは

DeNAのゲームクリエイターを様々な切り口で紹介するメディア(運営:株式会社ディー・エヌ・エー)です。ゲーム開発の現場で生まれる様々なエピソードや、クリエイター紹介、イベント紹介などを通して、DeNAで働くメンバーの”ありのまま”をお伝えしていきます。

GeNOMの最新情報は、公式Twitterアカウントにて確認いただけます。ぜひフォローをお願いします!

[/su_note]

引用:「CEDEC2019」公式サイト

※掲載内容は、公開日時点の情報です。セッション内容等は当日変更になる可能性もありますので、ご了承ください。

【後編】DeNAゲーム事業におけるデータエンジニアの貢献〜客観性を担保したLTV予測やBigQuery運用におけるコスト最適化、そしてMLOpsへの挑戦〜

2019年2月6日、渋谷ヒカリエにて、技術者向けの大規模イベント「DeNA Technology Conference 2019」が開催されました。

本記事では、DeNAゲームサービス事業部の分析部に所属する岩尾と石川による「DeNAゲーム事業におけるデータエンジニアの貢献」と題したセッションの後編をレポートします。

前編はコチラをご覧ください。
※記事の最後にはセッション時に投影した資料を掲載していますので、そちらもご覧ください。

BigQuery運用のコスト最適化、その事例に迫る

第2部”システム運用の改善”は、分析部の3つの役割の中の改善系がテーマ。BigQueryの運用におけるコスト最適化やMLOpsへの挑戦といった裏で動いているシステム、特に運用周りにおける課題とその解決策について、岩尾が解説していった。

分析部データエンジニアリンググループ グループリーダー:岩尾一優

昨年7月にDeNAにジョインした岩尾は、「入社以来、ずっとBigQuery周りのコストの事が気になっていた」と、ただ規模が大きいだけでなく秩序が乱れているように感じたそうで、現在”BQ警察”としてコスト最適化に注力している。

始めに岩尾は、DeNAゲーム事業でどれくらいの規模のデータを扱っているか数値で示し、BigQueryのストレージ容量が2PB以上、BigQueryのコスト(2018年9月時点)が月680万円かかっていると説明。「これはかなり大きい部類のデータとコスト」(岩尾)だが、それが12月の時点で420万円になったという。

その3ヵ月間でコストを削減した過程で何を行ったのか? 岩尾は大きく分けて3つあるとし、その1つが現状の可視化。請求データを使って全体を見た後に、BigQueryのメタデータを見て何にどれくらいかかっているのかを可視化したそうだ。

可視化によって攻め所がわかってきたので、次にシステム的な改善に着手。ここで岩尾は、「BigQueryはスキャンしたデータ量によって従量課金である」という特徴を紹介し、この点が重要なトピックスとした。

3点目は運用の改善。そもそも巨大なクエリを投げてしまったときに気づく仕組みがこれまでなかったという背景があり、そこを気付ける仕組みを導入し、気づきの後にメンバー間で改善するマインド醸成に取り組んだという。

採用した主な技術を紹介

現状の可視化(請求データ)について、2018年1月~9月の期間、どのようにコストが推移しているのか現したグラフが提示され、「ストレージもクエリ検索もコスト増加傾向で、3ヵ月ごとに月額で100万円ほど伸びている」と解説した岩尾。

その詳細を確認するために利用されたのが、Stackdriver Monitoring。これは専門的な知識がなくても簡単な操作でGCPやAWSのリソースと連携してメタデータを可視化できるという。「我々の使い方では、BigQueryのメタデータ(ストレージ容量やクエリ検索量)の見える化に利用している」(岩尾)とのこと。

ストレージ容量の内訳を確認する際、あるゲームでは特定のデータセットがストレージの大半を占めていることなどがわかるという。その部分を削減することができれば「ストレージ容量が大幅に削減できそうだなというあたりを付けることができる」と岩尾は語った。

そしてクエリについては、ゲームごとのクエリ検索量を色分けして明確化した。これで、ある部分が全体の大部分を占めていることがわかる。

「ゲーム自体は十数タイトル管理しているが、その中でもいくつかのタイトルだけに集中していることが見てとれます。もちろんデータの保存量自体バラつきはあり、これで一概に良い悪いは言えません。利用者によるスキルのバラつきや、そもそも検索対象となっている中間テーブルの設計に問題があるのかも」という部分にも踏み込んだと岩尾は語った。

また、別の切り口として、ある日、クエリが1日に50TBくらい投げられた事件が発生した事例を紹介。これも可視化することにより、担当者が意図していたクエリかどうか、その原因を調べることができるなど対策の検討がしやすいという。

ここまでが現状の可視化について。次に岩尾は5つの改善事例を紹介。

1つ目は、データライフサイクルの定義することでストレージ容量を削減した改善事例。データ分析は本来1日だけ保存しておけばいい場合や、ずっと残しておきたいなど、必要な保存期間が異なる。ただ、「リリース時にそれが確実にわかるかと言えばいえばそうではない」と岩尾。

そこで重要なのが定期的な棚卸。「我々はデータアナリストと同じ部内にいるので、連携しながらこれは消していいのかどうか棚卸しながら設計しました」(岩尾)とし、必要な保存期間に応じてローテーションさせる仕組みを導入した。

そして設定ファイル上で、どのプロジェクト、どのデータセットでどのテーブルを何日間保存したいのかを一元管理した。一つのプロジェクトだけではなく、全体でどんな感じで設定されているか一元管理することで、検討漏れがなくなる。あるゲームタイトルでは約60%のストレージ容量を削減できたそうだ。

※一部AWSを利用しているのはシステム移行中のため

2点目の改善策は、Clusterd Tables(β版)を導入したクエリ検索量の削減。これまでBigQueryは分割テーブルを使って検索量を抑えていたがそうだが、一方で日付レベルよりさらに絞り込む方法はなかったという。

そこで、「他のカラムについてもインデックス付与することにより、ある程度検索範囲を絞れる機能を導入した」と岩尾。実際にこれまで1回で2TB検索しなければいけなかったものが、2GBまで抑えられたという例もあったそうだ。

また、移行については新規テーブルを作成し、既存テーブルからレコードをコピーするので面倒ながらも、「そこさえ乗り越えればかなりの恩恵がある」(岩尾)とのこと。

3点目はjsonペイロードのparseによるクエリ検索量削減。ユーザーが保持しているアイテムの1~100から1だけを抜き出したい場合でも、これまではjsonペイロード全体を検索してしまい、クエリ検索量の増加につながってしまっていた。そこで、よく使うデータはparseして別のカラムとして保持して検索するのがクエリ検索量削減になるそうだ。

4点目は、BIツールの不要な定期実行機能を停止することでのクエリ検索量の削減。岩尾は「我々は、使っているBIツールをcron形式で行っていたので、それに慣れていないデータアナリストであれば、不用意に週末だったり夜間を実行してしまうことがあった」と説明し、その点も改善した。

最後の改善事例は、巨大クエリ実行時にSlack通知をする仕組みを作ったこと。

岩尾によると、システム的にガードをかけることも可能だそうだが、「本当に必要なクエリをたたくときにエラーが返ってきたら、イラっとすると思う。システム的ガードではなく敢えてメンバーを信頼し、巨大クエリを投げてしまっても通知を見て皆でどうすれば良かったか話し合える文化をつくりたかった」とのこと。

そして岩尾は、紹介した改善事例にって、結果的に月260万円のコストを削減し、ストレージは40%、クエリ検索は41%改善したことを明かした。

MLOpsへの挑戦、今後のデータエンジニアリンググループの展望

最後にMLOpsへの取り組みについて紹介した岩尾。

伝えたいこととして、「初心者にとってMLモデルの実行はハードルが高いです。部内のデータサイエンティストがJupyter Notebookで作成したMLモデルをgithubなどで経由してやり取りしていたが、それだと自分の環境だけ動かないみたいなことも発生してします。環境構築ほどイライラする作業はないと思っている」とそれを解決したいと考えたのが取り組みへのキッカケだそうだ。

従来のシステムは、VM上にMLモデルの設置、実行をしていたが、この構成だと環境構築が面倒で、今後の移行も困難だという。そこでBigQuery、Dockerに加え、ContainerRegistryという主な技術を活かし、「dockerコンテナで起動するよう変更した」(岩尾)という。

それによる新しいシステム構成では、EC2上でdockerコンテナを起動する方式を採用。Container Registryから必要なDockerイメージをpullして使うだけで環境構築が簡単で、GCP移行時もGCEでdocker runするだけの容易さがメリットのようだ。

※一部AWSを利用しているのはシステム移行中のため

岩尾は、「これまでデータ分析におけるMLの導入は環境構築や移行の手間に悩まされてきたが、MLモデルをdockerコンテナを入れたことで解決に向かっている」とML Opsの現状に触れたが、「まだまだ未解決な部分もある」とし、今後の展開として、現在ローカルで行っているDockerイメージのビルドを自動化したり、もしくは学習・推論でモジュールを分割すること、モデルのバージョン管理、ロギングについて、「現在対応をしている最中」とコメントした。

そして最後に、「データエンジニアリンググループは2月から出来たばかりの組織です。本日お話した内容以外にも色々行っています。現在立ち上げ期ですので、我こそはというデータエンジニアの方はジョインして一緒に盛り上げていきましょう」とメッセージを送った。

前編を読む
【前編】DeNAゲーム事業におけるデータエンジニアの貢献……客観性を担保したLTV予測やBigQuery運用におけるコスト最適化、そしてMLOpsへの挑戦

セッション時の投影資料はこちら

※本記事は2019年2月時点の情報です。
※本記事は、SocialGameinfoに掲載された内容を一部構成を変更して掲載しています。

[su_note note_color=”#ffffff” radius=”10″]

GeNOM(ゲノム)とは

DeNAのゲームクリエイターを様々な切り口で紹介するメディア(運営:株式会社ディー・エヌ・エー)です。ゲーム開発の現場で生まれる様々なエピソードや、クリエイター紹介、イベント紹介などを通して、DeNAで働くメンバーの”ありのまま”をお伝えしていきます。

GeNOMの最新情報は、公式Twitter アカウントにて確認いただけます。ぜひフォローをお願いします!

[/su_note]

【前編】DeNAゲーム事業におけるデータエンジニアの貢献〜客観性を担保したLTV予測やBigQuery運用におけるコスト最適化、そしてMLOpsへの挑戦〜

2019年2月6日、渋谷ヒカリエにて技術者向けの大規模イベント「DeNA Technology Conference 2019」が開催されました。

本記事では、DeNAゲームサービス事業部の分析部に所属する岩尾一優、石川勇による「DeNAゲーム事業におけるデータエンジニアの貢献」と題したセッションをレポートします。

※記事の最後にはセッション時に投影した資料を掲載していますので、そちらもご覧ください。

分析部とデータエンジニアの紹介

DeNAの分析部は、事業における意思決定の質を最大限に高めるための部門で、より高度な分析を低コストで実現するために、BigQueryを中心としたデータ分析基盤を活用している。

「DeNAゲーム事業におけるデータエンジニアの貢献」と題した本セッションでは、“DeNAのゲーム事業における意思決定を分析部がどのように支えているか”“データ分析基盤を運用する中でぶつかった課題をどのように乗り越えてきたか”について、分析部の岩尾、石川が、技術的な側面から実例を交えて紹介していった。

まず、ゲームサービス事業部 分析部について岩尾が紹介。分析部はゲーム事業における意思決定の支援をするのが役割で、例えばゲーム内施策の立案のサポートや振り返り、それから事業計画立案のサポートを行う組織とのこと。

意思決定の支援という意味合いでは、主にデータアナリストが役割を担うが、我々データエンジニア、データサイエンティストも所属しており、同じ分析部内にこれらの役割が所属するというところで効率的に活動を進めているという。

そして、DeNA分析部の特徴について、「データエンジニアはアナリストと仕事することでゲームのドメイン知識も自然と溜まる。逆にアナリスト、サイエンティストもエンジニアと仕事することで技術力の強化ができている」(岩尾)と紹介した。

岩尾曰く、データエンジニアの役割を細分化すると、事業に対して直接付加価値を与えるような活動をする事業系の役割、そして作成したシステムを保守、改善していくという役割もあるという。そこで本セッションは[su_highlight background=”#d5ff99″]第1部で事業系と保守系[/su_highlight]、そして[su_highlight background=”#99fffd”]第2部で改善系[/su_highlight]の2部構成で行われた。

 

客観性を担保し、安定的に利便性高くLTV予測を提供する手法とは

まず第1部では、石川が登壇し、”LTV予測による事業への貢献~エンジニアによるビジネス意思決定サポート事例~”をテーマに話を進めた。

分析部の石川勇

始めにLTVの重要性について触れた石川。一般的なLTVの定義は、顧客生涯価値、平たく言うとサービスと関係する中で顧客が支払うお金の総額となる。

これをゲーム事業に当てはめると、サービス開始から終了までにプレイヤーが支払う総額という定義だ。ただ「1人あたりの金額、というのが曲者」と石川。ゲーム事業では、「月額購入や都度課金など商品の買いかたなど多種多様。また、商品を買わなくても楽しんでもらいたいという無料サービスの側面もあり、1人あたりの平均金額というものはかなり予測しずらい」(石川)という。

石川は「LTVの数字は、広告やCMにいくらかけるかを判断する直接の数字となっており、計算する必要性がある」として、一例としてゲーム事業における宣伝広告費で、DeNAでは3ヵ月間で30憶円程度になるとのことだ。

LTVの事業的な重要性を説明したところで、実際どのようにLTVが使われているかを石川が説明。



まずは仮のケースとして、LTVを用いたCMの投資判断・効果測定例の図(上)を元に、1つのCMで数億円を使った投資判断について、LTV予測を極端に外した例を紹介した石川。

CM費用が3憶円かかるとして、その投資判断する場合に売上の見込みを計算するのが通例。このケースではCMで20万人がゲームを開始して、LTVが3000円と予測している。つまり6憶円の売上増加が見込めるという予測だ。

ところが蓋を開ければ20万人がゲームに入ってきたが、想定に反して実際は売上が2憶円しか増えておらず、CMとしては1憶円の損失という例だ。

石川は「実際のLTVが1000円だったため、3000円の予測が高すぎた」ことがこの例での失敗の要因と説明。このように特定の機会に流入してくる顧客のLTVを予測するニーズは高く、予測を外したときに事業に与えるインパクトが大きいことがわかった。

このように重要な事業判断の要素となるLTVだが、これまでどのような課題があったのか? まずLTV予測では、インストール時期ごとにプレイヤーの熱量やゲームの仕様が異なるため、インストール時期を起点に算出していた。また、顧客生涯価値としながらも一律に比較するために180日など一定の期間で区切っていた。以下がその具体的な手順。

このように、180日LTVを予測したい場合、まずは月ごとに登録したプレイヤーのLTVの平均値、現在が8月だとしたら最も最近のゲーム仕様のLTVを参照したいためまずは、3月~6月のプレイヤーのデータを実績として算出していた。ここで気づくのが、どの期間のプレイヤーも180日間遊んでいない点。これはこの後をどう予測するのか?

「従来は過去の30日LTV実績を、180日LTV相当に伸ばす作業がまず必要だった」(石川)そうだ。

最後にCM対象月と近い条件の月などからCM時の予測LTVとして出していた。この予測された180日LTVを1年以上経過した後に、本当の実績と比較しながら、予測手法について振り返ることになる。

では、なぜこのような予測方法なのか? 実はそこがLTV予測の難しさを表していた。

ゲーム事業ではプレイヤーの平均像というのもがなく、石川は「過去の実績を元に未来を予測する際、未来のプレイヤーが過去と同じであればもっと色々な方法があるが、過去と異なる可能性が非常に高い」と語る。また、ゲーム側もその内容が変わってくる場合もある。

「運用計画はあっても、実現の程度がよくわからなかったり、臨機応変な運用をするために未来の情報はないと考えて良い状態。そういったものを考慮項目としているが、プレイヤーもゲームコンテンツも変わる中で、さらに金曜日や年末に入ったプレイヤーはじっくり遊んでくれそうといった、時期に関連した考慮項目が過去の手法では区別できていなかった」(石川)。それがLTV予測の本質的な難しさになっているのこと。

続いて石川は、予測の改善サイクルについて紹介。実は予測LTVについて、DeNAで過去に何度かプロジェクトが立ち上がっていたそうで、対策してきた中で周辺の課題自体は見えていたという。



1つ目の課題は恣意性。実はトータルで過去の色々なCMを振り返ってみたとき、「予測LTVがなぜか高く見積もられる傾向があった」と石川。「先程話にあった年末や金曜日のLTVが高いというトレンドを考慮項目としながらも、実はわからないと言われていた運用項目や、運用予定の希望的観測も予測に含まれがちになるのが原因だった」と続けた。

このような定義できない考慮項目を選択するしかない手順が課題としてあり、LTVの見積もりが高くなってしまう傾向は判断を見誤ることにつながるため、恣意性を排除する必要がある。



次の課題は予測モデル更新の負荷。これまで伸び率を算出する方法として累乗近似などのモデルが用いられていたが、係数はフィッティングした後もしばらくは使えるが半年後、1年後になると段々外れてきてレガシー化してくるため予測モデルの再開発、再フィッティングが必要だがそれが大きな負担となっていた。



3つ目の課題は、予実評価の難しさ。予測LTVは担当者に依頼しないと手に入らなかったが、実績が出るのが半年~1年後のため、その間に予測担当者が異動や退職する場合もあり、過去のサンプリ期間や考慮項目、予測モデルのバージョンの組み合わせがわからなくなることが頻繁にあった。

そして石川は、これらの課題を1つ1つ解決していった。

まず、予測LTV作成に恣意性が入り得るという課題については、サンプリング期間、考慮項目(トレンドと周期)を固定し、まずどこかの月を選ぶという作業をしないこと、すべての数字、データを使うことに決めたという。それから考慮する項目についても予測で使う項目は限定し、考慮の難しい顧客の傾向やゲーム内施策を選択しなくて済むようにしたとのこと。

この2点を決めたうえで予測改善プロジェクトを立ち上げ、データサイエンティストとチームを組んで、ほかの業務を進めながら2ヶ月でプロジェクトを完成。石川はその過程について触れ、Prophetという既存の時系列取得モデルについて紹介した。

Prophetはpythonで利用できる簡単なライブラリ。ライブラリ側でモデルの学習が行われ、学習したモデルが将来のLTV予測値を出力。これにより実際に恣意性を排除した予測を完成させた。

予測モデル更新の運用が手間という課題については、MLモデル on VM+Jenkinsで「モデルの更新+推論」を自動化して解決。予測モデルのタスクは開発(Prophetというモデルを選定、検証解釈する)、更新(Ptophetのモデルを学習する、またはしなおす)、適用(学習済みモデルで実際の予測をする)の3つに分類されている。

これにより、過去の累乗近似では更新が面倒だったが、Prophetで時系列予測に置き換えたことで更新、適用が高速化され、毎朝最新の予測を算出できるなど完全な自動化に成功した。

3つ目の予測LTV提供に時間がかかる予測と実績の評価ができないという課題については、BIツールで最新の予測結果を提供、過去の予測と実績も一括で提供でき、改善・効率化された。

最後に石川は、「過去のプロジェクトが抱えた課題を解決し、これにより客観性が担保され、安定的に利便性高く予測を提供できるようになった」と第一部をまとめ、全社的なクラウド移行が予定されていることなど、今後の展望について紹介した。

後編へ続く
【後編】DeNAゲーム事業におけるデータエンジニアの貢献……客観性を担保したLTV予測やBigQuery運用におけるコスト最適化、そしてMLOpsへの挑戦

セッション時の投影資料はこちら

※本記事は2019年2月時点の情報です。
※本記事は、SocialGameinfoに掲載された内容を一部構成を変更して掲載しています。

[su_note note_color=”#ffffff” radius=”10″]

GeNOM(ゲノム)とは

DeNAのゲームクリエイターを様々な切り口で紹介するメディア(運営:株式会社ディー・エヌ・エー)です。ゲーム開発の現場で生まれる様々なエピソードや、クリエイター紹介、イベント紹介などを通して、DeNAで働くメンバーの”ありのまま”をお伝えしていきます。

GeNOMの最新情報は、公式Twitter アカウントにて確認いただけます。ぜひフォローをお願いします!

[/su_note]