こんにちは。サーバサイドエンジニアの村田です。
2023年7月14日に開催された freeeさん主催の技術イベント「freee Tech Night」に参加してきましたので、ご報告します！
freee Tech Night とは
今回参加させていただいた「freee Tech Night」というイベントは freee株式会社さん主催の技術イベントで、freeeさんがクラウド会計・人事労務ソフトを開発する中で得られた経験や成果を共有する場として、定期的に開催されているイベントになっています。
他の会社のエンジニアを招いての開催も多く、今回は機会をいただきまして、弊社と一緒に開催させていただく運びとなりました。
当日の様子
freeeさんとセーフィーそれぞれ2名ずつエンジニアが参加し、パネルディスカッション形式で進行していきました。セーフィーからは自分と同じくサーバサイドのエンジニアでテックリードでもある 鈴木敦志 さんが参加しました。
イベントはオフライン開催でしたが、YouTube liveで配信もされておりオンラインでの参加もできるようになっていました。本格的なスタジオ設備がオフィス内にあってびっくりしました。
今回のイベントのテーマは「巨大なデータとの向き合い方」ということで、 freeeさんとセーフィーの双方で、どういったデータを扱っているか、データの規模、巨大なデータを扱う上での苦労や工夫などをお互いに話していきました。
セーフィー側からは、まず扱うデータとしては映像データが常時入ってきており、大量にあること。また映像データだけでなく解析データも非常に量が多い点についてお話させていただきました。
実際のデータ量についても具体的にご紹介させていただきました。セーフィーでは1日に約900TBの映像データが入ってきており、それが契約プランに応じた期間（7日 ~ 1年) 保存され、トータルで約23PB程度の映像データがあること、また解析データは一日約1億件が溜まっていっています。
これらの巨大なデータを扱う上で工夫している点として、まずインフラ側の構成についてご紹介させていただきました。セーフィーでは一定カメラ台数（約13000台程度）ごとにそれを処理するためのインフラ構成（ネットワーク、DB、redis、サーバ類）一式を新たに用意する水平分割の構成をとっており、それによりインフラ側の負荷を抑えられるようにしています。
また、DBクエリ周りの工夫点としては、MySQLは削除が遅いため論理削除 + 非同期バッチで削除するパターンをよく使っている点などについてご紹介させていただきました。
freeeさんの方からは、会計データを大量に扱っていることや確定申告や決算申告のタイミングで負荷高くなること、対策として地道なクエリチューニングや読み込み系のクエリをreaderに向けるようにすることによるwriterの負荷軽減の取り組みなどをについて、ご紹介いただきました。
短い時間ではありましたが、お互いに実際に扱っているデータの性質や規模感、取り組みについてかなり具体的に共有することができました。
他にもドメインのキャッチアップ方法など、いろんなお話をしたのですが、ここには書ききれないので、詳しい内容はyoutube live配信のアーカイブを見てみてください！
感想
こういったイベントに出演するのは初めてだったのでとにかく緊張しましたが、とても学びある時間になり、良い経験となりました。終了後の懇親会では、いろんな方とお話できたのも楽しく、オフラインイベントにはこういった人と直接会話する楽しさがあるのが良いなと感じました。
イベントの運営について、freeeのエンジニアの方にお話を伺ったところ、もともと現場のエンジニア呼びかけから始まったイベントで、運営も自分達でやられているとのことで、自分達自身で技術発信の文化を作っていっているところがとても素晴らしいなと感じました。
またこういうイベントがあれば積極的に参加したいと思います！
