Googleデータポータルのレポートを作るのに必要なこと
こんにちは。最近、Googleデータポータルを作る作業ってどんな感じ？という相談がありました。作る工程と、その時事前に必要な要素ってあるよなーと思いながら、自分なりにまとめてみました。
このように考えていけば、見積もりがやりやすくなりますので、ご参考まで。
Googleデータポータルのレポートを作るのに必要なこと
1. Why（なぜ作る？）
データポータルを使って解決したい課題
例）
- 日々のKPIの把握
売上、収益、経理、顧客状況、社内状況
- KPIの報告・共有
- ARPUの分析・予測
- 顧客導線の可視化
（PV・UU・CT・imp・CV）
- 業務プロセスの可視化
- 異常値の通知や発見
- 顧客対象者の抽出・モデル作成
2. What（作るものって何？）
利用したいデータポータルの機能
例）
- ダッシュボード
（WEBからデータを把握する）
- レポートメール配信
（メールなどで定期的にレポートを配信する）
- インサイト分析
（データの対象や範囲を指定して、比較する）
- ターゲット抽出
（データの対象をリストにしてダウンロードする）
- リアルタイムモニタリング
（WEBアクセスや現在の売上など、リアルタイムでデータを確認する）
3. How（どうやって作る？）
データポータルの構築に必要な要素
データソース接続
例
- Kintoneアプリ 20項目 × 10万レコード × ５アプリ
レポート作成
例
- 集計ラベル 3個 表 ２種 棒グラフ ２種 複合グラフ １種
メール配信・アクセス権限等
例
- 配信先数 4件
- 権限種別 ２グループ
サポート
- 事前ヒアリング
- 例：30分×2回
- 作成物レビュー
- 例：15分×2回
- 事後サポート
- 例：合計30分（回数指定無し）
サンプルのケース
- 日々のKPI（売上）の把握のために、ダッシュボードとレポートメール配信する
合計時間：120分
内訳
データソース接続：15分
- Kintone（データポータルのコネクタあり）
- 売上アプリ
- 売上日 顧客分類 顧客名 商品分類 商品名 売上額 原価率
レポート作成：30分
- 集計ラベル 3つ
当月売上額（前月比）
当月売上顧客数（前月比）
当月収益額（前月比）
- 折線グラフ 3つ
当月売上額推移（前月比）
当月売上顧客数推移（前月比）
当月収益推移（前月比）
メール配信・アクセス権限等：15分
- レポート配信先：1件15分
サポート：60分
- 事前ヒアリング：15分×2回
- 作成物レビュー：15分×1回
- 事後サポート：15分
データ分析基盤の構築（Google Cloudの場合）
前回はデータ分析環境について、様々なプラットフォームやサービスをまとめてみました。
今回はその中でGoogleのプラットフォームである「Google Cloud」とそれ以外のGoogleのサービスを使って、どんな感じで環境を構築するか、一例をまとめてみます。
- Google Cloud
Google Cloud
DWH / DM / DataLake
BigQuery
BI / Presentation
Looker
データポータル
DataCatalog / RevisionControl
Data Catalog
ETL / ELT
Cloud Data Fusion
Dataflow
BigQuery Data Transfer Service
Cloud Data Transfer Service
Prepalation
DataPrep
Cloud Functions
ObjectStorage
Cloud Storage
AI / ML
BigQuery ML
Auto ML
AI Platform Notebooks
AI Platform
AutoML Tables
API / DataHub
Cloud APIs
Apigee
Security
Cloud Identity
IAM
VPC Service Controls
Cloud Monitaoring
Data Loss Prevention
その他のサービス
Google Analytics
Google Workspace
データ分析基盤ことはじめ
データ分析基盤を作る最近のトレンドを自分なりにまとめてみます。荒削りですが、あとで追記するかも。
背景・経緯
- DXやデジタル推進、コロナ渦の環境変化で変化が更に求められている
- ハイブリッドクラウド、マルチクラウドなどシームレスが当たり前になっている
- ノーコード、シビックテックなどがDevOppsをより進め、フルマネージドサービスの上で開発のハードルが下がっている
構成要素
Cloud
オンプレやパブリッククラウド、プライベートクラウド、ハイブリッドクラウド、マルチクラウド。境界線を設けたり、跨いだり、マルチリージョンであることでBCPにも。
Orchestration
クラウドが複数あればそれを一括で管理する仕組みが必要。特に異なるベンダーを跨いでできるのがベンダーロックを防ぐことに。
BI / Presentation
BIの歴史は第1世代、第2世代セルフ型、第3世代DWH統合型と地味に変化。ダッシュボードやレポート、メトリクス、アラートなどUIUXの視点でより高度化とスピード化が行われている。
第1世代トラディッショナル型
- MicroStrategy
第2世代セルフ型
- Tableau（Tableau社/SalesForce社）
- データポータル（Google社）
第3世代DWH統合型
- Looker（Google社）
- 参考:BIツール大全 BIツールの歴史
- https://speakerdeck.com/shomaekawa/bituruda-quan-biturufalseli-shi
DataCatalog / RevisionControl
メタデータを管理するのは仕組み化をしないと手作業は難しく、データを入れる、データを取得するそれぞれの処理で生まれたメタデータを整理し、可視化する。またコードによる統治で一貫性を効率的に行う世代管理の仕組みも重要である。
- Google DataCatalog
- git
DWH / DM / DataLake
従来からのデータ基盤。ただし定型、非定型なデータ、構造化、非構造化なデータも扱う必要がある。もちろんスケールやリアルタイム性も重要であり、データベースの特性を把握する必要があるが、フルマネージドであることが望ましい。他のDWHやObjectStorageなど外部データも同時にクエリを流すことも。
ETL/ELT
データソースを取得(Extract)、使いやすく変換(Transform)、DWHに入れる(Load)を行う一連の処理。今はリソースもコストが安いので、入れたあとに変換することも増えている。DWHでなくてもObjectStorage上で行われることも。
https://www.talend.com/jp/resources/elt-vs-etl/
Prepalation
データの変換加工、クレンジングなどの処理をETLより専門的に行う。BIの観点からDMを作る視点で分析者が使えたり、AIがデータの傾向を掴み、提案を行うことも。
- google dataprep
- tablue prep
- teradata
ObjectStorage
データをオブジェクト、ファイルとして保管する。メタデータも同時に持ちリネージュも把握する。DataRakeとして機能することも。
AI / ML
データサイエンティストがPythonで行う環境からノーコードでモデルを作るもの、分析者が拡張されたSQLて書くといったものも。
API / DataHub
データの入出力やデータから作成したモデルを利用するための仕組みが必要。予めハブになることを想定したサービスもある。
Security
データ流出防止や秘匿化、アカウントやログの監視、検出などの仕組みが必要。それ自体をデータとして、モニタできるのが重要。
2021年3月の進捗状況
今日は雨がしとしとと降っています。
いつもなら自転車なんですが、バスなのでたまにはブログを更新しようと思います。
３ヶ月目のふりかえり
昨年は貧血で入院し、このコロナ渦で関係なくご迷惑おかけしましたが、改めて新しいことをやっていきたいと、下記の3つのことをやってきました。
・社労士の勉強
人事といった仕事に興味があり、より働きやすい環境を作る仕事に携わりたいのですがなかなか進まず。それならと労務の知識を身につけようと、社労士を学ぶことに。
・英語の勉強
多様性のある働き方をしたい、海外で暮らしたい、海外の映画を字幕無しでみたい、そもそもコンテキストが低い自分は外国語のコミュニケーションがあうのではないかと。
・体力強化の運動
やはり体調管理とメンタルを保つために何か運動を行おうと。
というように昨年末思ったのですが、それが今年の３ヶ月目でどこまで進捗したのか、振り返ってみたいと思います。またついでに他に新たに始めたことも最後に書き出します。
社労士の勉強
関係法令をGoogleドキュメントにまとめる
まずは法律を押さえようと、ネットで調べて、コピペでまとめていきました。そこで気づいたのは、なんて読みにくいのかというのと、なんでこんなに長くて多いのかということ。法だけじゃなく、省令なども含めると膨大な量に。せっせとコピペしては見出しをつけるというのを繰り返しましたがなかなかの重労働でした。単純作業は飽きますね。
ユーキャンのテキスト2020年度を勉強
法令をより効率的に学ぼうとテキストにも手を出しました。ただテキストも安くはないので一年前の型落ちの2020年度版をブックオフで購入。もちろん最新の法令は重要ですが、それでも基本を学ぶには十分かと思います。
01_労働基準法、02_労働安全衛生法、03_労働者災害補償保険法の途中まで進めました。1日1ステップで最初は進んだのですが、仕事と他の勉強も進めていくと途中で段々と優先順位が下がっていき、進みが遅くなりました。特に保険の計算の話など実務で必要な部分は興味とは異なるので頭に全く入らず。
問題集アプリを使ってみる
法令を読むだけだと良くないと、テキストとは別に問題集アプリを試してみました。課金はせずに無料でどこまでやれるのか、実際は解説が少ないか、解説はあっても問題が少ないかなど様々です。
ただ勉強するならアプリはあってもいいなとは思ったのですが、そもそも一回理解した上での確認に使ったほうがいいのは間違いないので、素直にテキストの勉強に戻りました。
通信教育の検討やYoutube動画、ネットの記事を読む
ユーキャンの通信教育の資料を取り寄せたり、大原などが公開しているYoutubeの動画を見たり、社労士対策のウェブを見たりもしました。結論としてはテキストを読むこととそんなに相違は無いかなと、通信教育などもやはりお金がそれなりにかかるので、今はまだそこまでとい気がしています。
英語の勉強
オンライン英会話
結論から言うと継続してやるにはサポートがどうしても必要と思っています。とても自分に甘いのは重々承知ですが、コミュニケーションもしたいというのもあり、オンライン英会話を試して見ることに。DMM英会話とかも試してみましたが、1番しっくりきたレアジョブを続けることに。ただオンラインだと安いといっても自分のおこづかいではそれなりの出費なので初月がやすくなりながらも３ヶ月は頑張ろうと始めました。毎日25分ですがあまりサボることもなく今日まで続いています。
ただ予習・復習を同じぐらいしないと身につかないのと、少しづつ難しくなること、最初は恥ずかしさでなかなか喋れないのが大変でした。
Youtubeのスティーブジョブズの講演、Ted、NHKの英語ニュースpodcast
圧倒的にリスニングが苦手というのは間違いなく、少しずつですが聞く練習を始めました。色々な音声を聞いていて思ったのは講演のような比較的分かりやすい表現のもの、自分が興味や知識があるものから聞くのが耳には入りやすいです。
体力強化の運動
健保のウォーキングラリー
元々はドラクエウォークをしていましたが、それよりも純粋に歩数を稼ぐという健保が毎年行っているウォーキングラリーに参加しました。期間限定なのでその期間内は盛り上がるのですが、ラリーが終了してしまうとぐっとモチベーションが下がるのでなかなか残念です。2020年も良いランキングを出すことが出来、満足です。
自治体のスポーツジム
会社でもジムに通っている人が多く、自分もやりたかったのですが、お金がかかるのが気になり手つかずに。そうしたら自治体のスポーツジムが一回200円とリーズナブルだったので試してみることに。コロナ渦でなかなか人数制限も厳しく利用もあまり出来ませんがそれでも休みの日は必ず行っています。するとあんなに貧弱だった僕の体も少しずつですが筋肉を意識するように。腕回りが太くなったり、腹筋やふとももが引き締まってくると嬉しいですね。ただ人の筋肉が気になるようになるのは弊害ですね。めっちゃ筋肉が気になる。
自転車通勤
あわせてサテライトオフィスが使えるようになったので、自転車通勤もはじめてみました。片道40分軽い勾配もありつつ結構や運動量になります。着替えが必要だったり雨の日が出来なかったり、交通事故には注意が必要です。元々自転車は好きだったので楽しいのは間違いなく、ママチャリでも十分ですが、そろそろ自分の自転車が欲しいです。
新しくはじめたこと
・グロービスの学び放題
会社から利用していいよと言われてやってみました。頑張ったせいか、全部のコンテンツを一通り学びました。ただ必要なものは振り返るほうが絶対いいとは思います。
・社会人向けの大学院大学の説明会や体験
都立の大学院大学や社会人大学など資料を貰ったり、オンラインの説明会に参加しました。職業訓練支援の給付金が使えるものもあり、やりたいことがあれば考えてもいいかなと。それでも高いですが。
・ちょっとしたプログラミング
スクリプト言語を少しずつ仕事でもプライベートでも書いたりし始めました。ちゃんとgitも使いたいし、ネットに記事を書くのもやりたい。
・オンラインセミナー
テック系がほとんどですが、オンラインセミナーも色々と参加しています。ただながらで参加しても頭に入らないのは分かってきたので、集中して聞かないといけないです。
というわけで結構頑張っていので、これをまたこれからも続けていければいいなあと思っております！
社労士の勉強を始めます
すっかり寒くなった11月中旬ですが、そろそろ新しいことを始めようと思いまして、社労士の資格取得を目指して勉強でもしてみようかと思っております。
自分は普段から「働く人のエンパワーメント！」をモチベーションにしています。なので社労士の資格が自分には活かされるのではと思ったわけです。ちょっと違うかもしれないけどね。
それと、労働関係の法令には昔から興味関心があったので抵抗もあまりなく、じゃあ頑張ってみようかなと思ったわけです。
今から、来年の試験をターゲットに少しずつ勉強していきます。まずはどんな内容を勉強すれば良いのか、ユーキャンの資格紹介の記事を読むとみました。
社労士の試験の範囲は、以下の10分野とのこと。
- 「労働基準法」
- 「労働安全衛生法」
- 「労働者災害補償保険法」
- 「雇用保険法」
- 「労働保険徴収法」
- 「労務管理その他の労働に関する一般常識」
- 「社会保険に関する一般常識」
- 「健康保険法」
- 「厚生年金保険法」
- 「国民年金法」
ユーキャンより
なるほど、問題アプリとかもダウンロードしましたが、ともあれ法律を読むところからはじめても良さそうです。頑張れ自分！
傾聴 2.0
みなさま、GWのひととき、いかがお過ごしでしょうか。自分はダラダラしていて何にも生産性がありません。そんな中でごろごろとスマホ片手にいろんなブログを読んでいたら、自分も何かエントリー書きたいなあ、◯◯2.0みたいなやつ。と思ったのでエイやと勢いで書いてみました。
なんで傾聴が流行るの？
多様な社会では、色々な人がいて、それぞれが自身の価値観があったりするわけなので、何か一つ正しいとかそんなことはやっぱり無いわけです。そうなると、相手の価値観をどう受け止めるか、それが傾聴って大事。という風潮になるのかなと思います。聞くしか無いよね、というある意味あきらめた感じ。
聞くだけで何も解決しなくない？
聞くだけだと、やっぱり何も解決しないと思います。それでも聞いてもらうだけでスッキリする人もいるので、それはそれで良いのですが、やっぱり解決できた方が良いですよね。
相手を動かす
で、解決って何かというと、「相手が動く」ための働きかけができることだと思います。結局やる気が無いとか、何にモチベーションを感じれば良いのかとか、「動き出す」ことこそが解決に一番必要な要素なので、相手に動いてもらえるように働きかけたい。
傾聴の手順
そこで、傾聴をもっとアグレッシブに攻めていくために、段階的に働きかけをしていきます。順番にざっくりとですが書いてみます。
1 聞く・聞かない
相手の言葉や表情、身振り手振り、あらゆる情報をインプットする
雑談する、1on1を設定する、毎朝プチ報告会とか
2 知る・知らない
既知のこと、未知のこと、あらゆることを些細なことまで、知り尽くす
質問する、漏れなく確認する、絞り出したあとにさらにもう一絞り
3 残す・残さない
タイプで手書きで映像で音声で記録や記憶でその人から切り離して保存できると良い
議事メモとったり、ホワイトボード使ったり、グラフィックレコーディングとかも良い
4 繋ぐ・繋がない
様々な情報を関連づける、組み合わせる、差分を出す、比較し繋いでいく
言葉の定義や意味を確認したり、相関や因果関係、違いを出してみたり
5 拡げる・拡げない
有るものをないものに拡げてみる、誇張し、スケールや視点を変えて、ネットワークを拡げる
検索して深掘り、または他の人に聞きに行ったり
6 感じる・感じない
情報から何か心動くものがないか確かめる、声に出してみる、体験してみる
デモだったり、エチュードだったり、ロールプレイやペルソナやカスタマージャーニーだったり、プロトタイプを作ったり
7 約束する・約束しない
感じたことを自身の次のアクションにできるか、できるのならそれを約束する
小さな約束から始めて、今できること、1時間以内に出来ること、今日できることみたいに徐々に大きくなっていく感じ
状態の把握
項目を「できた」・「できてない」の状態で可視化しています。順番通りにやったときにまだこの段階では「できていない」状態だなと確認しやすいかなと。GW明けは、仕事でこれを意識して取り組んでいきたいと個人的な目標にします。