データとは情報を使いやすくしたもの 情報を使いやすくしたもの、がデータです 1. 定性化と定量化で使いやすくする 情報を使いやすくする方法として、定性化と定量化という方法があります 2. 定性化 分類をして、それって〇〇だよねと決めること、が定性化で…

概要 追記（2023/3/30） テーブルの一覧 【1】各テーブルをそれぞれ出力します テーブルを結合する手順 【2】teamsとmembersをつなぎます 【3】teamsとmembersとscoresをつなぎます 【4】scoresとmatchesをつなぎます 【5】teamsとmembersとscoresとmatches…

ITコンサルタントの仕事をするうえで、改めてデータをどう取り扱っていくのか、下記の記事に触発されて書いてみました。 プログラマーのための原則（2 万字） - Qiita なかなか、ざっくりとした内容なのでこういう視点で考えている、という目安ぐらいにして…

0. 要旨 1. きっかけ：セルフBIによるデータの民主化の先を考えた BIツールでの分析 セルフBIでデータの民主化 組み合わせのプロを目指す？ セルフゆえに他の人まで配慮が難しい データの組み合わせはデータ基盤で セルフBIの先で必要なもの 2. 過去からの振…

コードの可読性 code-readability engineering.linecorp.com engineering.linecorp.com engineering.linecorp.com engineering.linecorp.com engineering.linecorp.com 初心者プログラマーのための英語命名法 qiita.com GitLabチームハンドブック about.gitl…

Databricksのことを調べつつ、構成しているものって何？とか思いながら、まとめてみました。 背景・経緯 Databricks Components データ環境の構成要素 背景・経緯 昨年までGoogle CloudでBigQueryを中心にデータ分析基盤を扱っていた 単純な、Storage（デー…

PowerShellでsqlファイルをimport $testCaseFilePath = "./unique.sql" $testCaseFile = (Get-Content $testCaseFilePath) -as [string[]] $targetModelFilePath = "./target_model.sql" $targetModelFile = (Get-Content $targetModelFilePath) -as [string…

dbtについての覚書 ** 元の記事は、githubに置いてます github.com 確認したバージョン % dbt --version Core: - installed: 1.2.0 - latest: 1.2.0 - Up to date! Plugins: - bigquery: 1.2.0 - Up to date! 1. dbt CLI 1.1. インストール 1.2. ざっくりと…

前提条件 まだ全社のデータガバナンスの部門や担当がいない状態 1. ステークホルダの特定 1-1. 組織情報を探す 1-2. 各事業部門を特定する 1-3. データエンジニアリング部門を特定する 1-4. 情報セキュリティ部門を特定する 1-5. 各事業部の横断し、全体の統…

こんにちは。最近、Googleデータポータルを作る作業ってどんな感じ？という相談がありました。作る工程と、その時事前に必要な要素ってあるよなーと思いながら、自分なりにまとめてみました。 このように考えていけば、見積もりがやりやすくなりますので、ご…

前回はデータ分析環境について、様々なプラットフォームやサービスをまとめてみました。 tetsuwan30.hatenablog.com 今回はその中でGoogleのプラットフォームである「Google Cloud」とそれ以外のGoogleのサービスを使って、どんな感じで環境を構築するか、一…

データ分析基盤を作る最近のトレンドを自分なりにまとめてみます。荒削りですが、あとで追記するかも。 背景・経緯 構成要素 Cloud Orchestration BI / Presentation DataCatalog / RevisionControl DWH / DM / DataLake ETL/ELT Prepalation ObjectStorage …