ゆるかわの日記

暮らしに役立つかもしれないことを書きます

2022-01-01から1年間の記事一覧

ITコンサルタントのためのデータエンジニアリング入門 1

ITコンサルタントの仕事をするうえで、改めてデータをどう取り扱っていくのか、下記の記事に触発されて書いてみました。 プログラマーのための原則(2 万字) - Qiita なかなか、ざっくりとした内容なのでこういう視点で考えている、という目安ぐらいにして…

バドミントン

週末の日曜日。たまにはのんびり過ごしたいと思って部屋に閉じこもっていると、妻がガラッとふすまを開けて入ってきた。何事かと思ったら、何度も呼んでいるのに反応がないと怒っていた。集中したいのは分かるけれど、ただでさえよく聞こえないのに、ふすま…

データ活用:コードを書いて定義をする

0. 要旨 1. きっかけ:セルフBIによるデータの民主化の先を考えた BIツールでの分析 セルフBIでデータの民主化 組み合わせのプロを目指す? セルフゆえに他の人まで配慮が難しい データの組み合わせはデータ基盤で セルフBIの先で必要なもの 2. 過去からの振…

命名規約やデータに関する情報とか

コードの可読性 code-readability engineering.linecorp.com engineering.linecorp.com engineering.linecorp.com engineering.linecorp.com engineering.linecorp.com 初心者プログラマーのための英語命名法 qiita.com GitLabチームハンドブック about.gitl…

Databricksや一般的なデータ環境の構成要素をまとめてみた

Databricksのことを調べつつ、構成しているものって何?とか思いながら、まとめてみました。 背景・経緯 Databricks Components データ環境の構成要素 背景・経緯 昨年までGoogle CloudでBigQueryを中心にデータ分析基盤を扱っていた 単純な、Storage(デー…

PowerShellでsqlファイルをinclude

PowerShellでsqlファイルをimport $testCaseFilePath = "./unique.sql" $testCaseFile = (Get-Content $testCaseFilePath) -as [string[]] $targetModelFilePath = "./target_model.sql" $targetModelFile = (Get-Content $targetModelFilePath) -as [string…

dbt覚書

dbtについての覚書 ** 元の記事は、githubに置いてます github.com 確認したバージョン % dbt --version Core: - installed: 1.2.0 - latest: 1.2.0 - Up to date! Plugins: - bigquery: 1.2.0 - Up to date! 1. dbt CLI 1.1. インストール 1.2. ざっくりと…

最速データガバナンス

前提条件 まだ全社のデータガバナンスの部門や担当がいない状態 1. ステークホルダの特定 1-1. 組織情報を探す 1-2. 各事業部門を特定する 1-3. データエンジニアリング部門を特定する 1-4. 情報セキュリティ部門を特定する 1-5. 各事業部の横断し、全体の統…

長崎県五島・小値賀島への気ままな旅行(準備)

2022年6月に2泊3日で旅行に行くことにした。 昨年も緊急事態宣言の間隙を縫って、JALのどこでもマイルを使って宮崎にサーフィンに行ったが、今回もどこでもマイルを使う。宮崎、長崎、那覇、鹿児島と候補が挙がった中、今回は長崎に決まった。どこに行くにし…

ドキュメントスタイル・ガイドライン

本書の概要 本書の目的 目的別ガイドライン 【1】ドキュメントの作成 【2】ドキュメントの管理・閲覧 【3】ドキュメントの閲覧・理解 【4】ドキュメントの検索 【5】ドキュメントの比較・更新・削除 本書の概要 ・ドキュメントに関わる課題を、目的に応じて…