tetsuwan blog

鉄ワン(@tetsuwan30)の気ままなブログ

ITコンサルタントのためのデータエンジニアリング入門 1

ITコンサルタントの仕事をするうえで、改めてデータをどう取り扱っていくのか、下記の記事に触発されて書いてみました。 プログラマーのための原則(2 万字) - Qiita なかなか、ざっくりとした内容なのでこういう視点で考えている、という目安ぐらいにして…

バドミントン

週末の日曜日。たまにはのんびり過ごしたいと思って部屋に閉じこもっていると、妻がガラッとふすまを開けて入ってきた。何事かと思ったら、何度も呼んでいるのに反応がないと怒っていた。集中したいのは分かるけれど、ただでさえよく聞こえないのに、ふすま…

データ活用:コードを書いて定義をする

0. 要旨 1. きっかけ:セルフBIによるデータの民主化の先を考えた BIツールでの分析 セルフBIでデータの民主化 組み合わせのプロを目指す? セルフゆえに他の人まで配慮が難しい データの組み合わせはデータ基盤で セルフBIの先で必要なもの 2. 過去からの振…

命名規約やデータに関する情報とか

コードの可読性 code-readability engineering.linecorp.com engineering.linecorp.com engineering.linecorp.com engineering.linecorp.com engineering.linecorp.com 初心者プログラマーのための英語命名法 qiita.com GitLabチームハンドブック about.gitl…

Databricksや一般的なデータ環境の構成要素をまとめてみた

Databricksのことを調べつつ、構成しているものって何?とか思いながら、まとめてみました。 背景・経緯 Databricks Components データ環境の構成要素 背景・経緯 昨年までGoogle CloudでBigQueryを中心にデータ分析基盤を扱っていた 単純な、Storage(デー…

PowerShellでsqlファイルをinclude

PowerShellでsqlファイルをimport $testCaseFilePath = "./unique.sql" $testCaseFile = (Get-Content $testCaseFilePath) -as [string[]] $targetModelFilePath = "./target_model.sql" $targetModelFile = (Get-Content $targetModelFilePath) -as [string…

dbt覚書

dbtについての覚書 ** 元の記事は、githubに置いてます github.com 確認したバージョン % dbt --version Core: - installed: 1.2.0 - latest: 1.2.0 - Up to date! Plugins: - bigquery: 1.2.0 - Up to date! 1. dbt CLI 1.1. インストール 1.2. ざっくりと…

最速データガバナンス

前提条件 まだ全社のデータガバナンスの部門や担当がいない状態 1. ステークホルダの特定 1-1. 組織情報を探す 1-2. 各事業部門を特定する 1-3. データエンジニアリング部門を特定する 1-4. 情報セキュリティ部門を特定する 1-5. 各事業部の横断し、全体の統…

長崎県五島・小値賀島への気ままな旅行(準備)

2022年6月に2泊3日で旅行に行くことにした。 昨年も緊急事態宣言の間隙を縫って、JALのどこでもマイルを使って宮崎にサーフィンに行ったが、今回もどこでもマイルを使う。宮崎、長崎、那覇、鹿児島と候補が挙がった中、今回は長崎に決まった。どこに行くにし…

ドキュメントスタイル・ガイドライン

本書の概要 本書の目的 目的別ガイドライン 【1】ドキュメントの作成 【2】ドキュメントの管理・閲覧 【3】ドキュメントの閲覧・理解 【4】ドキュメントの検索 【5】ドキュメントの比較・更新・削除 本書の概要 ・ドキュメントに関わる課題を、目的に応じて…

Google Adminでプライマリドメインを新しい別のドメインに変更する

Google CloudやGoogle Workspaceを使う時に、ドメインをまず最初に登録するのですが、 そのドメインを急遽変更しなければならない、という事態が発生しました。 そこで、Googleのドキュメントを見ながら対応していきました。 support.google.com 1_ドメイン…

Googleデータポータルのレポートを作るのに必要なこと

こんにちは。最近、Googleデータポータルを作る作業ってどんな感じ?という相談がありました。作る工程と、その時事前に必要な要素ってあるよなーと思いながら、自分なりにまとめてみました。 このように考えていけば、見積もりがやりやすくなりますので、ご…

データ分析基盤の構築(Google Cloudの場合)

前回はデータ分析環境について、様々なプラットフォームやサービスをまとめてみました。 tetsuwan30.hatenablog.com 今回はその中でGoogleのプラットフォームである「Google Cloud」とそれ以外のGoogleのサービスを使って、どんな感じで環境を構築するか、一…

データ分析基盤ことはじめ

データ分析基盤を作る最近のトレンドを自分なりにまとめてみます。荒削りですが、あとで追記するかも。 背景・経緯 構成要素 Cloud Orchestration BI / Presentation DataCatalog / RevisionControl DWH / DM / DataLake ETL/ELT Prepalation ObjectStorage …

2021年3月の進捗状況

今日は雨がしとしとと降っています。 いつもなら自転車なんですが、バスなのでたまにはブログを更新しようと思います。 3ヶ月目のふりかえり 昨年は貧血で入院し、このコロナ渦で関係なくご迷惑おかけしましたが、改めて新しいことをやっていきたいと、下記…

社労士の勉強を始めます

すっかり寒くなった11月中旬ですが、そろそろ新しいことを始めようと思いまして、社労士の資格取得を目指して勉強でもしてみようかと思っております。 自分は普段から「働く人のエンパワーメント!」をモチベーションにしています。なので社労士の資格が自分…

傾聴 2.0

みなさま、GWのひととき、いかがお過ごしでしょうか。自分はダラダラしていて何にも生産性がありません。そんな中でごろごろとスマホ片手にいろんなブログを読んでいたら、自分も何かエントリー書きたいなあ、◯◯2.0みたいなやつ。と思ったのでエイやと勢いで…

子どものPC(Debian)を2段階認証にした

子どもにPCを貸出ししているのですが、いつかPWがバレたりとか、自分で打ち込むのもめんどくさいなと思い、2段階認証を導入してみました。 ワンタイムパスワードとかotpなどのキーワードで検索しても望んだサイトに行かなかったので苦戦しましたが、結果的に…

公開社内恋愛

みんな知っていた。二人が付き合っていることを。正確には一人だけ分かっていない男性社員がいたが、そいつはとにかく鈍感であからさまなのに気づいていなかったのだが、とは言え、それ以外のみんなは気づいていた。 鈍いといえば、当事者である二人も鈍い。…

夕焼け発電

原子力が初めから危険だと思われてなかったように、夕焼け発電も純粋な技術革新だと思われていた。それでも一部の人間は勘付いていたかもしれない。キュリー夫人の生涯や、デーモンズコアのような悲劇。多分おそらく同じことが起きるのではと。 人類は夕焼け…

夫婦を養う

振り込まれた通帳を見ながら思わずため息をつく。そんなにないなあ、今月もこの金額でどうにかしなきゃとヨシキは思った。家に帰る途中、少し足りない分は何か働かなきゃと、社会貢献者募集のサイトをスマホで見てみる。サユリと家族を持つことになってから…

パンを登る

いつからだろうか。パンを登っている。登れるぐらいだから、とても大きい。まるで入道雲のように空高く大きなパンをよじ登っている。ロッククライミングの要領で、パンに手をかけ足をかけ、上を目指す。 長い時間登り続けるので、腹も減る。ちぎっては食べる…

男性番号

氏名や出身地やありとあらゆる属性で差別が行われてきた我が国。それならいっそのことと、一人一人に意味のない番号を割り当てて、それを呼び合うことにした。男性番号法と呼ばれる法律が国会で成立。本当は女性も同じように番号をつけるはずだったのだが、…

20190110木_魚の目ではない/残念ロシア留学

■魚の目ではない 次男の足の裏にできた魚の目。妻が頑張って治そうとイボコロリをつけてきたのですが、いっぺん病院にと連れていくと、実はウイルス性のイボだったとのこと。その時、なんで早めに連れてこないの?と注意を受ける。なんだか予定を調整して頑…

20190109水_ゴミ出し

■ゴミ出し 年末年始にたまったゴミを少しずつ出しているのですが、今日は朝会社に行く前にカンを捨てることに。アルミとスチールで分別が必要なのは地味に大変。本体と蓋がそれぞれ違う時もあるので目視で表示を確認。

20190108火_書籍を役立てる/次男のストレス

■睡眠不足 ■書籍を役立てる 仕事の資料を作るのに煮詰まって、会社で買った本を紐解く。思っている以上に役立つことが書いてあり大変参考になる。 ■次男のストレス 次男を迎えにいく。 新学期と部活、そろばん教室にいってからの塾でへとへとになっている様…

20180107月_仕事始め/環境を整える/長女の宿題の続き

■仕事始め 長い休みから仕事開始。とても新鮮な気持ち。 ■環境を整える 休みの間に考えて環境の構築。素晴らしい。 ■長女の宿題の続き 英単語200個がまだ終わっていない長女。仕事から帰ってきて付き合うことに。自分が単語20問を選んで、18問正解(9割)な…

20180106日_長女の宿題/ロマンティックロシア@Bunkamura

■長女の宿題 約束の宿題を終わらせないため、娘をBunkamuraに連れて行かないことに。 ■ロマンティックロシア@Bunkamura ロシアの絵画を堪能。すごく美しい作品ばかりでとても心が安らぐ。同じ建物内のご飯もいただく。 ■仕事環境続き vscodeにて作業が捗るよ…

20180105土_俳句部吟行/自治会定例会

■俳句部吟行 次男は朝から横浜に俳句部の吟行に。中華街でご飯を食べてクルーザーに乗ったり、バスで巡ったりと楽しそうな感じ。 ■自治会定例会 今月末にある新春餅つきの打ち合わせ。

20180104金_嫁とお茶/仕事環境/次男とお茶

■嫁とお茶 朝、仕事に行く嫁についてサンマルクカフェでお茶をする。 ■仕事環境 今年の仕事環境をあらかじめ整えようと準備。 ・XMind マインドマップで整理 ・Visual Studio Code 作業環境を整える ・Power Shell コードから各種作業を行えるように ・DB周…