寝ても覚めてもこんぴうた

プログラム書いたり、ネットワーク設計したり、サーバ構築したり、車いじったり、ゲームしたり。そんなひとにわたしはなりたい。 投げ銭は kyash_id : chidakiyo マデ

Bigquery

GCP でアプリケーションのログや特定の値をいい感じに BigQuery にエクスポートしたい

アプリケーションを実装していて、ログをかっちり決めたカラムに挿入したい、や、 難しい API を利用せずに BQ に特定のデータを挿入したいという場合ありますよね。 普通にやると、BigQuery の API を経由し、ストリーミングインサートするなどちょっとひと…

BQMLのサンプルのqueryitを触ってみた

query-itってなに? Groovenautsさんが作った、BQMLのサンプルアプリケーション ソースコードもろもろは多分 こちら こちらのURL からアクセスできたのでメモがてら記事を残します。 使い方 URLでアクセス http://queryit.magellanic-clouds.com/ にアクセス…

BigQueryのStandardSQLで日付(date, datetime, timestamp)を変換する方法

BigQueryで日付周りの操作が意外とややこしかったりするので、普段使いそうな操作をまとめます。 日付を日本時間に変換する BQ内の日付データは世界中から利用することを想定し UTC で登録されているため、日本時間(JST)と比較すると9時間ずれます。 その…

Bigquery (Legacy SQL) でUTC→JST変換するクエリ

BigqueryにはUTCで値が入っているので、JSTに変換して取得する際によく忘れるので備忘。 時分秒まで取得したい場合 STRFTIME_UTC_USEC(TIMESTAMP_TO_USEC(p.createdAt) + 32400000000, "%Y/%m/%d %H:%M:%S") 日付でGroup byなどする場合 STRFTIME_UTC_USEC(T…