■22/2/26 2:52AM
GCP script
GitHub - GoogleCloudPlatform/professional-services: Common solutions and tools developed by Google Cloud's Professional Services team
■gcloud cmd プロジェクト一覧
gcloud projects list --filter="bangboo OR fucu" --format=jsongcloud projects list --filter="bangboo OR fku" --format=json | grep -oP '(?<="name": ")[^"]*'
■pythonでgcloud cmd, 同期処理の方法（run）と非同期処理の方法（Popen）Pythonからシェルコマンドを実行！subprocessでサブプロセスを実行する方法まとめ | DevelopersIO (classmethod.jp)
--terminalでpython cmd.py python3.7どう？
import json
import subprocess
from subprocess import PIPEp = subprocess.Popen(cmd , shell=True, stdout=subprocess.PIPE)
out, err = p.communicate()
out = json.loads(out)
[Python2.7] subprocess の使い方まとめ - Qiita
python2.7やとちょい違うみたい、pipenvでバージョン管理したい？--terminalでpython cmd.pyimport subprocessfrom subprocess import callcmd = 'gcloud projects list --filter=bangboo --format=json'subprocess.call(cmd, shell=True)
--runでcurl、cmd結果をPIPEで受けたいがimport osimport subprocessfrom subprocess import callfrom flask import Flaskapp = Flask(__name__)
#メソッド省略でGETのみ@app.route("/", methods=["GET","POST"])def hello_world(): name = os.environ.get("NAME", "World") cmd = 'gcloud projects list --filter=bangboo --format=json' output = ' will die' subprocess.call(cmd, shell=True) name = "Hello {}!".format(name) output = name + output return outputif __name__ == "__main__": app.run(debug=True, host="0.0.0.0", port=int(os.environ.get("PORT", 8080)))
■pythonでbigqueryPython Client for Google BigQuery — google-cloud-bigquery documentation (googleapis.dev)BigQuery API Client Libraries | Google CloudGoogle クライアントライブラリ for Python で、BigQuery のデータセットやテーブルなどのメタ情報を取得してみた | DevelopersIO (classmethod.jp)
--bq.py python3 bq.py でteminal実施可能from google.cloud import bigqueryclient = bigquery.Client()QUERY = ( 'SELECT name FROM `bigquery-public-data.usa_names.usa_1910_2013` ' 'WHERE state = "TX" ' 'LIMIT 100')query_job = client.query(QUERY)rows = query_job.result()for row in rows: print(row.name)
■BigQueryのトランザクション処理Multi-statement transactions | BigQuery | Google Cloud
BigQueryはOLAPのため、同時クエリ発行等で、処理時間差や実行順番等で想定と違う場合が多くトランザクション処理は苦手だがコレを使うとよい、例えば、truncateしてinsertするとconcurrentエラーになる場合等///transactionの注意複数のSQLをセミコロンで区切った上で連結しBEGIN～END;を一括で発行する必要がある（SQL１行毎発行ではダメ）BEGINを複数、BEGIN内でTRANSACTIONを複数だとクエリの順番が入れ替わることがあるので注意 pythontry except else finally(tryはネストOK)とtime.sleepを入れ、挿入して服問い合わせを使い最新以外を削除する妥協策もある 最新1行だけでなく複数行OKで最新を取得するような構成にして
sql_begin = "BEGIN BEGIN TRANSACTION;"sql_history = f"INSERT INTO `{ds.tbl}` (record_date. a, b) values (CURRENT_TIMESTAMP(), 'a', 'b');"sql_commit = "COMMIT TRANSACTION;"sql_end = "END;"sql = sql_begin + sql_history + sql_commit + sql_end
■GCPのシークレットマネージャに重要な値を置き、それを取るfrom google.cloud import secretmanagerclient = secretmanager.SecretManagerServiceClient()res = client.access_secret_version(resource_id)value = res.payload.data.decode("utf-8")GCPのSecret Managerで値を取得しようとしてハマった - Qiita
■GCE（Docker使う版）へSSH後に何をするかsudo apt-get update
DockerインスコInstall Docker Engine on Ubuntu | Docker DocumentationUbuntuにdockerをインストールする - QiitaUbuntu 22.04にdockerをインストールする - Qiita
docker --versionwho 誰がログインしているかsudo gpasswd -a [ユーザ名] docker dockerグループへ追加？
■コードをコンテナ化いったん /home/app_name に置いて上手く行けば /usr/local/bin/app_name に移動すればいいのでは？sudo nano 等でファイルを作る
Dockerfileの作成Dockerfileの書き方, 利用する命令, 作成手順 - わくわくBank (wakuwakubank.com)社内のDockerfileのベストプラクティスを公開します│FORCIA CUBE│フォルシア株式会社RUN adduser -D myuser && chown -R myuser /myapp
（-Dはデフォルト設定で追加している、-Rは指定dir以下を再帰的に所有権変更）USER myuser
（以降のRUNやENTRYPOINT等のINSTRUCTIONを実行するユーザを指定）
（USER nobody ならLINUXユーザで一般ユーザより弱い権限のもの）
Dockerfileをキック、あるいはdocker composeをキックsudo docker build -t img_unco . でカレントのDockerfileをビルド
docker images リストdocker tag [イメージID] img_unco:latest 名前がつかない場合docker rmi [イメージID] 削除docker ps -a コンテナ一覧docker rm [コンテナID] 削除
ビルド後にdocker runが必要docker container run -d --name cnt_unco -v ${pwd}:/app img_unco:latest↓これが便利docker container run -rm --name cnt_unco -v ${pwd}:/app img_unco:latest
オプション-v ${pwd}:/app はOSローカル環境とコンテナ内のディレクトリを同期-p 80:8000 はポート-d はバックグラウンド実行（デタッチ）-rm はrun後にコンテナを自動削除（イメージは残る）
docker composeでpython実行 DockerでPython実行環境を作ってみる - Qiitadocker compose exec コンテナ名 bash でコンテナに入れる
docker container ls コンテナのステータス確認GCEはデフォルトサービスアカウントで動作するがgcloudコマンドはgcloud auth loginが必要等々のサービスアカウントのOauth問題等がある（DockerfileのUSERやRUNでgcloud auth default login等で調整する？）
■GCEセットアップ（Docker使わない版）curl https://sdk.cloud.google.com | bashgcloud init直にOSにSDKをインスコしてもdefault service accoutだとVMスコープの問題が出る 自身のID/SAで権限を付けGCEにログインしgcloud initし操作するsudo apt updatesudo apt install python3-pipsudo apt-get install python3sudo apt install jq
pip3 install --upgrade pip バージョン問題がPythonであるがこれをすると改善する場合ありpip3 install --upgrade google-api-python-clientpip3 install --upgrade google-cloud-loggingpip3 install google-cloud 要る？pip3 install google.cloud.bigquery 要る？pip3 install google.cloud.logging 要る？ pipでうまくいかない場合 python3 -m pip install google.clud.bigquery と必要ならPythonを通して入れるべき所に入れるPythonコードで from google.cloud import logging 等を記載
import logging も必要（python標準のロギングでlogging.warning()でGCP loggingに書くため）
pipはpythonモジュール用、サブプロセスのOSでコマンドを打つならaptでインスコちなみにrequirements.txtはpip、pip install -r requirements.txtなお現設定を書き出すには pip freeze > requirements.txt pip3 install jq をしていたが不要で sudo apt install jq でやり直した pip3 list pip3 uninstall jq
gcloud auth application-default login --scopes="https://www.googleapis.com/auth/cloud-platform","https://www.googleapis.com/auth/bigquery","https://www.googleapis.com/auth/drive" コマンド打つならgcloud auth loginでログインする（Oauthスコープエラーになるのでスコープも付ける） BigQueryでGoogleドライブデータへのクエリでエラーが出るときの対処 (zenn.dev)python3 main.py で実行
■Google Cloud における認証・認可Google Cloud における認証・認可の仕組みがこれを見ればおおよそわかる (zenn.dev)
Comment (0)
■22/1/17 2:23AM
Panty gore-tex / Never stop fucking
防水、防風、透湿の機能。擦りとかには弱そうでバイクには勿体ないか
圧力が掛かると水が浸み込むので意味ないかと思い込んでいたが、北風の寒さを打消し、ムレがないので汗をかきにくく寒い日の活動にメチャいい
infiniumは軽くて柔らかいが防水性がない
proはgore-texよりも透湿性が約30％アップ
普通30とか70デニールとかだがマンジャケは150デニール、糸の太さらしいが密度も上がる？マンジャケは裏生地もありトータル厚いがgore-texだけの厚さの違いは全然分からん
150DやProの方や、シャカシャカしている方が強いと思われるが、強度は張付ける生地側によるところが大きいのか触らなよく分からん→触って好みを買うしか
日本やアジアンサイズでMの場合は、並行輸入は要注意でワンサイズでかいのでS
futurelightは柔らかい、多分軽くて透湿性が優れてそうだが、シャカシャカのgore-texのパンティのゴワツキが好み、27年目の鎮魂
ITやinternetを上手く使えば戦争なんか起こるはずがない、そうならなかった あぱー
Comment (0)
■21/12/25 5:46PM
リンク踏合組合
シンプルで軽量！ 新しいCSSリセット「The New CSS Reset」を作成したElad Shechterにインタビュー | コリス (coliss.com)
【2021年版】おすすめのリセットCSSまとめ！基本と使い方の解説も | Web Design Trends (webdesign-trends.net)
【2021年版】リセットCSSのガイドライン｜基礎から使い方を徹底解説 - WEBCAMP MEDIA (web-camp.io)
新しい日本語フォントがたくさんリリースされてる！ 2021年、日本語の新作フリーフォントのまとめ | コリス (coliss.com)
2022年用、日本語のフリーフォント573種類のまとめ -商用サイトだけでなく紙や同人誌などの利用も明記 | コリス (coliss.com)
BigQueryにおけるポリシータグを用いた秘密情報管理とデータ連携の仕組み - ZOZO TECH BLOG
【新機能】Google Cloud 純正の構成図ツール Architecture Diagramming Tool が発表されました | DevelopersIO (classmethod.jp)
[B! 技術] とりあえずWebサービス作る時の私の技術選定ポイント (hatena.ne.jp)
----------------
LiveとPushを使用した音楽制作 | Ableton
ABLETON LIVE 特集｜サウンドハウス (soundhouse.co.jp)
製品情報：APC40：AKAI professsional (akai-pro.jp)
音楽制作に弾みをつけてくれる無料オンラインツール１０選 | LANDR Blog
signal - Online MIDI Editor
最近こういう奴多いよな、なんか命令とか受けとんのか、カミカゼけ
Comment (0)
Navi: < 8 | 9 | 10 | 11 >
-Home
-Column [128]
-Europe [9]
-Gadget [77]
-Web [133]
-Bike [4]
@/// BANGBOO BLOG ///
