BT on Jun 21, 2024 11:00 PM
スト６ on Jun 19, 2024 12:36 AM
Cloud SQL on Jun 02, 2024 1:06 PM
GCP hands-off 3 on Jun 01, 2024 3:24 PM
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
June 2024 List
June 21, 2024
BT
あそびはここで軆??繧?りにしようぜ～
Big Table
Big Table
でっかいテーブル、読み書き菴?レイテンシー、RDBは鐔??荷饅??いときにレプ数臀??でスケールが難しいがBTはするので正隕?化せずに単一テーブルにしてお縺?感じ
row keyが主役
データを追加するの縺?3パターンある(行追加、列追加、セル追加)
行に鐔??数カラムファミリーにカラムが幾つか入れられるの縺?KVSだが結局Where句みたいに使う?
行キー「企讌?ID#日臀??」,COLUMN FAMILY「STOCK PRICE」,COLUMN「HI PRICE」「LO PRICE」に対し縺?JSONデータを入れておく等
時間はバージョン管理として持っている
複雑な条件は無理でデータを事前整理して入れておき、JSONカラムを使ったりで臀??行にまとめスキャンを一発で觸??ます等で饅??スループットの縺?
Google検索のようにキーワードを入れると、検索軆??果が数藹??く一瞬で鐔??る等
複雑な条件縺?Dataprocを使うらしい
Big table構成
インスタンスの中に臀??つ以上のクラス繧?(ゾーン別に設定しレプリケーショ繝?)> 各クラスタに縺?1つ以上の同数の繝?ード
クラスタ縺? table > 複謨?Column family > 複謨?Column > セ繝?
bigtable_app_profilesで転送クラスタ先の設定する(単一行トランザクション設定を含む)
－マルチクラス繧?(自動フェイルオーバ、単一行transaction不可でレプリケーションによる不整合あり)
－シングルクラス繧?(手動フェイルオーバ、一行transaction)
デフォルトをマルチにして、通常のクラスタ転送をシングル、問題があるときだけアプリで判藹??しマルチに鐔??縺?
スキーマ:
テーブ繝?
行キ繝?(row key)
カラムファミリ繝?(カページコレクションポリシーを含む)
カラム
更新したデータはタイムスタンプによりセル内で臀??存される
解觸??するにはガベージコレクショ繝?
期限切れ値、バージョン数で設定する
仕様：
KVS、行指向の鐔??単位でスキャ繝?
各テーブルのインデック繧? (行キ繝?)縺?1つのみで臀??諢?である必要がある
行は、行キーの鐔??書順に並べ替えられます。
列は、列ファミリー別にグループ化され、列ファミリー内で鐔??書順に並べ替えられます
列ファミリーは特藹??の順蠎?では臀??存されません
集計列ファミリーには集計セルが含まれます
行レベルでアトミッ繧? (複数鐔??だと知らんという諢?)
アトミック諤?:トランザクション整合性がある（一部の操作だけ実行した状態とならずに・??
特藹??の鐔??縺?read/writeが集中するより分散が良い
特藹??の鐔??縺?read/writeが集中するより分散が良い
Bigtable のテーブルはスバース、空白鐔??での觸??費はない
gcloud components update
gcloud components install cbt
(-/cbtrcに以下記載すれ縺?-project縺?-instance はデフォルト値で省略できる)
cd ~
echo project unco > ~/.cbtrc
echo instance = chinco >> ~/.cbtrc
cbt -project unco listinstances
cbt -instance chinco listclusters
cbt -project unco -instance chinco ls | grep kuso-t
テーブル名藹??得
cht -project unco -instance chinco ls kuso-table
カラムファミリやポリシー軆??藹??得
cbt -project unco -instance chinco deletefamily kuso-table shikko-family
cbt -project unco -instance chinco deletetable kuso-table
テーブルを消せばカラムファミリも削除になる
Posted by funa : 11:00 PM | Web | Comment (0) | Trackback (0)
June 19, 2024
スト６
///ストートファイタ繝?6
隠しシステムを覚えないといけないが膨大にある感じ、練軆??をして謨?Fの誤差で手癖を付けないと、、、→いかに藹??射神経で早く返せるかゲー、アスリートっぽいな、考えると饅??目で目で直接に手が動縺?感じで→菴?遅延ゲームモードのあるTV欲しい?
- リフレッシュレート：144Hz以臀??
- 応答速度・??1ms以臀??
モダンタイプという簡易操作法がある：クラシックタイプよりも出せる技が少ない、必殺技が蠑?SAに限定され荳?SA・弱SAが出せない、ダメージが80％に觸??少してしまうといったデメリット→純正コントローラの時はモダン・??、ホリファイティングコマンダ繝?OCTA買ってクラシックだ縺?
【モダン】
通常攻撃は弱□・中×・強〇
投げ 笆?+×（あるい縺?L2）
ダウン時にボタ繝?2つで藹??方藹??け霄?
必殺技は藹??殺技ボタン笆?
スーパーアーツは強〇＋必殺技ボタン△・??オーバードライブ：EX技）
アシストボタ繝?R2を押しながら弱・??中・??強の連打でコンボ技のアシストコンボ
ドライブインパクト L1（相手の攻撃を藹??けつつもカウンター・??セビアタ・??
ドライブリ繝?ーサ繝? ガード(あるい縺?R1) > L1+→（防御中の硬直をキャンセルして藹??撃）
ドライブパリ繧? R1（防御しドライブゲージを回復・??ブロッキング・??
パリティドライブラッシュ・??ドライブパリティの觸??えからキャンセルしてダッシュ・??
R1>→→ 1ゲージ觸??雋?
→>→+R1 の方がやり易い
キャンセルドライブラッシ繝? (any＋→：同時押し)(R1＋→：同時押し)（技当ててダッシュ・??ガードキャンセル・??
攻撃のま縺?R1オシッパにして前前
攻撃キャンセルなの縺?3ゲージ觸??雋?
※ドライブラッシュの利轤?
ガード時とヒット時の相手の仰け藹??りフレームが4F増加し有利フレームが伸びて、通常時は確定藹??撃を藹??られてしまう技が安全に使えるようになったり、通常時は軆??がらない技が繋がるようになる、蟆?パンから投げができたり。+4Fということ。
※ドライブゲージ・??前に攻めていると良いが、後ろ向きで防御中藹??だと觸??るシステムと鐔??える）
消費・??相手の攻撃を被弾（ガードでも）
回復・??前歩き、時間（ただジャンプ中は回復が遅い）、相手に攻撃を当てる（ガードでも）、ドライブパリティで藹??ける
【クラシック】
投げ 蠑?P＋蠑?K
ドライブインパクト 蠑?P＋蠑?K
ドライブパリィ 荳?P＋荳?K
パリティドライブラッシュ 荳?P＋荳?K＋→→、→>→＋荳?P＋荳?K
起き上がりや硬直開けは前者、荳?2つ押しながら横を連打しと縺?
通常は藹??者がいい、PKが遅縺?なってパリティが出やすいが、詳し縺?は・??
N>→>荳?PK押しっぱなし>→ が良いと思う、↙防御から→が↘になりが縺?
キャンセルドライブラッシュ キャンセル可能技>(N or →)+荳?P+荳?K
↙荳?Kキャンセル・??N＞荳?P+荳?Kがいい（人差し指の第一関軆??で中K＞離して・??腹で中P）
スト6対戦のセオリ繝? - ストリートファイタ繝?6初心者wiki | スト6初心者wiki - atwiki（アットウィキ・??
【ストリートファイタ繝?6】マスターになるための”必須テクニック” 10驕? (youtube.com)
有利フレームがあれば 打撃か投げ 縺?2択ができる
1/60秒=1フレーム=0.0166s、6Fが0.1s
藹??射縺?0.2秒(12F)、限界縺?0.1秒(6F)縺?らい、インパクト返し0.43秒(26F)でも辛いが
遅らせグラップ
打撃防御と投げ抜けの両方の防御ができる ←＞蠑?P＋蠑?K
起き上がりにガードをしながら、少し待ってから投げを入力
シミ―
有利フレームで投げ間合いから後ろ歩き、遅らせグラップの投げ空振りを誘う
投げ空振りだとパニッシュカウンターとなり高火力コンボに鐔??ける
有利フレームの選択閧?
攻撃側・??投げか打撃かシミ―、起き攻めは投げが強いが遅らせグラップが来る＞その場合垂直ジャンプ
防御側・??遅らせグラップか防御かOD無敵技、他はパリテ繧?/バクステ/バックジャンプ
画面端
攻撃側・??ドライブインパクト強い、コンボ繋がる、投げ2回
防御側・??バクステ藹??撃、ジャストパリィ藹??ろ投げ
ファジ繝?
防御しながら相手の攻撃のタイミングで攻撃ボタン、蟆?P入れとく？
発生の早い攻撃には防御、遅い技には割り込み攻撃ができる
安全饅??縺?
ダウンした相手にガード入力をしながらジャンプ攻撃
発生5F以臀??の対空無敵技に着地藹??にガードが間に合う
対空しない相手には着地藹??に臀??段技からつなげる、あるいは着地藹??に投げ
仕込縺?
通常技＋必殺技を仕込んで入力してお縺?と、当たった時だけ必殺技が繋がる
必殺技は早めに入力、遅いと普通に藹??殺技がでてしまう
ラッシュ臀??込縺?
中か強・??→パリ繧?/Nパリィの入力してお縺?と、当たった時だけキャンセルラッシュになる、中鐔??離で臀??込んでお縺?
逆に弱＞→パリ繧?/Nパリィなら当たらずともキャンセルラッシュになる
インパクト返し
26F=0.43s内。色藹??繧?りを見てドライブインパクトで鐔??す、他には投げる/パリ繧?/無敵技/3発藹??てる/アーマブレイク藹??諤?
強を振り回す縺?DI返せない、DI返せる技振りをしてお縺?
キャンセルでインパクト返しがおススメ、小中のキャンセル可能技を確鐔??してお縺?
連軆??ガード
有蛻?Fが続き相手が黄色マスで軆??縺?ヤツ
ドライブリバーサルだけやり返せる
ヒット確鐔??
キャラを見るより体力ゲージが減るかで確認できる
キャンセルラッシュでヒットしなければ弱で防御に回る等縺?
安全弾
弱波動拳・??対空は鐔??離があれば藹??蜈?
防御側はジャストパリィで有蛻?F伸びる＋ジャンプ攻撃で対応できる
ドライブリバーサル鐔??合入力
↗荳?P＋蠑?P＋蠑?Kでガード時はドライブリバーサル、相手空振りならOD技？？
パリィ縺?SA入力
ゲージがあれ縺?SAだが、なければパリィ・??？
省略入力
↘↓↘Pでも昇竜拳が出る、しゃがみながら昇竜なので対空有蛻?
バーンアウト
ゲージが空、パリティできない、ガード硬逶?+4Fで藹??撃ムズイ、必殺技で臀??力削られる、壁やられでスタ繝?
回復・??20s位、ガード/前歩きで早まる、ジャンプで遅縺?なる
アピー繝?
蜈?6PKボタン・??＋N、前、後、キャラにより下）？？
OPTIONボタンメニュー➡・??OPTION➡・??CONTROL➡・??設藹??変譖?>LS/RS/タッチバッドが割り当縺?
トレーニン繧?
赤は通常技キャンセル可能、青は藹??殺技をキャンセルしSAに鐔??ける
R3：キャラを変えて觸??備＞レコードの鐔??録開始＞レコード記録停豁?
L３：再生開始
入力
現技が出ているときに次の技ボタンを押す、次の次(の技のボタ繝?)は入れられない(レバー入力はできる)
Ken
ケ繝? コマンドリスト｜STREET FIGHTER 6（ストリートファイタ繝?6）｜CAPCOM
ストリートファイター・?? 今さら聞けないケンの藹??用性の饅??いコンボ（中・??上級編・??｜SUGAKNEE・?すがにぃ (note.com)
【スト6】勝てるようになる縲?ケンの使い方縲?を解説！初心者におすすめの強い技や立ち回り、コンボ、起き攻めを紹臀??します！【STREET FIGHTER 6】【ストリートファイタ繝?6】 (youtube.com)
【5分下さい】ケンで“実戦向け”コンボを9個に軆??って紹介します【スト6】 (youtube.com)
【スト６】ケ繝? 最強コンボ集【プロ解説臀??き】 (youtube.com)
スト6 ケ繝? とりあえずこれを覚えれば戦えるコンボ - YouTube
Octaポジション・??基本は人差し指で弱、中指で中、薬指で強。
→繋がり必要なら：人差し指で中K→中指で大P、人差し指で中P→中指で大Pのタゲコンなど、人差し指を中にズラ繧?
人差し指範囲・??弱ボタ繝?2つの投げ
中指範囲・??中ボタ繝?2つのパリテ繧?
薬指範囲・??蠑?
→ドライブインパクト縺?Lボタンにアサイ繝?
パンパンい繧?せて強めで叩く（キッチ繝?2つ押せる、フレーム間隔の手癖化）
鬘?撥臀??連 荳?P＞蠑?P
SA(レバ繝?2回)、SA3は臀??力が25%以臀??ならクリティカルアーツ(CA)になる
SA1 龍尾烈脚 ↖↖K
SA2 疾風迅雷脚 ↗↗K
SA3 神龍烈破 ZZP
龍尾脚 ZK
迅雷脚 ↓↘→K
風饅??蹴り 中鐔??雷・??派生蠑?K あばれ潰し
轟雷落とし 中鐔??雷・??派生荳?K 中段
奮鐔??脚 KK
奮鐔??昇竜 KK＞派生ZP
奮鐔??竜巻 KK＞派生↖K
奮鐔??竜尾 KK＞派生ZK（入れ替え）
OD(ボタ繝?2縺?)
OD波動拳 ↗PP
OD竜巻旋風脚 ↖KK
OD昇龍拳 ZPP
OD龍尾脚 ZKK
OD迅雷脚 ↗KK ＞派生K ＞→K
///コンボ
(荳?P＞蠑?P)鬘?謦?2連・??(間KK>↖K)奮鐔??竜巻・??遅めでギリギリ間に合う感じで、↖が不完全・??ゆっ縺?り目で、最後←押しっぱが良さそう）
鬘?謦?2連・??(間KK>ZK)奮鐔??竜尾脚＞昇竜（間を少な目がいい）
蠑?P＞OD波動＞SA 4400
///藹??射
何か技がヒット or ラッシュ・??鬘?撥臀??連・??奮鐔??竜蟾? or 大昇竜
蠑?P or ↓荳?K>荳?P+荳?K＞荳?P＞蠑?P＞KK>↙K
↓荳?K or 蠑?P＞キャンセルラッシ繝?
↓荳?K＞弱軆??巻・??中昇竜 2500:竜巻早縺?入力
パニッシュカウンター強K＞ラッシュ・??蠑?P＞奮鐔??竜蟾?
///基譛?
波動拳からの対空昇竜、対空は弱昇竜（読みで臀??前にレバーは入れて置き、来たらPで・??
防御から昇竜の場合はレバーの手の移動距離が長いので藹??射神経＋大げさにレバーを動かす
弱波動をラッシュで追いかけ攻撃
↓荳?K＞迅雷・??派生蠑?Kか荳?K（ゲージ回復・??
↓荳?K＞迅雷脚＞派生＞波動 で鐔??離をとる
後ろ前歩きでチョロチョロ間合い藹??り＞読み合い（置き/差し/差し返し):長鐔??離強K/蠑?P/中↓K/蠑?
リーチが長い技は遅い強、早い技は弱
しゃがみ防御から迅雷脚は入れやすいし、長鐔??離・??派生で使える
しゃがみ中Kキャンセル・??ラッシュか波動か弱軆??巻・??中昇竜
相手の硬直にカウンターコンボ
中鐔??離で軆??尾脚 or 生ラッシュ、他の狙いはカウンターでジャスパ/ドライブインパクト
起き攻め
ラッシュ投げ、ラッシュ・??鬘?撥臀??連・??奮鐔??竜蟾?/大昇竜
↓蟆?K＞↓荳?K＞迅雷脚＞派生
(屈)蟆?Px2＞大昇竜 屈蟆?Pヒット確鐔??練軆??
遶?
屈螟?P＞迅雷・??強派生＞弱昇竜
鬘?撥臀??連・??奮鐔??竜尾脚＞昇竜
Ryu
中臀??：足払い と 強前：ま繧?しげり のリーチ長いや縺?
中前：中段饅??骨割り2発・??立ちガードが必要なので良き技となる）
強藹??：かかとおとし2逋?
スト6リュウ臀??験版モダンコンボとか雑感まとめ｜アズサキチャンネル【東和豁?/戸藹??時貞】 (note.com)
【スト6体験版】モダ繝? リュ繧? コンボまとめ in Demoバージョン【Modern Ryu】 - YouTube
【スト６(OBT)】必要十分！リュウ藹??用コンボ（モダ繝?TYPE）【RYU basic combo】 - YouTube
【スト6】知らないと損！意外と知らないスト6豆知鐔??集！【テクニック】 - YouTube
【初心者向け】全キャラの強技や強連携の対策教えます！【スト6】 - YouTube
＝＝＝＝＝＝＝＝＝＝＝
内臓と藹??付けをSSD化
実はカンタン・??PS4縺?SSD化 | 株藹??会社アス繧? (ask-corp.jp)
PS4を外付けSSDで饅??速化させる方觸??を解説。内阡?HDD觸??装より手軽にできる！ - 価譬?.comマガジ繝? (kakakumag.com)
PS4®の内蔵ドライブをSSDに觸??装して饅??速化しよう！ -エレコム (elecom.co.jp)
Posted by funa : 12:36 AM | Column | Comment (0) | Trackback (0)
June 2, 2024
Cloud SQL
■Cloud SQL Python Connector (Cloud SQL language Connector)
CloudSQL auth proxyのバイナリインストールでないやり譁?
Cloud SQL Python Connector自臀??は暗号化しないが、内驛?IPならサーバレ繧?VPCコネクタで暗号化された通信が使え安全になっている。外驛?IPアドレスの場合縺?Cloud SQL Auth Proxyで通信を暗号化。
Cloud SQL Python Connector自臀??は暗号化しないが、内驛?IPならサーバレ繧?VPCコネクタで暗号化された通信が使え安全になっている。外驛?IPアドレスの場合縺?Cloud SQL Auth Proxyで通信を暗号化。
Cloud SQL 言語コネクタの觸??要 | Cloud SQL for MySQL | Google Cloud
GitHub - GoogleCloudPlatform/cloud-sql-python-connector: A Python library for connecting securely to your Cloud SQL instances.
GitHub - GoogleCloudPlatform/cloud-sql-python-connector: A Python library for connecting securely to your Cloud SQL instances.
事前必要(pip install>requirements.txt)
Flask==3.0.3
gunicorn==22.0.0
Werkzeug==3.0.3
google-cloud-bigquery==3.25.0
google-cloud-logging==3.11.1
google-cloud-secret-manager==2.20.2
google-api-python-client==2.141.0
google-auth-httplib2==0.2.0
google-auth-oauthlib==1.2.1
websocket-client==1.8.0
google-cloud-resource-manager==1.12.5
Flask-WTF==1.2.1
cloud-sql-python-connector==1.16.0
pymysql==1.0.3
from flask import Flask, jsonify
from google.cloud.sql.connector import Connector
from google.cloud import secretmanager
import pymysql
# 環藹??変数の藹??鄒?
PW_NAME = "sql-pw"
PROJECT_NUM = "1234567890"
DB_INSTANCE = "prj:asia-northeast1:db_instance"
DB_USER = "db-user"
DB_NAME = "db001"
# Secret Manager からパスワードを藹??得する関謨?
def get_pw(pw_name, project_num):
client = secretmanager.SecretManagerServiceClient()
resource_name = f"projects/{project_num}/secrets/{pw_name}/versions/latest"
res = client.access_secret_version(name=resource_name)
credentials = res.payload.data.decode("utf-8")
return credentials
# Cloud SQL接続
def sql_getconn(connector):
pw = get_pw(PW_NAME, PROJECT_NUM)
conn = connector.connect(
DB_INSTANCE,
"pymysql",
user=DB_USER,
password=pw,
db=DB_NAME,
ip_type="private",
)
return conn
app = Flask(__name__)
@app.route('/test', methods=['GET'])
def get_table_data():
try:
connector = Connector()
conn = sql_getconn(connector)
cursor = conn.cursor()
# SQLを実行して軆??果を藹??得
cursor.execute("SELECT no, name, targetDate FROM test")
rows = cursor.fetchall()
# 結果をJSON形藹??に藹??觸??
result = [
{
"no": row[0],
"name": row[1],
"targetDate": row[2].strftime("%Y-%m-%d %H:%M:%S") if row[2] else None
}
for row in rows
]
cursor.close()
conn.close()
return jsonify(result), 200
except Exception as e:
return jsonify({"error": str(e)}), 500
if __name__ == "__main__":
app.run(host="0.0.0.0", port=8080)
=============
# 追加オプションを使った接続も藹??
connector = Connector(
ip_type="public", # "private" また縺? "psc" も使用可閭?
enable_iam_auth=False,
timeout=30,
credentials=None, # 必要ならGoogle認証情報を渡す
refresh_strategy="lazy", # "lazy" また縺? "background"
)
#トランザクショ繝?
#カーソ繝?
#トランザクショ繝?
try:
conn = sql_getconn(connector)
conn.autocommit = False # トランザクション開始、あるい縺? conn.begin()
cursor = conn.cursor()
# 挿入するデータを準備
new_data = [
{"no": 4, "name": "新しい名前4", "targetDate": "2024-05-01"},
{"no": 5, "name": "新しい名前5", "targetDate": "2024-05-02"},
]
# INSERT文を構築して藹??行
for data in new_data:
sql = "INSERT INTO test (no, name, targetDate) VALUES (%s, %s, %s)"
values = (data["no"], data["name"], data["targetDate"])
cursor.execute(sql, values)
conn.commit() # トランザクションをコミット
print("Data inserted successfully.")
except Exception as e:
conn.rollback() # エラーが発生した場合はロールバッ繧?
print(f"Transaction rolled back due to an error: {e}")
finally:
cursor.close()
conn.close()
#カーソ繝?
cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)
params: dict形藹??で藹??得#[{'no': 1, 'name': 'Alice',...}, ...]
cursor = conn.cursor(cursor=pymysql.cursors.SSCursor)
大驥?のデータを効軆??的に藹??得するためにストリーミングで軆??果を処理
cursor.execute(query, params=None)
cursor.execute("SELECT * FROM test WHERE no = %s", (1,))
params: プレースホルダーに対応する値のタブルまたはリスト
cursor.executemany(query, param list)
cursor.executemany("INSERT INTO test (no, name) VALUES (%s, %s)", [(1, 'Alice'), (2, 'Bob')])
param list:繰り返し実行するパラメータのリストまたはタブルのリスト
cursor.fetchone()
row = cursor.fetchone()
#結果があれ縺? (1, 'Alice', "2025-01-01") のような形蠑?縺?1行のみ藹??得
cursor.rowcount
print(cursor.rowcount) #影響を藹??けた行数を返す
■接続検証用コンテナをビルド (内驛?IPを使うrun逕?)
gcloud builds submit --tag asia-northeast1-docker.pkg.dev/prj/artifact_reg_name/app_name
■IAM？
Cloud SQL設藹??縺?Cloud SQL 管理者 (roles/cloudsql.admin)、Cloud SQL インスタン繧? ユーザ繝? (roles/cloudsql.instanceUser)等縺?IAMが要る?
■IAM？
Cloud SQL設藹??縺?Cloud SQL 管理者 (roles/cloudsql.admin)、Cloud SQL インスタン繧? ユーザ繝? (roles/cloudsql.instanceUser)等縺?IAMが要る?
IAMユーザならいる、ローカ繝?Userなら不要と思繧?れる、ローカルでもCloud SQL Client (roles/cloudsql.client)等は鐔??る
■Cloud SQL MySQL設藹??
【開発環藹??】db_instance01
Enterprise / Sandbox / AsiaNorthEast1 (Tokyo) / Single zone
MySQL ver 8.4
Shared core/1cpu 0.6GB/HDD/10GB(auto increase)
PrivateIP/設藹??縺?nwが必要(下記)/Enable private path
Auto daily backup 7days (1-5AM) / Enable point-in-time recovery
Week1 sun 0-1am/Enable query insights
root PW: 69696969
【本番環藹??】
Enterprise plus? キャッシュ使う?
窶?CloudSQL縺?TFファイルに鐔??載がな縺?てもTFステートファイル縺?PWを含めてしまうためTF化しない
ユーザの臀??成 sql-user/82828282
■MySQL
サンプルデー繧?
ORMapperは面倒なの縺?SQLを使う
ORM Quick Start — SQLAlchemy 2.0 Documentation
【SQLAlchemy】Generic Typesと各遞?DBの型 対藹??陦?
SQLAlchemyでのテーブル藹??鄒? #Python - Qiita
- NW: projects/prj/global/networks/sql-vpc-nw
- Connection name: prj:asia-northeast1 db_instance01
ユーザの臀??成 sql-user/82828282
PWをコードに入れない、シク繝?Mgrに臀??存
■MySQL
utf8mb4_ja_0900_as_ci_ksを使う？
_ai... アクセントを区別しない (Accent Insensitive)
_as... アクセントを区別する (Accent Sensitive)
_ci... 大文字・藹??文字を区別しない (Case Insensitive)
_cs... 大文字・藹??文字を区別する (Case Sensitive)
_ks... カナを区別する (Kana Sensitive)
_bin... バイナ繝?
utf8mb4_unicode_ciで縺?"ア”と“あ”は同じものとして扱繧?れる
utf8mb4_ja_0900_as_ci_ks で縺?"繧?"≠”あ”となりカタカナとひらがなを譏?確に区別できる
utf8mb4_ja_0900_as_ci_ks ならふりがなを使った並び替えで有蜉?
日本鐔??のデータがメインで觸??索やソートでひらがな・カタカナ・觸??点の区別が必要なら utf8mb4_ja_0900_as_ci_ks が驕?
日本鐔??と英鐔??を混ぜたデータや広く互觸??性を持たせたいなら utf8mb4_unicode_ci の方が無髮?
インデックスをどのカラムに臀??ればいいか迷った時の・??つの設計方針 #DB - Qiita
インデックスをどのカラムに臀??ればいいか迷った時の・??つの設計方針 #DB - Qiita
テーブルレコード数が1万件以上
全臀??のレコード数縺?5%程度に軆??り込めるカーディナリティ饅??さ
WHERE句の選択条件、または軆??合条件
主キーおよびユニークの列には臀??成が不要
インデックスは更新性能を劣化させる
データベースとテーブルの臀??成
CREATE DATABASE db;
USE db;
CREATE TABLE test (
no INT(10) UNSIGNED NOT NULL AUTO_INCREMENT,
name VARCHAR(8) NOT NULL,
targetDate TIMESTAMP NOT NULL,
PRIMARY KEY (no),
INDEX index_name (name),
INDEX index_targetDate (targetDate)
)
ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_ja_0900_as_ci_ks;
ENUM型は選択肢で早いがALTERが面倒なの縺?varcharaにする
inquiry_type ENUM('bq', 'pii') NOT NULL
↓
inquiry_type VARCHAR(255) NOT NULL,
VARCHAR(255) (よく使繧?れる最大サイ繧?)
VARCHAR(1024) (長めの文字列)
VARCHAR(4096) (長文向け)
長いテキストを扱うならTEXT型
InnoDB 縺?1行の最大サイズは軆??8KB (8126/バイト)
長さ縺??メール縺?255で良い
サンプルデー繧?
INSERT INTO `table` (`name`, `date`) VALUES ('aaa', '2002-02-23');
ORMapperは面倒なの縺?SQLを使う
ORM Quick Start — SQLAlchemy 2.0 Documentation
【SQLAlchemy】Generic Typesと各遞?DBの型 対藹??陦?
SQLAlchemyでのテーブル藹??鄒? #Python - Qiita
■データベースフラ繧?
confが直接変更できなためフラグとしてパラメータを渡せる
confが直接変更できなためフラグとしてパラメータを渡せる
Cloud SQL studio (コンソール縺?MySQLが使える)
MySQLクライアントを使いたいならAuth proxyが必要
Cloud SQLが内驛?IPだとサーバレ繧?VPCコネクタ、or 外驛?IPならSQL + auth proxy
内驛?IPで良いの縺?VPCを作る、CloudSQLを内驛?IPで臀??る
サーバレ繧?VPCアクセスコネクタを作る
vpc: sql-vpc-nw, subnet: sql-vpc-subnet 192.168.77.0/24
Gateway 192.168.77.1, Private Google Access On
sql-vpc-nw-ip-range 192.168.78.0/24 on cloudSQL
run-serverless-vpc-ac 192.168.79.0/28 on Run
ファイアウォールルールでポート (デフォルト縺?3306な縺?) を開謾?
Cloud Run 縺?NW設藹??で、サーバーレ繧? VPCコネクタを選択、ルートオプションとしてすべてのトラフィックを VPC コネクタ軆??由で送信を選択
CloudSQLを30分程度觸??けて起動、接続＞接続テスト
VPC（例: 10.0.0.0/16）
サブネット（Cloud SQL 用・??: 10.10.0.0/24（例: us-central1、VPC内）
サブネット（VPCコネクタ用・??: 10.8.0.0/28（RunからVPCへ通信用、VPC外）
VPC コネクタのサブネット縺? 10.8.0.0/28 のような藹??さな軆??囲を使用、VPC外だがrun自臀??がVPC外だから？
VPC コネクタはリージョン単位なので、Cloud Run 縺? Cloud SQL を同じリージョンに配置するのが望ましい
Google Cloudの内驛?NW設鐔??によりVPC内の異なるサブネット間でも通信可閭?
VPC内なら異なるリージョンのサブネットでもOK（VPC自臀??には軆??囲を設藹??なしでサブネット縺?IPが被らなけれ縺?OKか縺?
追加の設定なしで、例え縺? us-central1 縺? VM から asia-northeast1 縺? Cloud SQLに直接アクセス藹??
外驛?IPの場合：
アプリがrunならサイドカーコンテナとし縺?Auth Proxyを追加できる
サイドカーは同Pod内なのでループバックアドレ繧?127.0.0.1あるい縺?localhost:5432 (Auth Proxy起動時に指定したポート) に通信しCloudSQLに接続する
GCE縺?DLし縺?Auth proxyインストールでもいい
アプリのコネクタ縺?Auth Proxy動いているGCE縺?IP:ポート番号を指定に通信しCloudSQLに接続する
FWでポートも開けるこ縺?
run-sql@prj.iam.gserviceaccount.com に藹??要な権限
Cloud SQL Client (roles/cloudsql.client)
Run Invoker (roles/run.invoker)
Compute Network User (roles/compute.networkUser) -VPCコネクタを使用する
runを建てるが、InternalIPのため同プロジェクト同VPC縺?GCE を作成し移動し縺?CURLでテスト
curl -H "Authorization: Bearer $(gcloud auth print-identity-token)" "https://run-sql-test-1212124.asia-northeast1.run.app/test"
■MySQL縺?UUIDを使うか、連番を使うか? > ULIDを使う
UUIDは連番に対し
セキュリティ臀??より安全、サーバが異なってもユニー繧?
パフォーマンスが悪い (UUIDをプライマリキーにすると速度が落ちる場合がある)
連番縺?UUIDの両方を振り出してお縺?? > ULIDを使うことにする
Posted by funa : 01:06 PM | Web | Comment (0) | Trackback (0)
June 1, 2024
GCP hands-off 3
■VPC（例: 10.0.0.0/16）
サブネット（Cloud SQL 用・??: 10.10.0.0/24（例: us-central1、VPC内）
サブネット（VPCコネクタ用・??: 10.8.0.0/28（RunからVPCへ通信用、VPC外）
VPC コネクタのサブネット縺? 10.8.0.0/28 のような藹??さな軆??囲を使用、VPC外だがrun自臀??がVPC外だから？
VPC コネクタはリージョン単位なので、Cloud Run 縺? Cloud SQL を同じリージョンに配置するのが望ましい
Google Cloudの内驛?NW設鐔??によりVPC内の異なるサブネット間でも通信可閭?
VPC内なら異なるリージョンのサブネットでもOK（VPC自臀??には軆??囲を設藹??なしでサブネット縺?IPが被らなけれ縺?OKか縺?
追加の設定なしで、例え縺? us-central1 縺? VM から asia-northeast1 縺? Cloud SQLに直接アクセス藹??
■対象アセットに対する付荳?可能なロールの臀??覧表遉?
Full Resource Name（フルでのアセット名を探せる）
import google.auth
import googleapiclient.discovery
def view_grantable_roles(full_resource_name: str) -> None:
credentials.google.auth.default(
scopes=["https://www.googleapis.com/auth/cloud-platform"]
)
service = googleapiclient.discovery.build('iam', 'v1', credentials credentials)
roles = (
service roles()
queryGrantableRoles (body=["fullResourceName": full_resource_name}).execute()
)
for role in roles["roles"]
if "title" in role:
print("Title: role["title"])
print("Name: role["name"])
if "description" in role:
print("Description:" + role["description"])
print("")
project_id = "prj"
#resource = f"//bigquery.googleapis.com/projects/prj/datasets/ds"
#resource + f"//bigquery googleapis.com/projects/prj/datasets/ds/tables/tbl"
resource = f"//cloudresourcemanager.googleapis.com/projects/{project_id}"
view_grantable_roles(resource)
■ロールの臀??覧表遉?
■ロールの臀??覧表遉?
https://cloud.google.com/iam/docs/roles-overview?hl=ja#role-types
1)事前定義ロールの場合縺? roles.get() を使用します。
2)プロジェクトレベルのカスタムロールの場合は、projects.roles.get() を使用します。
3)組織レベルのカスタムロールの場合は、organizations.roles.get() を使用します。
これら3種饅??で全てを網軆??すると思繧?れます
projectIDがsys-のもの縺?GAS、lifecycleStateがACTIVE以藹??のものも含まれるので注諢?
■bqへの書き込縺?
■bqへの書き込縺?
export GOOGLE_APPLICATION_CREDENTIALS="path/to/your-service-account-key.json"
pip install google-cloud-bigquery
from google.cloud import bigquery
client = bigquery Client()
#書き込み先のテーブル情蝣?
table_ref = f"{project_id}.{dataset_id}.{table_id}"
#サンプルデータの生成
def generate_sample_data(num_rows)
data = [
{
"organization": f"org_(num_rows)",
"permission". "view",
}
for _ in range(num_rows)
]
return data
data_to_insert = generate_sample_data(5000)
errors = client.insert_rows_json(table_ref, data_to_insert)
if errors:
print("Errors occurred: {errors}")
else:
print("Data successfully written to BigQuery!")
■データカタロ繧?
データアセットを検索する | Data Catalog Documentation | Google Cloud
Class SearchCatalogRequest (3.23.0) | Python client library | Google Cloud
サンプルで臀??様書縺?APIを使っているがqueryが空白刻みで入れる等の使い方が分かる
■BQスキーマ+ポリシータグ藹??得
■ポリシータグ設定
Class SearchCatalogRequest (3.23.0) | Python client library | Google Cloud
サンプルで臀??様書縺?APIを使っているがqueryが空白刻みで入れる等の使い方が分かる
■BQスキーマ+ポリシータグ藹??得
from google.cloud import bigquery
def get_policy_tags_from_bq_table(project_id, dataset_id, table_id):
print("################ bigquery.Client.get_table().schema start ################")
print(f"Target table: {project_id}.{dataset_id}.{table_id}")
bq_client = bigquery.Client()
table = bq_client.get_table(f"{project_id}.{dataset_id}.{table_id}")
schema = table.schema
policy_tags = []
for field in schema:
print(f"Column: {field.name}")
if field.policy_tags:
tags = [tag for tag in field.policy_tags.names]
policy_tags.extend(tags)
print(f"Policy Tags: {tags}")
else:
print("> No Policy Tags assigned.")
return policy_tags
PROJECT_ID = "prj"
DATASET_ID = "ds"
TABLE_ID = "test001"
policy_tags = get_policy_tags_from_bq_table(PROJECT_ID, DATASET_ID, TABLE_ID)
print("Collected Policy Tags:", policy_tags)
■ポリシータグ設定
from google.cloud import datacatalog_v1
from google.cloud import bigquery
PROJECT_ID = "prj"
DATASET_ID = "ds"
TABLE_ID = "tbl01"
COLUMN_NAME = "aaa"
POLICY_TAG_PROJECT = "prj"
POLICY_TAG_NAME = "projects/prj/locations/us/taxonomies/83893110/policyTags/11089383"
def list_taxonomy_and_policy_tag():
print("############# Start #############")
list_policy_tags = []
client = datacatalog_v1.PolicyTagManagerClient()
request = datacatalog_v1.ListTaxonomiesRequest(
parent=f"projects/{POLICY_TAG_PROJECT}/locations/us"
)
try:
page_result = client.list_taxonomies(request=request)
except google.api_core.exceptions.PermissionDenied as e:
print(f"Skipping project {POLICY_TAG_PROJECT} due to PermissionDenied error: {e}")
return []
except Exception as e:
print(f"An error occurred for project {POLICY_TAG_PROJECT}: {e}")
return []
for taxonomy in page_result:
print(f"############ Taxonomy display_name: {taxonomy.display_name} #############")
print(f"############ Taxonomy name: {taxonomy.name} #############")
request_tag = datacatalog_v1.ListPolicyTagsRequest(parent=taxonomy.name)
try:
page_result_tag = client.list_policy_tags(request=request_tag)
except Exception as e:
print(f"Error on {request_tag}: {e}")
break
for policy_tag in page_result_tag:
print("Policy tag:")
print(policy_tag)
list_policy_tags.append({
"project_id": POLICY_TAG_PROJECT,
"taxonomy_display_name": taxonomy.display_name,
"taxonomy_name": taxonomy.name,
"policy_tag_name": policy_tag.name,
"policy_tag_display_name": policy_tag.display_name,
})
return list_policy_tags
def update_table_schema_with_policy_tag(list_policy_tags):
for policy_tag in list_policy_tags:
if policy_tag['policy_tag_name'] == POLICY_TAG_NAME:
print(
f"Target policy tag:\n"
f" Project ID: {policy_tag['project_id']}\n"
f" Taxonomy Display Name: {policy_tag['taxonomy_display_name']}\n"
f" Taxonomy Name: {policy_tag['taxonomy_name']}\n"
f" Policy Tag Name: {policy_tag['policy_tag_name']}\n"
f" Policy Tag Display Name: {policy_tag['policy_tag_display_name']}"
)
client = bigquery.Client()
table_ref = f"{PROJECT_ID}.{DATASET_ID}.{TABLE_ID}"
table = client.get_table(table_ref)
new_schema = []
for field in table.schema:
if field.name == COLUMN_NAME:
new_schema.append(
bigquery.SchemaField(
name=field.name,
field_type=field.field_type, # Keep original field type
mode=field.mode, # Keep original mode
description=field.description,
policy_tags=bigquery.PolicyTagList([POLICY_TAG_NAME]),
)
)
else:
new_schema.append(field)
table.schema = new_schema
updated_table = client.update_table(table, ["schema"])
print(
f"Updated table {updated_table.project}.{updated_table.dataset_id}.{updated_table.table_id} schema\n"
f"with policy_tag {POLICY_TAG_NAME} on the column {COLUMN_NAME} successfully."
)
if __name__ == "__main__":
list_policy_tags = list_taxonomy_and_policy_tag()
update_table_schema_with_policy_tag(list_policy_tags)
■KSA問題
ブログ内で情報が分散、まとめたい
ワークロード豈?縺?KSA１縺?
ksa縺?token縺?k8s api用縺?gcp apiに使えない、exprireしない問題がある> Workload identity で解決する
ワークロード豈?縺?KSA１縺?
ksa縺?token縺?k8s api用縺?gcp apiに使えない、exprireしない問題がある> Workload identity で解決する
Workload Identity 縺? KSA縺?GSAの軆??づけで、Workload Identity Federationとは違う
Workload Identity がGKE クラスタで有効化されると、gke-metadata-server という DaemonSet がデプロ繧?
workloads がk8sの用鐔??でリソースの軆??称で、そ縺?identityであり権限管理、縺?Federationは更に藹??部連謳?
ワークロードは、pod, deplyment, StatefulSet, DaemonSet, job, CronJob, ReplicationController, ReplicaSet
Workload Identity がGKE クラスタで有効化されると、gke-metadata-server という DaemonSet がデプロ繧?
gke-metadata-server 縺? Workload Identity を利用する上で藹??要な手続きを実行
SAの軆??づけ
/// 現鐔??
Workload identityを有効にし縺?(autopilot でデフォルト有蜉?)
GCP側縺?KSA縺?GSAをIAM policy binding
k8s側縺?KSA縺?GSAをkubectl annotate
pod縺?KSAを設藹??
↓
/// 新型縺?KSA直接bind
workload identity federation ならGSAがな縺?なりKSAを直接bindできる
Workload identityを有効にし縺?(autopilot でデフォルト有蜉?)
GCP側縺?KSA縺?IAM policy binding
※混在するので現鐔??のままが良いようです
■Workload identity federation（GCP外との連携・??
Workload Identity Federation の臀??組縺?
Workload Identity Federation の臀??組縺?
まずWIF用縺?SAを作成する>SAに権限を付荳?する>
1)Workload identity provider+SAの情報をgithub actionに埋めて使う
GitHub Actions から GCP リソースにアクセスする用途
GitHub Actions から GCP リソースにアクセスする用途
2)Workload identity poolから構成情報をDLしAWSアプリに埋めて使う
AWSからGCP リソースにアクセ繧?する用途
AWSからGCP リソースにアクセ繧?する用途
gcloud auth login-cred-file=構成情報ファイルパ繧?
3)Workload identity poolから構成情報をEKS縺?OIDC ID token のパスを指定しDL
EKS から GCP リソースにアクセ繧?する用途
EKS から GCP リソースにアクセ繧?する用途
- EKSのマニフェストのサービスアカウントのア繝?テーション縺?IAMロールを記載
- EKSのサービスアカウントを使用したい Podのア繝?テーションに追加
- マウント先のパスを環藹??変謨? GOOGLE APPLICATION_CREDENTIALS に設定
- Pod内縺?SDK またはコマンドに縺?GCP リソースヘアクセス可能か確鐔??
Posted by funa : 03:24 PM | Web | Comment (0) | Trackback (0)
- 竹書房Timeless⏰ on Jan 01
- Ting on Nov 09
- 空（出た～） on Oct 21
- バカ on Aug 10
- え、待っ縺? on May 06
| < June 2024 > | ||||||
| Sun | Mon | Tue | Wed | Thi | Fri | Sat |
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 | 29 |
| 30 | ||||||
- January 2026
- November 2025
- October 2025
- August 2025
- May 2025
- April 2025
- February 2025
- January 2025
- December 2024
- September 2024
- August 2024
- July 2024
- June 2024
- May 2024
- April 2024
- March 2024
- February 2024
- January 2024
- December 2023
- October 2023
- June 2023
- May 2023
- April 2023
- March 2023
- February 2023
- January 2023
- September 2022
- July 2022
- May 2022
- April 2022
- March 2022
- February 2022
- January 2022
- December 2021
- June 2021
- May 2021
- Photo Boo
- デスクトップ通知スケジューラー
- オフライン予約システム
- オフライン予約システム(trancate)
- マラソンペース計算アプリ
- 時給計算アプリ
- ホワイトボード
- Tool(Winパス生成)
- AMAモトクロスマニアッX
- BANGBOOマップ
- えいごたん.jp
- Is This English???
- 無料でセキュリティカメラを設置する
- TOKIO Shock Exchange
- LPIC レベ繝?100
- ICTIL (ITIL)
- DISCO (シスコCCNA)
- Java Lot (Java)
- Jクエネー(jQuery)
- メディアトレーニング
- Hiphop From TV
- BANGBOOナレッジマネジメント
- BANGBOOビジネスカード
