./tdlc [command] --helpを使用してTDLCの使用方法を確認できます。オペレーティングシステム | TDLCバイナリパッケージ ダウンロード先 |
Windows | |
Mac | |
Linux |
tdlcにリネームします。クライアントのコマンドラインを開き、ダウンロードパスに移動します。Mac/Linuxシステムの場合は、chmod +x tdlcコマンドを使用してファイルに実行権限を付与する必要があります。./tdlc を実行した後、以下の内容が正常に表示されれば、インストールが成功し使用可能です。Tencentcloud DLC command tools is used to play around with DLC.With TDLC user can manger engines, execute SQLs and submit Spark Jobs.Usage:tdlc [flags]tdlc [command]Available Commands:confighelp Help about any commandspark Submit spark app to engines.sql Executing SQL.versionFlags:--endpoint string Endpoint of Tencentcloud account. (default "dlc.tencentcloudapi.com")--engine string DLC engine. (default "public-engine")-h, --help help for tdlc--region string Region of Tencentcloud account.--resource-group string DLC resource group name of spark engine.--role-arn string Required by spark jar app.--secret-id string SecretId of Tencentcloud account.--secret-key string SecretKey of Tencentcloud account.--token string Token of Tencentcloud account.Use "tdlc [command] --help" for more information about a command.
グローバルパラメータ | 説明 |
--endpoint string | サービス接続アドレス、デフォルトでは dlc.tencentcloudapi.com を使用します |
--engine string | DLCデータエンジン名、デフォルト値は public-engine です。専用データエンジンの使用をお勧めします。 |
--resource-group string | （任意）DLC標準Sparkエンジンのリソースグループ名、デフォルト値はデフォルトリソースグループ default-rg-xxxx です。 |
--region string | 利用地域。例: ap-nanjing, ap-beijing, ap-guangzhou, ap-shanghai, ap-chengdu, ap-chongqing, na-siliconvalley, ap-singapore, ap-hongkong |
--role-arn string | |
--secret-id string | 腾讯雲アカウントのsecretId |
--secret-key string | 腾讯雲アカウントのsecretKey |
--token string | （任意）Tencent Cloudアカウントの一時トークン |
コマンド | 説明 |
list | 現在のデフォルト設定をリスト表示します |
set | 構成を変更する |
unset | 設定をリセット |
./tdlc config list./tdlc config set secret-id={1} secret-key={2} region={b}./tdlc config unset region
パラメータ | 説明 |
-e, --exec | SQL文を実行します。 |
-f, --file | SQLファイルを実行します。複数のSQLファイルがある場合は、 ;で区切ってください。ローカルパスとCOSパス（cos://{bucket}/{key}またはcosn://{bucket}/{key}）をサポートします。 |
--no-result | 実行後に結果を取得しません。 |
-p, --progress | 実行の進捗を表示します。 |
-q, --quiet | サイレントモードです。タスクを送信した後、タスクの実行状態を待機しません。 |
--conf | Sessionの設定項目です。形式はkey=valueで、繰り返し指定できます。--submit-mode=batch-sqlの場合、任意のSparkネイティブconfを透過的に渡すことができます。 |
--submit-mode | 送信チャネルです。tasks（デフォルト）またはbatch-sqlから選択できます。 |
--driver-size | Driverのスペックです。small / medium / large / xlargeから選択できます。メモリ型クラスタの場合は、m.small / m.medium / m.large / m.xlargeを使用します。 --submit-mode=batch-sqlの場合にのみ有効です。 |
--executor-size | Executorのスペックです。値は--driver-sizeと同じです。--submit-mode=batch-sqlの場合にのみ有効です。 |
--executor-num | Executorの数です。--submit-mode=batch-sqlの場合にのみ有効です。 |
--executor-max-num | Executorの最大数です。--executor-numより大きい場合、動的割り当てが有効になります。--submit-mode=batch-sqlの場合にのみ有効です。 |
--param | 業務パラメータの注入です。形式はkey=valueで、繰り返し指定できます。SQL内の${key}プレースホルダーを置き換えるために使用します。 |
--param-strict | 厳格モードを有効にするかどうかを指定します。デフォルトはtrueです。有効にした場合、SQL内に未置換の${key}プレースホルダーが存在すると、送信前に直接失敗します。 |
--task-name | カスタムタスク名です。ダウンストリームシステムでの表示と識別に使用され、tasksとbatch-sqlの2つの送信モードに適用されます。指定しない場合、カスタムタスク名は設定されません。 |
./tdlc sql -e "SELECT 1" --secret-id aa --secret-key bb --region ap-beijing --engine public-engine --resource-group my-rg./tdlc sql -f ~/biz.sql --no-result
./tdlc sql -f cosn://bucket/path/biz.sql./tdlc sql -e "SELECT 1" --submit-mode batch-sql --driver-size small --executor-size small --executor-num 2 --conf spark.sql.adaptive.enabled=true
コマンド | 説明 |
submit | spark-submitでタスクを送信する |
run | Sparkジョブを実行する |
log | 実行ログの表示 |
list | Sparkジョブの一覧を表示する |
kill | タスクを終了する |
パラメータ | 説明 |
--driver-size | driverのスペックです。デフォルトではsmall、medium、large、xlargeを使用します。メモリ型クラスタの場合は、m.small、m.medium、m.large、m.xlargeを使用します。 |
--executor-size | executorのスペックです。デフォルトではsmall、medium、large、xlargeを使用します。メモリ型クラスタの場合は、m.small、m.medium、m.large、m.xlargeを使用します。 |
--executor-num | executor 数量 |
--files | アップロードされた追加依存ファイル（jar/py以外）です。 ,を使用して区切り、実行時にDriver/Executorの作業ディレクトリ下で直接アクセスできます。 |
--archives | 依存圧縮ファイル |
--class | Java/Scala で実行するメイン関数 |
--jars | 依存するjarパッケージです。 ,を使用して区切ります。 |
--name | プログラム名称 |
--py-files | 依存するPythonファイルです。.zip、.egg、.py形式をサポートします。 |
--conf | 追加構成 |
--network | ネットワーク構成です。構成フォーマットは：--network "network name"となります。 |
--task-name | 今回の実行のタスク名をカスタマイズします。ダウンストリームシステムでの表示と識別に使用されます。指定しない場合、カスタムタスク名は設定されません。このパラメータは、各実行のタスクを識別しますが、Sparkアプリケーションを識別するための --name の代わりにはなりません。 |
./tdlc spark submit --name spark-demo1 --engine sparkjar --jars /root/sparkjar-dep.jar --class com.demo.Example /root/sparkjar-main.jar arg1./tdlc spark submit --name spark-demo2 cosn://bucket1/abc.py arg1./tdlc spark submit --name spark-demo3 --task-name daily-etl-20260730 cosn://bucket1/etl.py
フィードバック