Last active
November 19, 2021 02:12
-
-
Save vinothchandar/45f4209cc01daaba99324de390a97406 to your computer and use it in GitHub Desktop.
hudi table config update/delete
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
hudi:hoodie_benchmark->desc | |
╔═════════════════════════════════════════════════╤══════════════════════════════════════════════════════════════════════════════╗ | |
║ Property │ Value ║ | |
╠═════════════════════════════════════════════════╪══════════════════════════════════════════════════════════════════════════════╣ | |
║ basePath │ file:/Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ metaPath │ file:/Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/.hoodie ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ fileSystem │ file ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.name │ hoodie_benchmark ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.recordkey.fields │ key ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.compaction.payload.class │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.type │ MERGE_ON_READ ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.datasource.write.hive_style_partitioning │ false ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.precombine.field │ ts ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.partition.fields │ partition ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.keygenerator.class │ org.apache.hudi.keygen.SimpleKeyGenerator ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.populate.meta.fields │ true ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.archivelog.folder │ archived ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.base.file.format │ PARQUET ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.timeline.layout.version │ 1 ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.version │ 3 ║ | |
╚═════════════════════════════════════════════════╧══════════════════════════════════════════════════════════════════════════════╝ | |
hudi:hoodie_benchmark->table update-configs --props-file /Users/vs/Cache/hudi-test-data/hoodie.properties | |
263781 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableMetaClient - Loading HoodieTableMetaClient from file:///Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/ | |
263798 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableConfig - Loading table properties from file:/Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/.hoodie/hoodie.properties | |
263798 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableMetaClient - Finished Loading Table of type MERGE_ON_READ(version=1, baseFileFormat=PARQUET) from file:///Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/ | |
╔═════════════════════════════════════════════════╤═════════════════════════════════════════════════════════════╤═════════════════════════════════════════════════════════════╗ | |
║ Property │ Old Value │ New Value ║ | |
╠═════════════════════════════════════════════════╪═════════════════════════════════════════════════════════════╪═════════════════════════════════════════════════════════════╣ | |
║ hoodie.archivelog.folder │ archived │ archived123 ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.compaction.payload.class │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.datasource.write.hive_style_partitioning │ false │ true ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.populate.meta.fields │ true │ true ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.base.file.format │ PARQUET │ PARQUET ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.keygenerator.class │ org.apache.hudi.keygen.SimpleKeyGenerator │ org.apache.hudi.keygen.SimpleKeyGenerator ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.name │ hoodie_benchmark │ hoodie_benchmark ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.partition.fields │ partition │ partition ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.precombine.field │ ts │ ts ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.recordkey.fields │ key │ key ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.type │ MERGE_ON_READ │ MERGE_ON_READ ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.version │ 3 │ 3 ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.timeline.layout.version │ 1 │ 1 ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.x.y │ null │ z ║ | |
╚═════════════════════════════════════════════════╧═════════════════════════════════════════════════════════════╧═════════════════════════════════════════════════════════════╝ | |
hudi:hoodie_benchmark->table delete-configs --comma-separated-configs hoodie.x.y,hoodie.a.b | |
277540 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableMetaClient - Loading HoodieTableMetaClient from file:///Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/ | |
277554 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableConfig - Loading table properties from file:/Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/.hoodie/hoodie.properties | |
277555 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableMetaClient - Finished Loading Table of type MERGE_ON_READ(version=1, baseFileFormat=PARQUET) from file:///Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/ | |
╔═════════════════════════════════════════════════╤═════════════════════════════════════════════════════════════╤═════════════════════════════════════════════════════════════╗ | |
║ Property │ Old Value │ New Value ║ | |
╠═════════════════════════════════════════════════╪═════════════════════════════════════════════════════════════╪═════════════════════════════════════════════════════════════╣ | |
║ hoodie.archivelog.folder │ archived123 │ archived123 ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.compaction.payload.class │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.datasource.write.hive_style_partitioning │ true │ true ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.populate.meta.fields │ true │ true ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.base.file.format │ PARQUET │ PARQUET ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.keygenerator.class │ org.apache.hudi.keygen.SimpleKeyGenerator │ org.apache.hudi.keygen.SimpleKeyGenerator ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.name │ hoodie_benchmark │ hoodie_benchmark ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.partition.fields │ partition │ partition ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.precombine.field │ ts │ ts ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.recordkey.fields │ key │ key ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.type │ MERGE_ON_READ │ MERGE_ON_READ ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.version │ 3 │ 3 ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.timeline.layout.version │ 1 │ 1 ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.x.y │ z │ null ║ | |
╚═════════════════════════════════════════════════╧═════════════════════════════════════════════════════════════╧═════════════════════════════════════════════════════════════╝ | |
hudi:hoodie_benchmark->table delete-configs --comma-separated-configs hoodie.x.y,hoodie.a.b | |
310549 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableMetaClient - Loading HoodieTableMetaClient from file:///Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/ | |
310567 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableConfig - Loading table properties from file:/Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/.hoodie/hoodie.properties | |
310568 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableMetaClient - Finished Loading Table of type MERGE_ON_READ(version=1, baseFileFormat=PARQUET) from file:///Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/ | |
╔═════════════════════════════════════════════════╤═════════════════════════════════════════════════════════════╤═════════════════════════════════════════════════════════════╗ | |
║ Property │ Old Value │ New Value ║ | |
╠═════════════════════════════════════════════════╪═════════════════════════════════════════════════════════════╪═════════════════════════════════════════════════════════════╣ | |
║ hoodie.archivelog.folder │ archived123 │ archived123 ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.compaction.payload.class │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.datasource.write.hive_style_partitioning │ true │ true ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.populate.meta.fields │ true │ true ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.base.file.format │ PARQUET │ PARQUET ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.keygenerator.class │ org.apache.hudi.keygen.SimpleKeyGenerator │ org.apache.hudi.keygen.SimpleKeyGenerator ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.name │ hoodie_benchmark │ hoodie_benchmark ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.partition.fields │ partition │ partition ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.precombine.field │ ts │ ts ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.recordkey.fields │ key │ key ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.type │ MERGE_ON_READ │ MERGE_ON_READ ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.version │ 3 │ 3 ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.timeline.layout.version │ 1 │ 1 ║ | |
╚═════════════════════════════════════════════════╧═════════════════════════════════════════════════════════════╧═════════════════════════════════════════════════════════════╝ | |
hudi:hoodie_benchmark->table update-configs --props-file /Users/vs/Cache/hudi-test-data/hoodie.properties.bkp | |
576087 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableMetaClient - Loading HoodieTableMetaClient from file:///Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/ | |
576099 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableConfig - Loading table properties from file:/Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/.hoodie/hoodie.properties | |
576100 [Spring Shell] INFO org.apache.hudi.common.table.HoodieTableMetaClient - Finished Loading Table of type MERGE_ON_READ(version=1, baseFileFormat=PARQUET) from file:///Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/ | |
╔═════════════════════════════════════════════════╤═════════════════════════════════════════════════════════════╤═════════════════════════════════════════════════════════════╗ | |
║ Property │ Old Value │ New Value ║ | |
╠═════════════════════════════════════════════════╪═════════════════════════════════════════════════════════════╪═════════════════════════════════════════════════════════════╣ | |
║ hoodie.archivelog.folder │ archived123 │ archived ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.compaction.payload.class │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.datasource.write.hive_style_partitioning │ true │ false ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.populate.meta.fields │ true │ true ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.base.file.format │ PARQUET │ PARQUET ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.keygenerator.class │ org.apache.hudi.keygen.SimpleKeyGenerator │ org.apache.hudi.keygen.SimpleKeyGenerator ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.name │ hoodie_benchmark │ hoodie_benchmark ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.partition.fields │ partition │ partition ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.precombine.field │ ts │ ts ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.recordkey.fields │ key │ key ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.type │ MERGE_ON_READ │ MERGE_ON_READ ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.version │ 3 │ 3 ║ | |
╟─────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────────╢ | |
║ hoodie.timeline.layout.version │ 1 │ 1 ║ | |
╚═════════════════════════════════════════════════╧═════════════════════════════════════════════════════════════╧═════════════════════════════════════════════════════════════╝ | |
hudi:hoodie_benchmark->desc | |
╔═════════════════════════════════════════════════╤══════════════════════════════════════════════════════════════════════════════╗ | |
║ Property │ Value ║ | |
╠═════════════════════════════════════════════════╪══════════════════════════════════════════════════════════════════════════════╣ | |
║ basePath │ file:/Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ metaPath │ file:/Users/vs/Cache/hudi-test-data/output-mor-smoke/org.apache.hudi/.hoodie ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ fileSystem │ file ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.name │ hoodie_benchmark ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.recordkey.fields │ key ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.compaction.payload.class │ org.apache.hudi.common.model.OverwriteWithLatestAvroPayload ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.type │ MERGE_ON_READ ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.datasource.write.hive_style_partitioning │ false ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.precombine.field │ ts ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.partition.fields │ partition ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.keygenerator.class │ org.apache.hudi.keygen.SimpleKeyGenerator ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.populate.meta.fields │ true ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.archivelog.folder │ archived ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.base.file.format │ PARQUET ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.timeline.layout.version │ 1 ║ | |
╟─────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────╢ | |
║ hoodie.table.version │ 3 ║ | |
╚═════════════════════════════════════════════════╧══════════════════════════════════════════════════════════════════════════════╝ | |
hudi:hoodie_benchmark-> | |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment