EMR cluster definition for boto3

boto3_emr_cluster_definition.py

CLUSTER_DEFINITION = {
    'Name': 'name',
    'Instances': {
        'InstanceGroups': [
            {
                'Name': 'Master',
                'Market': 'SPOT',
                'InstanceRole': 'MASTER',
                'BidPrice': '1',
                'InstanceType': 'r4.2xlarge',
                'InstanceCount': 1
                'EbsConfiguration': {
                    'EbsBlockDeviceConfigs': [
                        {
                            'VolumeSpecification': {
                                'SizeInGB': 256,
                                'VolumeType': 'gp2'
                            },
                            'VolumesPerInstance': 1
                        }],
                    'EbsOptimized': True
                }
            },
            {
                'Name': 'Executors',
                'Market': 'SPOT',
                'InstanceRole': 'CORE',
                'BidPrice': '0.8',
                'InstanceType': 'c5d.9xlarge',
                'InstanceCount': 20
                'EbsConfiguration': {
                    'EbsBlockDeviceConfigs': [
                        {
                            'VolumeSpecification': {
                                'SizeInGB': 256,
                                'VolumeType': 'gp2'
                            },
                            'VolumesPerInstance': 1
                        }],
                    'EbsOptimized': True
                }
            }],
        'Ec2KeyName': ''
    },
    'BootstrapActions': [
        {
            'Name': 'Installing dependencies',
            'ScriptBootstrapAction': {
                'Path': 's3://emr_bootstrap.sh'
            }
        }
    ],
    'AutoTerminate': False
}