Modex big data scenario

big_data.py

import requests
import json
import ijson
import rapidjson
import simplejson

CONNECTOR_URL = "https://modex.rl-institut.de/scenario/id/"
SCENARIO_ID = 42


def get_scenario_data(scenario_id):
    print(f"Requesting data for scenario #{scenario_id}...")
    response = requests.get(
        CONNECTOR_URL + str(scenario_id),
        {"mapping": "dashboard", "source": "modex_output"},
        timeout=10000,
        verify=False,
    )
    print(f"Loading data for scenario #{scenario_id}...")
    return response.text


content = get_scenario_data(SCENARIO_ID)
data = json.loads(content)
# data = rapidjson.loads(content)
# data = simplejson.loads(content)
print(data["oed_scalars"][0])

# print(next(ijson.items(content, "oed_scalars.item")))