pd2csv.py

def pd_2_csv(df1, df2, df3, df4):
    """concat all pandas dfs. 
    One can choose to join rdd dfs itself but I find pandas more easy to work with.
    Pandas work with driver node only, so it is a layer which reduces data on driver.
    from this step ownwards, computing is mo more distributed. To solve this issue one can even use
    pandas pyspark.pandas library: https://spark.apache.org/
    """
    df_concat = pd.concat ([df1, df2, df3, df4], axis=1)
    df_concat.to_csv("cleaned_data.csv", sep=',')
    return df_concat

pd_2_csv(rdd_df_2_pd_df(nlp_pipline_and_clean(df(rdd_l(path)))), \
        rdd_2_address(rdd_l(path)),\
        cleaned2pd_param1(register_apply_udf(rdd_l)),\
        cleaned2pd_param2(register_apply_udf_param2(rdd_l)))


cost	address	cleanedParams1	cleanedParams2
0	21,500,000 Kč	Masná, Praha 1 - Staré Město	[Celková cena:21 500 000 Kč za nemovitost, včetně provize, ID zakázky:32863, Aktualizace:16.02.2021, Stavba:Cihlová, Stav objektu:Po rekonstrukci, Vlastnictví:Osobní]	[Podlaží:2. podlaží, Užitná plocha:136m2, Plocha podlahová:136m2, Topení:Lokální plynové, Energetická náročnost budovy:Třída G - Mimořádně nehospodárná č. 78/2013 Sb. podle vyhlášky]
1	5,200,000 Kč	Velvarská, Horoměřice	[Celková cena:5 200 000 Kč za nemovitost, včetně provize, ID zakázky:729030, Aktualizace:08.02.2021, Stavba:Cihlová, Stav objektu:Velmi dobrý, Vlastnictví:Osobní, Umístění objektu:Klidná část obce, Podlaží:2. podlaží z celkem 3, Užitná plocha:78m2, Plocha podlahová:78m2]	[Parkování:1, Voda:Dálkový vodovod, Topení:Lokální plynové, Odpad:Veřejná kanalizace, Telekomunikace:Internet, Elektřina:230V, Doprava:MHD, Autobus, Energetická náročnost budovy:Třída G - Mimořádně nehospodárná č. 148/2007 Sb. podle vyhlášky, Vybavení:Částečně, Výtah:]
2	10,854,900 Kč	Libušina, Karlovy Vary	[Celková cena:10 854 900 Kč (420 000 EUR) za nemovitost, včetně provize, Aktualizace:26.01.2021, ID:261724, Stavba:Smíšená, Stav objektu:Velmi dobrý, Vlastnictví:Osobní, Podlaží:2. podlaží, Užitná plocha:132m2, Balkón:, Parkování:]	[Voda:Dálkový vodovod, Odpad:Veřejná kanalizace, Doprava:Silnice, MHD, Autobus, Komunikace:Asfaltová, Energetická náročnost budovy:Třída G - Mimořádně nehospodárná, Bezbariérový:, Vybavení:, Výtah:, Typ bytu:Mezonet]
3	5,565,000 Kč	Pod Lipami, Praha 3 - Žižkov	[Celková cena:5 565 000 Kč za nemovitost, včetně provize, Poznámka k ceně:+ poplatky 3.500 ,- Kč, ID zakázky:N03409, Aktualizace:18.02.2021, Stavba:Cihlová, Stav objektu:Velmi dobrý, Vlastnictví:Osobní, Umístění objektu:Klidná část obce, Podlaží:4. podlaží z celkem 6, Užitná plocha:55m2, Plocha podlahová:55m2]	[Balkón:2m2, Sklep:2m2, Topení:Ústřední dálkové, Plyn:Plynovod, Telekomunikace:Telefon, Internet, Kabelová televize, Elektřina:230V, Doprava:Silnice, MHD, Energetická náročnost budovy:Třída G - Mimořádně nehospodárná č. 78/2013 Sb. podle vyhlášky, Vybavení:, Výtah:]
4	1,475,000 Kč	Drnovská, Praha 6 - Ruzyně	[Celková cena:1 475 000 Kč za nemovitost, včetně provize, Poznámka k ceně:včetně právního servisu a provize RK, ID zakázky:0253-NP01146, Aktualizace:11.02.2021, Anuita:4 Kč, Stavba:Cihlová, Stav objektu:Novostavba, Vlastnictví:Družstevní, Převod do OV:Ne, Umístění objektu:Centrum obce, Podlaží:4. podlaží z celkem 6, Užitná plocha:57m2, Plocha podlahová:57m2]	[Balkón:4m2, Sklep:, Garáž:1, Topení:Ústřední dálkové, Odpad:Veřejná kanalizace, Telekomunikace:Kabelová televize, Elektřina:230V, Doprava:MHD, Komunikace:Asfaltová, Energetická náročnost budovy:Třída B - Velmi úsporná č. 78/2013 Sb. podle vyhlášky, Vybavení:, Výtah:]
5	5,500,000 Kč	V Průhoně, Mukařov - Žernovka	[Celková cena:5 500 000 Kč za nemovitost, Poznámka k ceně:cena je včetně provize a služeb RK, ID zakázky:NPDO4772, Aktualizace:15.02.2021, Stavba:Cihlová, Stav objektu:Novostavba, Vlastnictví:Osobní, Umístění objektu:Klidná část obce, Podlaží:1. podlaží z celkem 2, Užitná plocha:66m2]	[Plocha podlahová:66m2, Parkování:2, Rok kolaudace:2020, Voda:Dálkový vodovod, Odpad:Jímka, Telekomunikace:Internet, Doprava:Silnice, Autobus, Komunikace:Dlážděná, Energetická náročnost budovy:Třída B - Velmi úsporná]
6	2,530,000 Kč	Mladoboleslavská, Mělník	[Celková cena:2 530 000 Kč za nemovitost, + provize RK, včetně právního servisu (k jednání), Poznámka k ceně:, 3500, ID zakázky:1579/1830, Aktualizace:15.02.2021, Stavba:Panelová, Stav objektu:Po rekonstrukci, Vlastnictví:Osobní, Podlaží:1. podlaží z celkem 5, Užitná plocha:44m2, Plocha podlahová:44m2]	[Sklep:2m2, Voda:Dálkový vodovod, Topení:Ústřední dálkové, Odpad:Veřejná kanalizace, Telekomunikace:Kabelové rozvody, Elektřina:230V, 400V, Doprava:Vlak, Silnice, MHD, Autobus, Komunikace:Asfaltová, Bezbariérový:]
7	7,511,000 Kč	Grafická, Praha 5 - Smíchov	[Celková cena:7 511 000 Kč za nemovitost, + provize RK, včetně právního servisu, Poznámka k ceně:+ provize RK, ID zakázky:202009Graf, Aktualizace:14.02.2021, Stavba:Cihlová, Stav objektu:Po rekonstrukci, Vlastnictví:Osobní, Umístění objektu:Centrum obce, Podlaží:4. podlaží z celkem 5 včetně 1 podzemního, Užitná plocha:58m2, Datum nastěhování:Ihned, Rok kolaudace:2021]	[Rok rekonstrukce:2020, Voda:Dálkový vodovod, Topení:Ústřední dálkové, Odpad:Veřejná kanalizace, Telekomunikace:Telefon, Internet, Elektřina:230V, Doprava:Vlak, Dálnice, Silnice, MHD, Autobus, Komunikace:Asfaltová, Energetická náročnost budovy:Třída A - Mimořádně úsporná č. 78/2013 Sb. podle vyhlášky, Bezbariérový:, Výtah:, Typ bytu:Mezonet]
8	1,850,000 Kč	Sametová, Liberec - Liberec VI-Rochlice	[Celková cena:1 850 000 Kč za nemovitost, Náklady na bydlení:3000,-Kč, Aktualizace:04.02.2021, ID:695644, Stavba:Panelová, Stav objektu:Před rekonstrukcí, Vlastnictví:Osobní, Umístění objektu:Klidná část obce, Podlaží:10. podlaží, Užitná plocha:33m2]	[Sklep:3m2, Voda:Dálkový vodovod, Topení:Jiné, Odpad:Veřejná kanalizace, Telekomunikace:Telefon, Internet, Kabelová televize, Elektřina:230V, Doprava:MHD, Komunikace:Asfaltová, Výtah:]
9	7,490,000 Kč	Jakubská, Praha 1 - Staré Město	[Celková cena:7 490 000 Kč za nemovitost, včetně provize, ID zakázky:N05057, Aktualizace:26.10.2020, Stavba:Cihlová, Stav objektu:Velmi dobrý, Vlastnictví:Osobní, Podlaží:3. podlaží z celkem 4 včetně 1 podzemního, Užitná plocha:39m2]	[Plocha podlahová:39m2, Sklep:, Datum nastěhování:Ihned, Voda:Dálkový vodovod, Plyn:Plynovod, Energetická náročnost budovy:Třída D - Méně úsporná č. 78/2013 Sb. podle vyhlášky, Vybavení:, Výtah:]