Union two DataFrames with different amounts of columns in spark

spark_udf_concat_dataframe.scala

import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.functions._

def concat(df1: DataFrame, df2: DataFrame): DataFrame = {
    
    val cols1 = df1.columns.toSet
    val cols2 = df2.columns.toSet
    val total = cols1 ++ cols2 // union

    def expr(myCols: Set[String], allCols: Set[String]) = {
        allCols.toList.map(x => x match {
            case x if myCols.contains(x) => col(x)
            case _ => lit(null).as(x)
        })
    }

    df1.select(expr(cols1, total):_*)
}