鍍金池/ 問(wèn)答/人工智能/ sparksql操作csv排序時(shí)如何進(jìn)行Int類型的排序, 而不是String類

sparksql操作csv排序時(shí)如何進(jìn)行Int類型的排序, 而不是String類型的排序

Dataset<Row> df = spark.read().format("csv").load("C:\\develop\\intellij-workspace\\SparkSqlDemos\\resources\\down.csv");
df.createOrReplaceTempView("down");
Dataset<Row> dfSQL = spark.sql("SELECT * FROM down order by _c3");
//無(wú)法使用CAST關(guān)鍵字
//Dataset<Row> dfSQL = spark.sql("SELECT * FROM down order by CAST(_c3 as SIGNED)");

如何實(shí)現(xiàn)按照Int類型排序

回答
編輯回答
凝雅
.option("inferSchema", true)

見(jiàn): org.apache.spark.sql.DataFrameReader 文檔, 通過(guò)修改option方法中的inferSchema選項(xiàng)為true, 推到數(shù)據(jù)類型為數(shù)值, 而不是一律默認(rèn)為String

2017年4月27日 07:55