软件开发定制Spark读取CSV文件（Scala）-巴掌软件-高性价比的软件定制开发解决方案

核心代码


import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.types.{DataTypes, StructField, StructType}
 
object ReadCSV {
 
  val schema = new StructType(Array(
    StructField("product_id",DataTypes.StringType),
    StructField("product_name",DataTypes.StringType),
    StructField("enterprise_name",DataTypes.StringType),
    StructField("entry_name",DataTypes.StringType)
  ))
  def main(args: Array[String]): Unit = {
 
    val spark = SparkSession
      .builder()
      .master("local")
      .appName("SNF-Income")
      .getOrCreate()
 
    val salesDF = spark.read
      .option("header", "true")
      .schema(schema)
      .format("csv")
      .load("./data/income_sales.csv")
 
    salesDF.show(10)
  }
 
}

参数说明：

format: 软件开发定制指定读取的文件格式：csv。

: 软件开发定制是否指定首行作为schema。

: 指定数据字段的格式。

option里面的参数说明：

参数	说明
header	默认为falase, 将第一行作为列名
encoding	默认是utf-8, 通过给定的编码类型进行解码
sep	默认是“,”，指单个字符分割字段和值
inferSchema	默认为false, 从数据自动推断输入模式，需要对数据进行一次额外的传递。如：option("inferSchema",true.toString) ; 这是自动推断属性列的数据类型
multiLine	默认为false，解析第一条记录，该记录可能跨越多行。
nullValue	默认是空的字符串，设置null值的字符串形式。从2.0.1开始，适用于所有支持的类型，包括字符串类型
emptyValue	默认是空字符串，设置一个空值的字符串。