14 | Spark SQL 的 DataFrame API 读取CSV 操作

服务器托管网

sales.csv 内容

date,category,product,full_name,sales
2023-01-01,Electronics,Laptop,John Smith,1200.0
20服务器托管网23-01-02,Electronics,Smartphone,Jane Doe,800.0
2023-01-03,Books,Novel,Michael Johnson,15.0
2023-01-04,Electronics,Tablet,Emily Wilson,450.0
2023-01-05,Books,Textbook,James Brown,40.0

当使用 Spark SQL 的 DataFrame API 读取 CSV 文件时，你可以按照以下步骤进行操作。

package com.sparksql.operation;

import org.apache.spark.sql.*;

import org.apache.spark.sql.expressions.*;

import static org.apache.spark.sql.functions.*;


public class SparkDataFrame {

    public static void main(String[] args) {
        // 创建 SparkSession
        SparkSession spark = SparkSession.builder()
                .appName("SparkDataFrameTutorial")
                .master("local[*]")
                .getOrCreate();

        // 读取包含日期的 CSV 文件
        String csvPath = SparkDataFrame.class.getClassLoader().getResource("sparksqldata/sales.csv").getPat

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net

相关推荐: 使用Skonsole自动生成Git提交信息

使用Skonsole自动生成Git提交信息 随着LLM应用的普及，日常工作中的很多使用都可以使用LLM来完成，比如Git提交信息的生成。 Skonsole是一个基于Semantic Kernel的命令行小工具，集成了Git提交信息生成、PR内容生成、PR评审等…