使用maven方式创建spark项目(配置pom.xml文件)

jonh_felix 发布于2019-08-15 13:29 / 1845人阅读

摘要：创建项目后，在文件中添加如下配置项编译的插件编译的插件打包插件

创建maven项目后，在pom.xml文件中添加如下配置项：


        1.8
        1.8
        2.10.5
        1.6.2
        2.6.4
        UTF-8
    

    
        
            org.apache.spark
            spark-core_2.11
            ${spark.version}
        
        
            org.scala-lang
            scala-library
            ${scala.version}
        
        
            org.apache.hadoop
            hadoop-client
            ${hadoop.version}
        
    

    
        
            
                
                
                    net.alchim31.maven
                    scala-maven-plugin
                    3.2.2
                
                
                
                    org.apache.maven.plugins
                    maven-compiler-plugin
                    3.5.1
                
            
        
        
            
                net.alchim31.maven
                scala-maven-plugin
                
                    
                        scala-compile-first
                        process-resources
                        
                            add-source
                            compile
                        
                    
                    
                        scala-test-compile
                        process-test-resources
                        
                            testCompile
                        
                    
                
            

            
                org.apache.maven.plugins
                maven-compiler-plugin
                
                    
                        compile
                        
                            compile
                        
                    
                
            
            
            
                org.apache.maven.plugins
                maven-shade-plugin
                2.4.3
                
                    
                        package
                        
                            shade
                        
                        
                            
                                
                                    *:*
                                    
                                        META-INF/*.SF
                                        META-INF/*.DSA
                                        META-INF/*.RSA

云服务器 GPU云服务器阿里云pom。xml maven项目 maven管理项目 maven项目部署到云服务器

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/68122.html

maven介绍

摘要：介绍简介编写的用于构建系统的自动化工具。文件的基本配置介绍什么是，项目对象模型。基本设置协作关系组织标识，例如，在目录下，将是目录。 1. Maven介绍 1.1. 简介 java编写的用于构建系统的自动化工具。目前版本是2.0.9，注意maven2和maven1有很大区别，阅读第三方文档时需要区分版本。 1.2. Maven资源 • 见官方网站； • The 5 minu...

xorpay 2019-08-14 11:48 评论0 收藏0
Maven核心概念和日常实践

摘要：项目根目录项目名项目版本号项目目录打包的名字二依赖管理概述通过在配置依赖坐标，会自动帮我们下载依赖的构件。关于父模块的依赖配置注意两点一般都是通过来配置所有依赖及其版本号，然后子模块，在自己的文件中声明依赖即可，不用再指定版本，以确保统一。一、Maven 1.1 为什么写Maven 工欲善其事，必先利其器。如今Java相关开发，基本离不开Maven、Gradle、MAT、Hudson...

894974231 2019-08-14 15:15 评论0 收藏0
利用maven创建Java项目

摘要：原文地址之前写项目的时候，一直利用的这个网站，直接初始化的项目文件。一直没有自己创建过项目。最近再写解析器的时候，由于不需要使用框架，就想着自己利用搭建一个项目。是一个项目管理工具。包含了项目构建的信息，包括项目的信息项目的依赖等。原文地址之前写项目的时候，一直利用的start.spring.io这个网站，直接初始化的项目文件。一直没有自己创建过maven项目。最近再写JSON解析...

894974231 2019-08-16 12:38 评论0 收藏0