spark的一些记录


  • standalone模式时的清理

简单科普一下，spark work存放的是一个spark work任务运行的依赖环境和日志输出，集群其他的节点都来这个地方拉取，spark-events存放的是运行日志，history  web就是去的这里的数据。经检查发现是work，已经201G了。
使用spark standalone模式执行任务，每提交一次任务，在每个节点work目录下都会生成一个文件夹，命名规则app-20180212191730-0249。该文件夹下是任务提交时，各节点从主节点下载的程序所需要的资源文件。 这些目录每次执行都会生成，且不会自动清理，执行任务过多会将内存撑爆。将历史没用的work目录下面的app目录删除：
3、解决方案
需要添加定时清理策略，只针对于standalong模式：
在spark-env.sh里面添加如下配置
export SPARK_WORKER_OPTS="
-Dspark.worker.cleanup.enabled=true
-Dspark.worker.cleanup.interval=1800
-Dspark.worker.cleanup.appDataTtl=3600"
 
注：
-Dspark.worker.cleanup.enabled=true：是否开启自动清理
-Dspark.worker.cleanup.interval=1800：清理周期，每隔多长时间清理一次，单位秒
-Dspark.worker.cleanup.appDataTtl=3600：保留最近多长时间的数据
参考：
https://spark.apache.org/docs/latest/spark-standalone.html





评论

发表评论

此博客中的热门博文

Bazel WORKSPACE文件编写

WORKSPACE文件主要就是命名workspace以及声明外部的依赖，这就包括外部依赖的获取方式及获取方法。 外部依赖 https://docs.bazel.build/versions/master/external.html WORKSPACE文件告诉Bazel如何去得到其他的工程源，然后package中的BUILD文件就可以根据WORKSPACE中的外部target名字写依赖关系。 先举个例子来看下在本地的两个工程如何实现依赖关系： / home/ user/ project1/ WORKSPACE BUILD srcs/ ... project2/ WORKSPACE BUILD my-libs/ project1希望能依赖project2/BUILD下的target :foo，需要指明project2可以在 /home/user/project2 中被找到，而且接下来project1的BUILD就可以写依赖关系： @project2//:foo WORKSPACE文件允许用户的目标依赖其他文件系统的目标或者从网上下载的目标。 WORKSPACE文件的语法和BUILD文件一致，不过会用到一些特定的内置rule，细节参考下一个章节的内容。 一共有三种外部依赖的主要类型： 依赖于其他Bazel工程 根据这个Bazel工程所处的位置不同，调用不同的内置rule来获得： local_repository ：本地 git_repository ：git仓库 http_archive ：网络下载 假如现在有个工程 my-project/ ，需要依赖与另一个工程 coworkers-project/ 。这两个都是Bazel工程，那么需要在 my_project/WORKSPACE 下添加： local_repository ( name = "coworkers_project" , path = "/path/to/coworkers-project" , ) 然后对于coworke
阅读全文

Bazel的概念和技术

这个文章应该是要长期不定时更新的，因为涉及到的很多概念的理解，技术的理解，这些内容仅通过初次接触Bazel是远远不到位的，甚至不能保证下面缩写内容的正确性。 从整体上来看Bazel的实际对项目的控制和管理是长这个模样的： 1、Bazel对于源码的组织在一个文件夹之下称之为 workspace （这个文件夹下面包含一个WORKSPACE文件） 2、源码文件被一系列的分层结构的 package 所组织 3、每一个package就是一个包含一系列相关的源码文件以及一个BUILD文件 4、BUILD文件指示了如何从源码中输出build结果 开始一些干货： Workspace 其实workspace就是一个文件夹。这个文件夹下面包含一个 WORKSPACE文件，以及一系列的源码文件，这些源码被package组织起来，也就是在各个package中存在的BUILD文件。 而且随着在workspace中进行bazel build这样的操作（可以不在workspace root目录下build），会在workspace的root目录下面产生诸如：bazel-bin  bazel-genfiles  bazel-java-tutorial  bazel-out  bazel-testlogs这样的输出文件夹（软连接） 当然简单的项目中WORKSPACE文件可以是空文件，但是对于正常的工程来说，这里面要写一些整个工程的 外部依赖 及其书写rules： Workspace Rules ，这两块内容会在下一篇博文中介绍。 Package 在workspace中，代码是被一个个的package所管理，每个带BUILD文件的文件夹就是一个package，这里面包括了自己的源码文件以及规定了内外依赖关系。 package将自己所在的目录下面所有包括子文件夹下面的文件都视为属于自己package的。除非子文件夹下面有存在BUILD文件，那么这个子文件夹就是一个新的package。 Target package是一个容器，那么这个容器里面所包含的元素就是target。大部分的target都属于这两个最主要的类型：files和rules。还有一种target叫package groups。 对于file类型的target，主要
阅读全文

Bazel BUILD文件的编写

除了公共部分BUILD文件可以使用的规则外，还有一些与语言相关的build rule https://docs.bazel.build/versions/master/be/overview.html 这里根据不同的语言，来写整理。 Java Bin rules java_binary java_binary( name ,  deps ,  srcs ,  data ,  resources ,  args ,  classpath_resources ,  compatible_with ,  create_executable ,  deploy_manifest_lines ,  deprecation ,  distribs ,  features ,  javacopts ,  jvm_flags ,  launcher ,  licenses ,  main_class ,  output_licenses ,  plugins ,  resource_jars ,  resource_strip_prefix ,  restricted_to ,  runtime_deps ,  stamp ,  tags ,  testonly ,  toolchains ,  use_testrunner ,  visibility ) build一个java的jar文件，并且套上一个shell的脚本来辅助运行。 隐式的输出target： name.jar name-src.jar name_deploy.jar：这个比较特殊，必须显式的build才会生成，比如 bazel build //package:target_deploy.jar name_deploy-src.jar Lib rules java_import java_import( name ,  deps ,  data ,  compatible_with ,  constraints ,  deprecation ,  distribs ,  exports ,  features ,  jars ,  licenses ,  neverlink ,  proguard_specs ,  restricted_to
阅读全文