周增长数据导出到周趋势表 增大内存

Pyspark_job/sqoop_export/dim_st_detail_week.py

@@ -134,7 +134,8 @@ if __name__ == '__main__':
 
     # 第2步：Spark SQL 从 dim_st_detail_week 写入 dwt_st_base_report
     print("================================写入周趋势数据到Hive================================")
-    spark = SparkUtil.get_spark_session(f"export_dim_st_detail_week_trend:{site_name} {date_type} {date_info}")
+    #  V3  分配了资源 dim_st_detail_week的周数据量比较大默认的可能读写资源不够 卡住
+    spark = SparkUtil.get_spark_sessionV3(f"export_dim_st_detail_week_trend:{site_name} {date_type} {date_info}")
     dwt_hive_tb = "dwt_st_base_report"
     dwt_hdfs_path = f"/home/big_data_selection/dwt/{dwt_hive_tb}/site_name={site_name}/date_type=week/date_info={date_info}"
     print(f"清除hdfs目录中数据:{dwt_hdfs_path}")