etsy版本country字段处理脏数据

Pyspark_job/utils/ehunt_util.py

@@ -55,12 +55,13 @@ NO_VALUES = ['no', 'n', 'false', '0', '否']
 
 
 def country_to_cn(col_name):
-    """国家统一为中文，空串/[] 置空，字典未命中保留原值"""
+    """国家统一为中文：先去掉 [] 和引号（如 ['United States']），空值置空，字典未命中保留清洗后的值"""
     country_map = F.create_map([F.lit(x) for x in chain(*COUNTRY_MAP.items())])
-    country_key = F.lower(F.trim(F.col(col_name)))
+    country_clean = F.trim(F.regexp_replace(F.col(col_name), r"[\[\]'\"]", ''))
+    country_key = F.lower(country_clean)
     return F.when(
-        country_key.isNull() | country_key.isin('', '[]'), F.lit(None)
-    ).otherwise(F.coalesce(country_map[country_key], F.trim(F.col(col_name))))
+        country_key.isNull() | (country_key == ''), F.lit(None)
+    ).otherwise(F.coalesce(country_map[country_key], country_clean))
 
 
 def yes_no_to_cn(col_name):