今天就跟大家聊聊有關怎么讓CDSW的PySpark自動適配Python版本，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據這篇文章可以有所收獲。

站在用戶的角度思考問題，與客戶深入溝通，找到鎮雄網站設計與鎮雄網站推廣的解決方案，憑借多年的經驗，讓設計與互聯網技術結合，創造個性化、用戶體驗好的作品，建站類型包括：成都做網站、成都網站制作、成都外貿網站建設、企業官網、英文網站、手機端網站、網站推廣、域名與空間、網絡空間、企業郵箱。業務覆蓋鎮雄地區。

在CDH集群中Spark2的Python環境默認為Python2，CDSW在啟動Session時可以選擇Engine Kernel版本Python2或者Python3。當選擇Python3啟動Session時，開發PySpark作業在運行時會報“Python in worker has different version 2.7 than that in driver 3.6, PySpark cannot run with different minor versions.Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set”，為解決Python版本適配的問題，需要進行如下調整來使我們的應用自動的適配Python版本。

基于CDH提供的Anaconda Parcels包來安裝Python，通過在CDH集群同時安裝兩個Python版本的Parcel包來解決多個版本的問題。如果需要在Spark中默認的支持Python2或者Python3版本則激活相應版本的Parcel即可，在我的集群默認激活的為Python2版本的Parcel包，在接下來的操作主要介紹Python3的環境準備。

Spark2默認使用的Python2環境變量

1.Python2版本的Anaconda下載地址如下：

https://repo.anaconda.com/pkgs/misc/parcels/Anaconda-2019.07-el7.parcel
https://repo.anaconda.com/pkgs/misc/parcels/Anaconda-2019.07-el7.parcel.sha
https://repo.anaconda.com/pkgs/misc/parcels/manifest.json

2.Python3版本的Anaconda下載地址如下：

https://repo.anaconda.com/pkgs/misc/parcels/archive/Anaconda-5.1.0.1-el7.parcel
https://repo.anaconda.com/pkgs/misc/parcels/archive/Anaconda-5.1.0.1-el7.parcel.sha
https://repo.anaconda.com/pkgs/misc/parcels/archive/manifest.json

3.將下載好的parcel包部署到集群的私有HTTP服務上

4.使用管理員賬號登錄Cloudera Manager進入Parcel包管理界面配置Anaconda地址

5.完成Parcel地址配置后完成對應版本Parcel包的下載分配即可

上述操作不需要激活，在不激活的情況下PySpark默認使用的Python2環境，如果激活則使用的是Python3環境。

6.確認集群所有節點已存在Python2和Python3的環境

為了能讓我們的Pyspark程序代碼自動適配到不同版本的Python，需要在我們的Spark代碼初始化之前進行環境的初始化，在代碼運行前增加如下代碼實現適配不同版本的Python。

import os
py_environ=os.environ['CONDA_DEFAULT_ENV']
if py_environ=='python2.7':
  os.environ['PYSPARK_PYTHON'] = '/opt/cloudera/parcels/Anaconda/bin/python'
else:
  os.environ['PYSPARK_PYTHON'] = '/opt/cloudera/parcels/Anaconda-5.1.0.1/bin/python'

1.選擇Python2環境啟動Session

2.運行PySpark作業測試正常運行

3.選擇Python3環境啟動Session

4.運行PySpark作業測試正常運行

在集群中同時部署多個版本的Python，通過在Pyspark代碼中使用Python命令動態的指定PYSPARK_PYTHON為我們需要的Python環境即可。

看完上述內容，你們對怎么讓CDSW的PySpark自動適配Python版本有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注創新互聯行業資訊頻道，感謝大家的支持。

分享標題：怎么讓CDSW的PySpark自動適配Python版本
文章來源：http://m.2m8n56k.cn/article0/jdcsio.html

成都網站建設公司_創新互聯，為您提供商城網站、定制網站、App設計、動態網站、服務器托管、網站制作

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯