Skip Ribbon Commands
Skip to main content

​​​​​​

 Content ‭[1]‬

Azure & DSVM तैनात वापरून BigDL ची स्वचालीत स्थापणूक


 

BigDL ही Apache Spark* खातीर वितरण केल्ली गंभीर अध्ययन लायब्ररी आसा. BigDL वापरून, तुमी गंभीर अध्ययन ऍप्लिकेशनां, जशे Scala वा Python प्रोग्राम्स बरोवंक शकतात आनी Scalable Spark चोंब्यांच्या पावराचो फायदो घेवंक शकतात.

BigDL तैनात करूंक सोंपें जावंक, Microsoft आनी Intel न भागिदारी करून, Linux (Ubuntu) edition of the Data Science Virtual Machine (DSVM) च्या तेमकार “Azure क तैनात बटण निर्माण केला.

हें Github चेर हांगा उपलब्ध आसा https://github.com/Azure/DataScienceVM/tree/master/Extensions/BigDL

​​​

टीपः DSVM ची पुराय वेवस्था करूंक घडये चडावत 10 मिण्टां लागूं येतात काफी घेवपा खातीर योग्य वेळ आसा!

उपकार करून नोंद घेवचीः वापरूंक सोंपें जावचें म्हूण, तुमी DSVM वेवस्था तत्परांत, SSH पर्याय वेंचच्या परस, पासवर्डाचो पर्याय वेंच्चो अशें आमी सुचयतात.

तुमचें स्वताचें कस्टम डेटा विज्ञान VM विस्तृत तैनात निर्माण करप

Azure Resource Manager (ARM) टॅम्पलेट वापरतना, वेवस्था केल्या उपरांत Azure व्हर्च्युअल मशीन, स्क्रिप्ट स्वचालीत चलोवंक एक यंत्रावळी पुरवण करता.

DSVM पंगडान हें सगळें Github* चेर प्रलेखन केलां,

DSVM विस्तृत बरोवपाच्यो देखी. https://github.com/Azure/DataScienceVM/tree/master/Extensions

Azure चेर VM निर्माण करतना, Linux (Ubuntu) खातीर DSVM चेर BigDL स्थापीत करूंक, पंगडान Azure Resource Manager (ARM) टॅम्पलेट आनी स्क्रिप्ट प्रकाशीत केल्या. Azure तैनात करचो बटण क्लिक केल्ल्यान, वापरपी सरळ Azure पोर्टल विझार्डाचेर पावता, http://portal.azure.com आनी VM निर्मिती प्रक्रियेंतल्यान वता, आनी VM येसस्वीपणान प्रावधान करतकूच वापरा खातीर तयार जातकच, BigDL स्थापीत/ कॉन्फिगर करूंक, स्वचालीत आवश्यक स्क्रिप्ट चालीक लायता.

·         Windows VMs चेर कस्टम विस्तृत निर्माण करता https://docs.microsoft.com/en-us/azure/virtual-machines/windows/extensions-customscript

·         Linux VM चेर कस्टम विस्तृत निर्माण करता https://docs.microsoft.com/en-us/azure/virtual-machines/Linux/extensions-customscript

वयल्या प्रलेखना प्रमाणें, तुमी Variabl त फायल uri त लिंक आसपाव करून, Machine config क आदेश चालीक लावंक जाय

{

  "fileUris": ["<url>"],

  "commandToExecute": "<command-to-execute>"

}

वयल्या उदाहरणा प्रमाणें, ही ARM तली अंमलबजावणी आसा, जी हांगा सरल्यान घेतल्या https://github.com/Azure/DataScienceVM/blob/master/Extensions/BigDL/azuredeploy.json

"variables": {

      "location": "[resourceGroup().location]",
      “imagePublisher": "microsoft-ads",
      "imageOffer": "linux-data-science-vm-ubuntu",
      "OSDiskName": "osdiskforlinuxsimple",
      "DataDiskName": "datadiskforlinuxsimple",
      "sku": "linuxdsvmubuntu",
      "nicName": "[parameters('vmName')]",
      "addressPrefix": "10.0.0.0/16",
      "subnetName": "Subnet",
      "subnetPrefix": "10.0.0.0/24",
      "storageAccountType": "Standard_LRS",
      "storageAccountName": "[concat(uniquestring(resourceGroup().id), 'lindsvm')]",
      "publicIPAddressType": "Dynamic",
      "publicIPAddressName": "[parameters('vmName')]",
      "vmStorageAccountContainerName": "vhds",
      "vmName": "[parameters('vmName')]",
      "vmSize": "[parameters('vmSize')]",
      "virtualNetworkName": "[parameters('vmName')]",
      "vnetID": "[resourceId('Microsoft.Network/virtualNetworks',variables('virtualNetworkName'))]",
      "subnetRef": "[concat(variables('vnetID'),'/subnets/',variables('subnetName'))]",
      "fileUris": https://raw.githubusercontent.com/Azure/DataScienceVM/master/Extensions/BigDL/InstallBigDL.sh,
      "commandToExecute": "bash InstallBigDL.sh"
 },

BigDL Jupyter नोटबुक्स सर्वर चलोवप

 

नमुने चालीक लावंक, वापरप्यान Jupyter* नोटबूक सर्वर सुरू करूंक सरळ /opt/BigDL/run_notebooks.sh चलोवं येता.

तुमकां जरी BigDL स्वता हातांनी स्थापीत करपाचें आसल्यार

BigDL स्वता हातांनी स्थापीत करूंक, पांवड्या-पांवड्यान स्थापणुकेची प्रक्रिया

तुमचे कडेन आदींच DSVM (Ubuntu) अवस्था आसल्यार, डेटा विज्ञान पांवडे निर्माण करूंक, वा वयर स्वचालीत पांवडे किदें करतात तें खोलायेन समजुचे खातीर.

DSVM चेर BigDL चें स्वता हातांनी स्थापणूक

DSVM ची वेवस्था

तुमी सुरवात करचे आदीं, तुमी Azure product detail page क भेट दिवन आनी VM निर्मिती विझार्डांतल्यो सुचोवण्यो पाळून, Linux (Ubuntu) खातीर Microsoft डेटा विज्ञान व्हर्च्युअल मशिनाची वेवस्था करची पडटली.

 
 

DSVM जेन्ना कॉन्फिगर करतात, ताचो भौशीक IP नामो वा DNS नांवाची नोंद करची; तुमच्या आवडीच्या कनॅक्ट साधना वरवीं, DSVM क कनॅक्ट करूंक तुमकां ताची गरज आसतली. मजकूर इंटरफेसा खातीर सुचयल्लें साधन म्हणल्यार SSH वा Putty. ग्राफिकल इंटरफेसा खातीर, Microsoft* हो X2GO* नांवांचो X Client सुचयता.

टीपः तुमच्या नॅटवर्क प्रशासकांक तुमच्या नॅटवर्क प्रॉक्सिंतल्यान सगळीं कनॅक्शन्स गेल्लीं आवश्यक आसल्यार, तुमचो प्रॉक्सी सर्वर तुमी सारको कॉन्फिगर करपाची घडये गरज आसतली. DSVM चेर डिफॉल्टान तेंको दिल्लो सत्र प्रकार म्हणल्यार Xfce*.

Intel’s BigDL निर्माण करता

Github तल्यान रूट आनी क्लोन BigDL त बदलचें; रिलिज्ड branch-0.1 चेर स्विच करचें:

     sudo –s
     cd /opt
     git clone
https://github.com/intel-anlaytics/BigDL.git
     git checkout branch-0.1

Spark* 2.0 वरवीं BigDL निर्माण करप

     $ cd BigDL

       $ bash make-dist.sh -P spark_2.0

येसस्वी जाल्यार, तुमी सकयल दिल्ले संदेश पळोवंक जायः

 
 

BigDL चलोवंक DSVM कॉन्फिगरेशन पांवड्यांच्यो देखी

Python* 2.7. चेर स्विच करचें

$ source /anaconda/bin/activate root


Python*
वर्जनाची खात्री करची.

$ python - - version

 
 

Python पॅकेजी स्थापीत करच्यो

     $ /anaconda/bin/pip install wordcloud

     $ /anaconda/bin/pip install tensorboard

Jupyter* नोटबूक आनी TensorBoard* चलोवंक स्क्रिप्ट फायली निर्माण करप

तुमी BigDL लायब्ररी (/opt/BigDL) क्लोन केल्ले डिरॅक्ट्रींत, स्क्रिप्ट निर्माण करची, आनी सकयल दिल्ले सामुग्री वरवीं run_notebook.sh:

#begin run_notebook.sh

#!/bin/bash

#setup paths

BigDL_HOME=~/BigDL

 

#this is needed for MSFT DSVM

export PYTHONPATH=${BigDL_HOME}/pyspark/dl:${PYTHONPATH}

#end MSFT DSVM-specific config

 

#use local mode or cluster mode

#MASTER=spark://xxxx:7077

MASTER="local[4]"

PYTHON_API_ZIP_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-python-api.zip

BigDL_JAR_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-jar-with-dependencies.jar

export PYTHONPATH=${PYTHON_API_ZIP_PATH}:${PYTHONPATH}

export PYSPARK_DRIVER_PYTHON=jupyter

export PYSPARK_DRIVER_PYTHON_OPTS="notebook --notebook-dir=~/notebooks  --ip=* "

 

source ${BigDL_HOME}/dist/bin/bigdl.sh

 

${SPARK_HOME}/bin/pyspark \

    --master ${MASTER} \

    --driver-cores 5  \

    --driver-memory 10g  \

    --total-executor-cores 8  \

    --executor-cores 1  \

    --executor-memory 10g \

    --conf spark.akka.frameSize=64 \

  --properties-file ${BigDL_HOME}/dist/conf/spark-bigdl.conf \

    --py-files ${PYTHON_API_ZIP_PATH} \

    --jars ${BigDL_JAR_PATH} \

    --conf spark.driver.extraClassPath=${BigDL_JAR_PATH} \

    --conf spark.executor.extraClassPath=bigdl-0.1.0--jar-with-dependencies.jar

# end of create_notebook.sh

-----

 

chmod +x run_notebook.sh

समान BigDL डिरॅक्ट्रींत, सकयल दिल्ले सामुग्री वरवीं start_tensorboard.sh निर्माण करचोः

#begin start_tensorboard.sh

PYTHONPATH=/anaconda/lib/python2.7/site-packages:$PYTHONPATH

/anaconda/lib/python2.7/site-packages/tensorboard/tensorboard --logdir=/tmp/bigdl_summaries

#end start_tensorboard.sh

‘/anaconda/lib/python2.7/site-packages/’ ही स्थापणूक- अवलंबीत आसा हाची उपकार करून नोंद घेवची आनी घडये DSVM च्या फुडारांतल्या रिलिजांत बदलूं येता. जरी, ह्यो सुचोवण्यो तुमचे खातीर सारकें काम करिनात जाल्यार, घडये तुमी हो पाथ अद्यावत करपाची गरज आसतली.

 
 

लॉगाचे अखेरेक आशिल्लो URL नोंद करचो  http://10.0.2.4:6006. TensorBoard आदूफ पळोवंक, ताचे वरवीं तुमचो DSVM ब्रावजर उगडचो.

 

मजकूर विभागणी देख लाँच करता

वेगळ्या टर्मिनलांतल्यान बॅश आदेशांतल्यान run_notebook.sh आनी start_tensorboard.sh चालीक लावचें:

$bash run_notebook.sh

       $bash start_tensorboard.sh

दोन ब्रावजरांचे टॅब्स उगडचे, एक text_classification.ipynb खातीर आनी दुसरो TensorBoard .

text_classification देखीचेर नॅविगेट करचें:

http://localhost:YOUR_PORT_NUMBER/notebooks/pyspark/dl/example/tutorial/simple_text_classification/text_classfication.ipynb# — नमुन्याचें ठिकाण तपासचें.

नोटबूक चलोवचो. हाका घडये थोडीं मिण्टां लागूंक शकतात. निमाणे कडेन तुमकां असले तरेचो शेणिल्लो ग्राफ दिसतलोः

 

मजकूर विभागणी देखी खातीर, तुमचो TensorBoard घडये असो दिसतलो.

 

DSVM चेर BigDL ची स्थापणूक ऑटोमेटींग करता

Azure Resource Manager (ARM) टॅम्पलेट वापरतना, वेवस्था केल्या उपरांत Azure व्हर्च्युअल मशीन, स्क्रिप्ट स्वचालीत चलोवंक एक यंत्रावळी पुरवण करता. Azure चेर VM निर्माण करतना, Linux (Ubuntu) खातीर DSVM चेर BigDL स्थापीत करूंक, आमी  Github चेर Azure टॅम्पलेट आनी स्क्रिप्ट प्रकाशीत केल्या. तेच Github डिरॅक्ट्रीचेर, Azure तैनात करचो बटण आसा, जो क्लिक केल्ल्यान, वापरपी सरळ Azure पोर्टल विझार्डाचेर पावता, आनी VM निर्मिती प्रक्रियेंतल्यान वता, आनी VM येसस्वीपणान प्रावधान करतकूच वापरा खातीर तयार जातकच, BigDL स्थापीत/ कॉन्फिगर करूंक, स्वचालीत आवश्यक स्क्रिप्ट चालीक लायता. नमुने चालीक लावंक, वापरप्यान Jupyter* नोटबूक सर्वर सुरू करूंक सरळ /opt/BigDL/run_notebooks.sh चलोवं येता.

निश्कर्श

BigDL हें विकसीत जायत आसा आनी उक्तो-स्त्रोत समुदायेचो तसोच Intel’s चे निश्ठावंत सॉफ्टवॅर इंजिनियरींग पंगडाचो भरपूर तेंको मेळत आसा.

स्त्रोत

Linux VM चेर कस्टम विस्तृत निर्माण करता https://docs.microsoft.com/en-us/azure/virtual-machines/Linux/extensions-customscript

 Content ‭[2]‬

​​​​​​​​​

Read More on...

​ ​​​​​​
This site uses Unicode and Open Type fonts for Indic Languages. Powered by Microsoft SharePoint
©2017 Microsoft Corporation. All rights reserved.