Skip Ribbon Commands
Skip to main content

​​​​​​​​​​

Azure एवं DSVM में डिप्लॉय करके BigDL की स्वचालित स्थापना


 

BigDL अपाचे स्पार्क के लिए एक डिस्ट्रिब्यूटेड डीप लर्निंग लाइब्रेरी है* BigDL के इस्तेमाल से, आप Scala या Python जैसी डीप लर्निंग एप्लीकेशन लिख सकते हैं और स्केलेबल स्पार्क क्लस्टर की विशेषताओं का लाभ उठा सकते हैं

BigDL के डिप्लॉय को आसान बनाने के लिए, Microsoft और Intel ने Linux (Ubuntu) edition of the Data Science Virtual Machine (DSVM). के शीर्ष पर "डिप्लॉय टू Azure” बटन बनाने के लिए साझेदारी की है।

यह Github पर https://github.com/Azure/DataScienceVM/tree/master/Extensions/BigDL यहाँ उपलब्ध है।


 

ध्यान दें:  यह DSVM के पूरी तरह चलने में 10 मिनट तक का समय ले सकता है - यह कॉफ़ी पीने के लिए ब्रेक लेने का सबसे सही समय है!

कृपया ध्यान दें:  इस्तेमाल में आसानी के लिए, हम DSVM प्रोविजनिंग प्रांप्ट में SSH विकल्प चुनने के बजाए पासवर्ड विकल्प चुनने की सलाह देते हैं।

अपनी स्वयं की कस्टम डाटा साइंस VM एक्सटेंशन डिप्लॉयमेंट बनाना

Azure रिसोर्स मैनेजर (ARM) टेम्पलेटस का उपयोग करते समय, Azure की वर्चुअल मशीनें प्रोविजनिंग के दौरान स्वचालित रूप से स्क्रिप्ट चलाने के लिए एक कार्यविधि प्रदान करती हैं।

DSVM टीम इन्हें इसे Github* पर प्रलेखित किया है,

DSVM एक्सटेंशन लिखने के उदाहरण:  https://github.com/Azure/DataScienceVM/tree/master/Extensions

टीम ने Azure पर VM बनाते समय Linux (Ubuntu) के लिए DSVM पर BigDL स्थापित करने के लिए स्क्रिप्ट और Azure रिसोर्स मैनेजर (ARM) टेम्पलेट प्रकाशित किया है। डिप्लॉय टू Azure बटन पर क्लिक करने से यह उपयोगकर्ता को Azure पोर्टल विज़ार्ड, http://portal.azure.com पर ले जाता है और उन्हें VM निर्माण प्रक्रिया से अवगत कराता है, और BigDL स्थापित/कॉन्फ़िगर करने के लिए आवश्यक स्क्रिप्ट निष्पादित करता है ताकि यह VM के सफलतापुर्वक व्यवस्थापन के बाद उपयोग के लिए तैयार हो सके।

उक्त प्रलेखन के अनुसार आपको फाइल uri के लिए वेरिएबल के भीतर लिंक और मशीन config के लिए निष्पादित कमांड सम्मिलित करनी होगी

{

  "fileUris": ["<url>"],

  "commandToExecute": "<command-to-execute>"

}

उक्त उदहारण के अनुसार यह ARM के अंदर एक कार्यान्वयन है जिसे https://github.com/Azure/DataScienceVM/blob/master/Extensions/BigDL/azuredeploy.json से लिया गया है।

"variables": {

      "location": "[resourceGroup().location]",
      “imagePublisher": "microsoft-ads",
      "imageOffer": "linux-data-science-vm-ubuntu",
      "OSDiskName": "osdiskforlinuxsimple",
      "DataDiskName": "datadiskforlinuxsimple",
      "sku": "linuxdsvmubuntu",
      "nicName": "[parameters('vmName')]",
      "addressPrefix": "10.0.0.0/16",
      "subnetName": "Subnet",
      "subnetPrefix": "10.0.0.0/24",
      "storageAccountType": "Standard_LRS",
      "storageAccountName": "[concat(uniquestring(resourceGroup().id), 'lindsvm')]",
      "publicIPAddressType": "Dynamic",
      "publicIPAddressName": "[parameters('vmName')]",
      "vmStorageAccountContainerName": "vhds",
      "vmName": "[parameters('vmName')]",
      "vmSize": "[parameters('vmSize')]",
      "virtualNetworkName": "[parameters('vmName')]",
      "vnetID": "[resourceId('Microsoft.Network/virtualNetworks',variables('virtualNetworkName'))]",
      "subnetRef": "[concat(variables('vnetID'),'/subnets/',variables('subnetName'))]",
      "fileUris":
https://raw.githubusercontent.com/Azure/DataScienceVM/master/Extensions/BigDL/InstallBigDL.sh,
      "commandToExecute": "bash InstallBigDL.sh"
 },

BigDL Jupyter नोटबुक सर्वर चलाना

उपयोगकर्ता उदाहरणों को निष्पादित करने के लिए Jupyter* नोटबुक सर्वर शुरू करने के लिए सीधे /opt/BigDL/run_notebooks.sh चला सकता है।

यदि आप मैन्युअल तरीके से BigDL स्थापित करना चाहते हैं

- मैन्युअल तरीके से BigDL स्थापना की चरण-दर-चरण स्थापना प्रक्रिया

यदि आपके पास पहले से DSVM (Ubuntu) का इंस्टैंस है, तो डाटा साइंस चरण बनाने के लिए, या यह जानने के लिए कि उक्त स्वचालित चरण क्या करते हैं, का विवरण समझना चाहते हैं।

DSVM पर BigDL की मैन्युअल स्थापना

DSVM स्थापित करना

शुरू करने से पहले, आपको  Azure product detail page पर जाकर और VM बनाने के लिए विज़र्ड में दिए गए निर्देशों की पालना करते हुए Linux (Ubuntu) के लिए Microsoft डाटा साइंस वर्चुअल मशीन को प्रबंधित करना होगा।


 

जब DSVM कॉन्फ़िगर हो जाता है, इसका सार्वजनिक IP पता या DNS नाम नोट कर लें; आपको इसे अपने पसंदीदा कनेक्ट टूल के माध्यम से DSVM से जोड़ना होगा।  टेक्स्ट इंटरफ़ेस के लिए अनुशंसित टूल SSH या Putty होता है। ग्राफिकल इंटरफ़ेस के लिए, Microsoft* X2GO* नामक X क्लाइंट की अनुशंसा करता है।

ध्यान दें: यदि आपका नेटवर्क व्यवस्थापक चाहता है कि सभी कनेक्शन आपके प्रॉक्सी सर्वर से गुजरें, तो आपको अपना प्रॉक्सी सर्वर सही तरीके से कॉन्फ़िगर करना पड़ सकता है। DSVM पर मूल रूप से समर्थित सैशन का प्रकार Xfce* होता है।

Intel का BigDL बनाना

रूट पर जाएँ और Github से BigDL का क्लोन तैयार करें; रिलीज़ड ब्रांच -0.1 पर स्विच करें:

     sudo –s
     cd /opt
     git clone
https://github.com/intel-anlaytics/BigDL.git
     git checkout branch-0.1

Spark* 2.0 के साथ BigDL का निर्माण करना:

     $ cd BigDL

       $ bash make-dist.sh -P spark_2.0

यदि सफल रहता है, तो आपको निम्नलिखित संदेश नजर आने चाहिए:


 

 

BigDL चलाने के लिए DSVM कॉन्फ़िगरेशन चरणों के उदहारण

Python* 2.7 पर स्विच करें।

$ source /anaconda/bin/activate root



Python*
संस्करण की पुष्टि करें।

$ python - - version
 

Python पैकेजिज़ स्थापित करना

     $ /anaconda/bin/pip install wordcloud

     $ /anaconda/bin/pip install tensorboard

Jupyter* नोटबुक और TensorBoard* चलाने के लिए स्क्रिप्ट फाइलें बनाना

जिस डायरेक्टरी में आपने BigDL लाइब्रेरी (/opt/BigDL) का क्लोन तैयार किया था, उसमें एक स्क्रिप्ट बनाएं, और निम्न सामग्री के साथ run_notebook.sh चलाएँ:

#begin run_notebook.sh

#!/bin/bash

#setup paths

BigDL_HOME=~/BigDL

 

#this is needed for MSFT DSVM

export PYTHONPATH=${BigDL_HOME}/pyspark/dl:${PYTHONPATH}

#end MSFT DSVM-specific config

 

#use local mode or cluster mode

#MASTER=spark://xxxx:7077

MASTER="local[4]"

PYTHON_API_ZIP_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-python-api.zip

BigDL_JAR_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-jar-with-dependencies.jar

export PYTHONPATH=${PYTHON_API_ZIP_PATH}:${PYTHONPATH}

export PYSPARK_DRIVER_PYTHON=jupyter

export PYSPARK_DRIVER_PYTHON_OPTS="notebook --notebook-dir=~/notebooks  --ip=* "

 

source ${BigDL_HOME}/dist/bin/bigdl.sh

 

${SPARK_HOME}/bin/pyspark \

    --master ${MASTER} \

    --driver-cores 5  \

    --driver-memory 10g  \

    --total-executor-cores 8  \

    --executor-cores 1  \

    --executor-memory 10g \

    --conf spark.akka.frameSize=64 \

  --properties-file ${BigDL_HOME}/dist/conf/spark-bigdl.conf \

    --py-files ${PYTHON_API_ZIP_PATH} \

    --jars ${BigDL_JAR_PATH} \

    --conf spark.driver.extraClassPath=${BigDL_JAR_PATH} \

    --conf spark.executor.extraClassPath=bigdl-0.1.0--jar-with-dependencies.jar

# end of create_notebook.sh

-----

 

chmod +x run_notebook.sh

उसी BigDL डायरेक्टरी में, निम्नलिखित सामग्री के साथ start_tensorboard.sh बनाएं:

#begin start_tensorboard.sh

PYTHONPATH=/anaconda/lib/python2.7/site-packages:$PYTHONPATH

/anaconda/lib/python2.7/site-packages/tensorboard/tensorboard --logdir=/tmp/bigdl_summaries

#end start_tensorboard.sh

कृपया ध्यान दें कि ‘/anaconda/lib/python2.7/site-packages/’ स्थापना पर निर्भर होते हैं और भविष्य में DSVM के नए रिलीज़ के साथ बदल सकते हैं। इस लिए, यदि यह निर्देश आपके लिए किसी भी प्रकार से काम नहीं करते हैं, तो आपको यह पाथ अपडेट करना पड़ सकता है।



 

लॉग http://10.0.2.4:6006 के अंत में दिया गया URL नोट करें। TensorBoard पेन देखने के लिए इसके साथ अपना DSVM ब्राउज़र खोलें।

टेक्स्ट वर्गीकरण उदहारण प्रारंभ करना

विभिन्न टर्मिनल से बैश कमांड के माध्यम से run_notebook.sh और start_tensorboard.sh निष्पादित करें:

$bash run_notebook.sh

       $bash start_tensorboard.sh

दो ब्राउज़र टैब खोलें, एक text_classification.ipynb के लिए और दूसरी TensorBoard के लिए।

text_classification उदहारण पर जाएँ:

http://localhost:YOUR_PORT_NUMBER/notebooks/pyspark/dl/example/tutorial/simple_text_classification/text_classfication.ipynb# —नमूने का स्थान देखें।

नोटबुक चलाएँ। इसमें कुछ मिनट लगेंगे। अंत में, आप इस प्रकार का हानि ग्राफ देखेंगे::


 
 
आपका TensorBoard टेक्स्ट वर्गीकरण उदहारण के लिए इस प्रकार दिख सकता है।
 

 

 

DSVM पर BigDL की स्थापना को स्वचालित बनाना

Azure रिसोर्स मैनेजर (ARM) टेम्पलेटस का उपयोग करते समय, Azure की वर्चुअल मशीनें प्रोविजनिंग के दौरान स्वचालित रूप से स्क्रिप्ट चलाने के लिए एक कार्यविधि प्रदान करती हैं।  Github पर, हमने Azure पर VM बनाते समय Linux (Ubuntu) के लिए DSVM पर BigDL स्थापित करने के लिए स्क्रिप्ट और Azure रिसोर्स मैनेजर (ARM) टेम्पलेट प्रकाशित किए थे। उसी Github डायरेक्टरी में एक डिप्लॉय टू Azure बटन भी है, जो उपयोगकर्ता को Azure पोर्टल विज़ार्ड, http://portal.azure.com पर ले जाता है और उन्हें VM निर्माण प्रक्रिया से अवगत कराता है, और BigDL स्थापित/कॉन्फ़िगर करने के लिए आवश्यक स्क्रिप्ट निष्पादित करता है ताकि यह VM के सफलतापुर्वक व्यवस्थापन के बाद उपयोग के लिए तैयार हो सके। उपयोगकर्ता उदाहरणों को निष्पादित करने के लिए Jupyter* नोटबुक सर्वर शुरू करने के लिए सीधे /opt/BigDL/run_notebooks.sh चला सकता है।

निष्कर्ष

BigDL लगातार विकसित हो रहां है और इसे ओपन सोर्स समुदाय के साथ साथ Intel की समर्पित सॉफ्टवेर इंजीनियरिंग टीम का भी समर्थन प्राप्त है।

संसाधन

​​
​​​​​​​​​​​​​​​​​​​​​

Read More on...

​​​​​​​
This site uses Unicode and Open Type fonts for Indic Languages. Powered by Microsoft SharePoint
©2017 Microsoft Corporation. All rights reserved.