Skip Ribbon Commands
Skip to main content

​​​​​​​

  मायक्रोसॉफ्ट सुरक्षा जोखमीचा शोध


 

BigDL ही अपाचे स्पार्क* करीता एक डिस्ट्रीब्युटेड डीप लर्निंग लायब्ररी आहे. BigDL वापरून आपण स्काला किंवा पायथॉन प्रोग्राम्स सारखे डीप लर्निंग अॅप्लिकेशन लिहू शकता आणि स्केलेबल स्पार्क क्लस्टर्ससारख्या शक्तीचा फायदा घेऊ शकता.

BigDL तैनात करणे सोपे होण्याकरीता, मायक्रोसॉफ्ट आणि इंटेल यांनी Linux (Ubuntu) edition of the Data Science Virtual Machine (DSVM) वर “डिप्लॉय टू अॅझूर” बटण बनवण्याकरीता भागीदारी केलेली आहे.

हे Github वर येथे उपलब्ध आहे https://github.com/Azure/DataScienceVM/tree/master/Extensions/BigDL

नोट: DSVM ची पूर्णपणे तरतूद करण्याकरीता त्याला कदाचित जास्तीत जास्त 10 मिनिटे लागतील - इतका वेळ कॉफी ब्रेक करीता उत्तम आहे ना!

कृपया लक्षात घ्या: वापरण्यास सोपे व्हावे म्हणून DSVM प्रोव्हिजनिंग प्रॉम्प्ट मध्ये SSH पर्यायापेक्षा पासवर्ड पर्याय निवडण्याचा सल्ला आम्ही देत आहोत.

आपले स्वत:चे कस्टम डाटा सायंस VM एक्सटेंशन डिप्लॉयमेंट तयार करणे

अॅझूर रिसोर्स मॅनेजर (ARM) टेम्पलेट वापरतांना पोस्ट प्रोव्हिजनिंग दरम्यान स्क्रिप्ट आपोआप रन करण्याकरीता अॅझूर व्हर्चुअल मशीन्स एक तंत्र प्रदान करतात.

DSVM टीमने याचे दस्तऐवजीकरण Github* वर केलेले आहे,

DSVM एक्सटेंशन लिहण्याची उदाहरणे. https://github.com/Azure/DataScienceVM/tree/master/Extensions

अॅझूर वर VM बनवतांना Linux (Ubuntu) करीता DSVM वर BigDL इंस्टॉल करण्यासाठी टीमने अॅझूर रिसोर्स मॅनेजर (ARM) टेम्पलेट आणि स्क्रिप्ट प्रकाशित केलेली आहे. डिप्लॉय टू अॅझूर बटण क्लिक केल्याने यूजरला अॅझूर पोर्टल विझार्ड http://portal.azure.com वर नेण्यात येते आणि VM बनवण्याची प्रक्रिया दाखवण्यात येते व BigDL इंस्टॉल/कॉन्फिगर करण्याकरीता आवश्यक स्क्रिप्ट आपोआप अंमलात आणली जाते, जेणेकरून VM ची यशस्वीरित्या तरतूद झाल्यानंतर ते वापरण्यास तयार असेल.

वरील दस्तऐवजीकरणानुसार, मशीन कॉन्फिगरेशनकरीता एक्झिक्यूट करण्यासाठी आपल्याला uri फाइल आणि कमांड मधील व्हेरिएबलमध्ये लिंकचा समावेश करणे गरजेचे आहे.

{

  "fileUris": ["<url>"],

  "commandToExecute": "<command-to-execute>"

}

वरील उदाहरणानुसार ही ARM मधील अंमलबजावणी आहे जे येथून घेतलेले आहे https://github.com/Azure/DataScienceVM/blob/master/Extensions/BigDL/azuredeploy.json

 "variables": {

      "location": "[resourceGroup().location]",
      “imagePublisher": "microsoft-ads",
      "imageOffer": "linux-data-science-vm-ubuntu",
      "OSDiskName": "osdiskforlinuxsimple",
      "DataDiskName": "datadiskforlinuxsimple",
      "sku": "linuxdsvmubuntu",
      "nicName": "[parameters('vmName')]",
      "addressPrefix": "10.0.0.0/16",
      "subnetName": "Subnet",
      "subnetPrefix": "10.0.0.0/24",
      "storageAccountType": "Standard_LRS",
      "storageAccountName": "[concat(uniquestring(resourceGroup().id), 'lindsvm')]",
      "publicIPAddressType": "Dynamic",
      "publicIPAddressName": "[parameters('vmName')]",
      "vmStorageAccountContainerName": "vhds",
      "vmName": "[parameters('vmName')]",
      "vmSize": "[parameters('vmSize')]",
      "virtualNetworkName": "[parameters('vmName')]",
      "vnetID": "[resourceId('Microsoft.Network/virtualNetworks',variables('virtualNetworkName'))]",
      "subnetRef": "[concat(variables('vnetID'),'/subnets/',variables('subnetName'))]",
      "fileUris":
https://raw.githubusercontent.com/Azure/DataScienceVM/master/Extensions/BigDL/InstallBigDL.sh,
      "commandToExecute": "bash InstallBigDL.sh"
 },

BigDL Jupyter नोटबुक्स सर्व्हर चालवणे

नमुन्यांना एक्झिक्यूट करण्याकरीता Jupyter* नोटबुक सर्व्हर सुरू करण्यासाठी यूजर थेट /opt/BigDL/run_notebooks.sh चालवू शकतो.

जर आपल्याला BigDL मॅन्युअली इंस्टॉल करायचे असेल

- BigDL मॅन्युअली इंस्टॉल करण्याकरीता इंस्टॉलेशनच्या प्रक्रियेचा क्रम

जर आपल्याजवळ DSVM (Ubuntu) इंस्टंस आधीच असेल तर डाटा सायंस टप्पे बनवण्याकरीता किंवा आपल्याला फक्त जर वरील ऑटोमेटेड टप्पे काय करतात याचा तपशील समजून घ्यायचा असेल.

DSVM वर BigDL चे मॅन्युअल इंस्टॉलेशन

DSVM चे प्रोव्हिजनिंग

सुरवात करण्यापूर्वी, आपल्याला Azure product detail page ला भेट देऊन आणि VM बनवण्याच्या विझार्डच्या सूचनांचे पालन करून लिनक्स (Ubuntu) करीता मायक्रोसॉफ्ट डाटा सायंस व्हर्चुअल मशीनची तरतूद करणे गरजेचे आहे.


 

DSVM चे कॉन्फिगरेशन झाल्यानंतर, त्याचा पब्लिक IP पत्ता किंवा DNS नाव नोट करा, आपल्या पसंतीच्या कनेक्ट टूलद्वारे DSVM शी कनेक्ट होण्याकरीता आपल्याला त्याची गरज भासेल. टेक्स्ट इंटरफेसकरीता SSH किंवा Putty ची शिफारस करण्यात येत आहे. ग्राफिकल इंटरफेसकरीता, मायक्रोसॉफ्ट* X2GO* नावाच्या X क्लायंटची शिफारस करीत आहे.

नोट: जर आपल्या नेटवर्क प्रशासकांना सर्व कनेक्शन आपल्या नेटवर्क प्रॉक्सीमधून जाणे आवश्यक असेल तर आपल्याला आपले प्रॉक्सी सर्व्हर बरोबर कॉन्फिगर करणे गरजेचे आहे. बाय डिफॉल्ट DSVM वर फक्त Xfce* हा सेशन प्रकार समर्थित आहे.

इंटेलचे BigDL बनवणे

रूट मध्ये बदला आणि Github वरून BigDL क्लोन करा, प्रकाशित ब्रांच-0.1 वर स्विच करा:

     sudo –s
     cd /opt
     git clone
https://github.com/intel-anlaytics/BigDL.git
     git checkout branch-0.1

स्पार्क* 2.0 सोबत BigDL बनवणे:

     $ cd BigDL

       $ bash make-dist.sh -P spark_2.0

यशस्वी झाल्यास, आपल्याला खालील संदेश दिसावयास हवा:

 

BigDL चालवण्याकरीता DSVM कॉन्फिगरेशन टप्प्याची उदाहरणे

पायथॉन* 2.7 वर स्विच करा.

     $ source /anaconda/bin/activate root



पायथॉन* च्या आवृत्तीची पुष्टी करा.

     $ python - - version

​​

 

पायथॉन पॅकेज इंस्टॉल करणे

     $ /anaconda/bin/pip install wordcloud

     $ /anaconda/bin/pip install tensorboard

Jupyter* नोटबुक आणि TensorBoard* चालवण्याकरीता स्क्रिप्ट फाइल बनवणे

डायरेक्टरीमध्ये जेथे आपण BigDL लायब्ररी (/opt/BigDL) क्लोन केलेली आहे, एक स्क्रिप्ट बनवा आणि खालील मजकूरासोबत run_notebook.sh चालवा:

#begin run_notebook.sh

#!/bin/bash

#setup paths

BigDL_HOME=~/BigDL

 

#this is needed for MSFT DSVM

export PYTHONPATH=${BigDL_HOME}/pyspark/dl:${PYTHONPATH}

#end MSFT DSVM-specific config

 

#use local mode or cluster mode

#MASTER=spark://xxxx:7077

MASTER="local[4]"

PYTHON_API_ZIP_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-python-api.zip

BigDL_JAR_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-jar-with-dependencies.jar

export PYTHONPATH=${PYTHON_API_ZIP_PATH}:${PYTHONPATH}

export PYSPARK_DRIVER_PYTHON=jupyter

export PYSPARK_DRIVER_PYTHON_OPTS="notebook --notebook-dir=~/notebooks  --ip=* "

 

source ${BigDL_HOME}/dist/bin/bigdl.sh

 

${SPARK_HOME}/bin/pyspark \

    --master ${MASTER} \

    --driver-cores 5  \

    --driver-memory 10g  \

    --total-executor-cores 8  \

    --executor-cores 1  \

    --executor-memory 10g \

    --conf spark.akka.frameSize=64 \

  --properties-file ${BigDL_HOME}/dist/conf/spark-bigdl.conf \

    --py-files ${PYTHON_API_ZIP_PATH} \

    --jars ${BigDL_JAR_PATH} \

    --conf spark.driver.extraClassPath=${BigDL_JAR_PATH} \

    --conf spark.executor.extraClassPath=bigdl-0.1.0--jar-with-dependencies.jar

# end of create_notebook.sh

-----

 

chmod +x run_notebook.sh

त्याच BigDL डायरेक्टरीमध्ये, खालील मजकूरासोबत start_tensorboard.sh बनवा:

#begin start_tensorboard.sh

PYTHONPATH=/anaconda/lib/python2.7/site-packages:$PYTHONPATH

/anaconda/lib/python2.7/site-packages/tensorboard/tensorboard --logdir=/tmp/bigdl_summaries

#end start_tensorboard.sh

कृपया लक्षात घ्या की ‘/anaconda/lib/python2.7/site-packages/’ हे इंस्टॉलेशन करण्यावर अवलंबून आहे आणि DSVM च्या भविष्यातील प्रकाशनामध्ये ते बदलू शकते. त्यामुळे, जर या सूचनांनी आपल्याकरीता नेमके काम केले नाही तर आपल्याला हा पाथ अपडेट करणे गरजेचे असेल.


 

 

लॉग http://10.0.2.4:6006 च्या शेवटी असलेले URL नोट करा. TensorBoard पेन बघण्याकरीता आपल्या DSVM ब्राउजरला त्यासोबत उघडा.

टेक्स्ट वर्गीकरण उदाहरण सुरू करणे

दुसऱ्या टर्मिनल्सवरून बॅश कमांडद्वारे run_notebook.sh आणि start_tensorboard.sh एक्झिक्यूट करा:

       $bash run_notebook.sh

       $bash start_tensorboard.sh

दोन ब्राउजर टॅब उघडा, एक text_classification.ipynb करीता आणि दुसरा TensorBoard करीता.

text_classification उदाहरणाकडे नॅव्हिगेट करा:

http://localhost:YOUR_PORT_NUMBER/notebooks/pyspark/dl/example/tutorial/simple_text_classification/text_classfication.ipynb# —नमुन्याची जागा तपासा.

नोटबुक चालवा. याकरीता काही मिनिटे लागतील. शेवटी, आपल्याला यासारखा एक लॉस ग्राफ दिसेल:

​​​​

 

DSVM वर BigDL च्या इंस्टॉलेशनचे ऑटोमेटिंग

अॅझूर रिसोर्स मॅनेजर (ARM) टेम्पलेट वापरतांना पोस्ट प्रोव्हिजनिंग दरम्यान आपोआप स्क्रिप्ट चालवण्याकरीता अॅझूर व्हर्चुअल मशीन एक तंत्र प्रदान करते. अॅझूर वर VM बनवतांना Linux (Ubuntu) करीता DSVM वर BigDL इंस्टॉल करण्यासाठी Github वर आम्ही अॅझूर रिसोर्स मॅनेजर (ARM) टेम्पलेट आणि स्क्रिप्ट प्रकाशित केलेली आहे. त्याच Github डायरेक्टरीमध्ये एक डिप्लॉय टू अॅझूर बटणसुद्धा आहे जे यूजरला अॅझूर पोर्टल विझार्ड http://portal.azure.com वर घेऊन जाते, जेथे त्यांना VM बनवण्याची प्रक्रिया दाखवण्यात येते व BigDL इंस्टॉल/कॉन्फिगर करण्याकरीता आवश्यक स्क्रिप्ट आपोआप अंमलात आणली जाते, जेणेकरून VM ची यशस्वीरित्या तरतूद झाल्यानंतर ते वापरण्यास तयार असेल. नमुन्यांना एक्झिक्यूट करण्याकरीता Jupyter नोटबुक सर्व्हर सुरू करण्यासाठी यूजर थेट /opt/BigDL/run_notebooks.sh चालवू शकतो.

निष्कर्ष

BigDL विकसित होणे सुरूच आहे आणि त्याला इंटेलच्या समर्पित सॉफ्टवेअर अभियांत्रिकी टीमचा व तसेच ओपन-सोर्स समुदायाचा सुद्धा भक्कम आधार आहे.

संसाधने

​​​​
​​​​​​​​​​​​​​​​​​​​​​​​​​​​

    Read More on....

​​
This site uses Unicode and Open Type fonts for Indic Languages. Powered by Microsoft SharePoint
©2017 Microsoft Corporation. All rights reserved.