Skip Ribbon Commands
Skip to main content

​​​​​​​​

Azure & DSVM ରେ ନିୟୋଜନ କରି BigDL ର ସ୍ୱୟଂଚାଳିତ ସ୍ଥାପନା

​​

BigDL ହେଉଛି Apache Spark* ପାଇଁ ଏକ ବିସ୍ତୃତ ଗଭୀର ପଠନ ଲାଇବ୍ରେରୀ। BigDL ବ୍ୟବହାର କରି, ଆପଣ ଗଭୀର ପଠନ ଏପ୍ଲିକେସନ୍‌ଗୁଡ଼ିକୁ Scala କିମ୍ବା Python ପ୍ରଗ୍ରାମ ଭାବରେ ଲେଖିପାରିବେ ଏବଂ ସ୍କେଲେବଲ୍‌ ସ୍ପାର୍କ କ୍ଲଷ୍ଟରଗୁଡ଼ିକର ଶକ୍ତିର ଲାଭ ଉଠାଇପାରିବେ

BigDL ର ନିୟୋଜନକୁ ସହଜମୟ କରିବା ପାଇଁ, Microsoft ଏବଂ Intel ମିଳିତ ଭାବରେ Linux (Ubuntu) edition of the Data Science Virtual Machine (DSVM) ଉପରେ Azure ରେ ନିୟୋଜନ ବଟନ ସୃଷ୍ଟି କରିଛନ୍ତି।

ଏହା Github ରେ https://github.com/Azure/DataScienceVM/tree/master/Extensions/BigDL  ଠାରେ ଉପଲବ୍ଧ

 

ଟିପ୍ପଣୀ: DSVM କୁ ସମ୍ପୂର୍ଣ୍ଣ ଭାବରେ ନିୟୋଜନ କରିବା ପାଇଁ ହୁଏତଃ ପାଖାପାଖି 10 ମିନିଟ ସମୟ ଲାଗିପାରେକୋଫି ବ୍ରେକ ପାଇଁ ଉପଯୁକ୍ତ ସମୟ!

ଦୟାକରି ମନେରଖନ୍ତୁ: ବ୍ୟବହାର ଉପଯୋଗୀ କରିବା ପାଇଁ, DSVM ନିୟୋଜନ ସମୟରେ ଆମେ ପ୍ରବେଶ ସଂକେତ ବିକଳ୍ପକୁ SSH ବିକଳ୍ପ ତୁଳନାରେ ବାଛିବା ପାଇଁ ପରାମର୍ଶ ଦେଇଥାଉ।

 

ଆପଣଙ୍କର ନିଜର ଇଚ୍ଛାମୁତାବକ ଡାଟା ସାଇନସ୍‌ VM ଏକ୍ସଟେନସନ୍‌ ନିୟୋଜନଗୁଡ଼ିକୁ ପ୍ରସ୍ତୁତ କରୁଅଛି

Azure ଭର୍ଚ୍ୟୁଆଲ ମେସିନ ନିୟୋଜନ ପରବର୍ତ୍ତୀ ସମୟରେ Azure ଉତ୍ସ ପରିଚାଳକ (ARM) ନମୁନା ବ୍ୟବହାର କରି ସ୍କ୍ରିପ୍ଟ ଚଲାଇବା ପାଇଁ ଏକ ସ୍ୱୟଂଚାଳିତ କୌଶଳ ପ୍ରଦାନ କରିଥାଏ।

DSVM ସମୂହ ଏହାକୁ Github* ରେ ଦଲିଲଭୁକ୍ତ କରିଛନ୍ତି,

DSVM ଏକ୍ସଟେନସନ୍‌ଗୁଡ଼ିକୁ ଲେଖିବାର ଉଦାହରଣଗୁଡ଼ିକ। https://github.com/Azure/DataScienceVM/tree/master/Extensions

Azure ଉପରେ VM ସୃଷ୍ଟି କରିବା ସମୟରେ ଏହି ସମୂହ Azure ଉତ୍ସ ପରିଚାଳକ (ARM) ନମୁନା ଏବଂ BigDL କୁ DSVM ଉପରେ Linux (Ubuntu) ପାଇଁ ସ୍ଥାପନ କରିବାକୁ ଥିବା ସ୍କ୍ରିପ୍ଟକୁ ପ୍ରକାଶ କରିଛି। Azure ରେ ନିୟୋଜିତ କରନ୍ତୁ ବଟନକୁ କ୍ଲିକ କରିବା ଫଳରେ ତାହା ବ୍ୟବହାରକାରୀଙ୍କୁ Azure ପୋର୍ଟାଲ ୱିଜର୍ଡକୁ ନେଇଥାଏ, http://portal.azure.com  ଏବଂ ସେମାନଙ୍କୁ VM ସୃଷ୍ଟି ପଦ୍ଧତି ବିଷୟରେ ଜଣାଇଥାଏ, ଏବଂ BigDL ସ୍ଥାପନ/ବିନ୍ୟାସ କରିବା ପାଇଁ ସ୍ୱୟଂଚାଳିତ ଭାବରେ ଆବଶ୍ୟକୀୟ ସ୍କ୍ରିପ୍ଟକୁ ଚଲାଇଥାଏ ଯାହାଫଳରେ VM ର ସଫଳତମ ନିୟୋଜନ ପରେ ତାହାକୁ ବ୍ୟବହାର କରିବା ପ୍ରସ୍ତୁତ ହୋଇଥାଏ।

ଉପରେ ଥିବା ଦଲିଲ ଅନୁସାରେ ଆପଣଙ୍କୁ ଫାଇଲ uri ରେ ସେହି ପ୍ରାଚଳ ମଧ୍ଯରେ ଲିଙ୍କଟିକୁ ଏବଂ ମେସିନ ବିନ୍ୟାସ ପାଇଁ ନିଷ୍ପାଦନ ହେବାକୁ ଥିବା ନିର୍ଦ୍ଦେଶକୁ ଅନୁର୍ଭୁକ୍ତ କରିବାକୁ ହେବ

{

  "fileUris": ["<url>"],

  "commandToExecute": "<command-to-execute>"

}

ଉପରେ ଥିବା ଉଦାହରଣ ଅନୁସାରେ ଏହା ହେଉଛି ARM ରେ ହୋଇଥିବା ନିୟୋଜନ ଯାହାକୁ https://github.com/Azure/DataScienceVM/blob/master/Extensions/BigDL/azuredeploy.json ରୁ ନିଆଯାଇଛି

 "variables": {

      "location": "[resourceGroup().location]",
      “imagePublisher": "microsoft-ads",
      "imageOffer": "linux-data-science-vm-ubuntu",
      "OSDiskName": "osdiskforlinuxsimple",
      "DataDiskName": "datadiskforlinuxsimple",
      "sku": "linuxdsvmubuntu",
      "nicName": "[parameters('vmName')]",
      "addressPrefix": "10.0.0.0/16",
      "subnetName": "Subnet",
      "subnetPrefix": "10.0.0.0/24",
      "storageAccountType": "Standard_LRS",
      "storageAccountName": "[concat(uniquestring(resourceGroup().id), 'lindsvm')]",
      "publicIPAddressType": "Dynamic",
      "publicIPAddressName": "[parameters('vmName')]",
      "vmStorageAccountContainerName": "vhds",
      "vmName": "[parameters('vmName')]",
      "vmSize": "[parameters('vmSize')]",
      "virtualNetworkName": "[parameters('vmName')]",
      "vnetID": "[resourceId('Microsoft.Network/virtualNetworks',variables('virtualNetworkName'))]",
      "subnetRef": "[concat(variables('vnetID'),'/subnets/',variables('subnetName'))]",
      "fileUris":
https://raw.githubusercontent.com/Azure/DataScienceVM/master/Extensions/BigDL/InstallBigDL.sh,
      "commandToExecute": "bash InstallBigDL.sh"
 },

BigDL  Jupyter ନୋଟବୁକ୍‌ ସର୍ଭରକୁ ଚଲାଇବା

ନମୁନାକୁ ନିଷ୍ପାଦନ କରିବା ପାଇଁ ଏକ Jupyter* ନୋଟବୁକ୍‌ ସର୍ଭରକୁ ଆରମ୍ଭ କରିବା ପାଇଁ ବ୍ୟବହାରକାରୀ ସିଧାସଳଖ ଭାବରେ /opt/BigDL/run_notebooks.sh କୁ ଚଲାଇପାରିବେ।

ଯଦି ଆପଣ BigDL କୁ ମାନୁଆଲ ସ୍ଥାପନ କରିବାକୁ ଚାହୁଁଛନ୍ତି

- BigDL କୁ ମାନୁଆଲ ସ୍ଥାପନ କରିବା ପାଇଁ ପଦକ୍ଷେପ ଅନୁଯାୟୀ ସ୍ଥାପନ ପଦ୍ଧତି

ଯଦି ଆପଣଙ୍କ ପାଖରେ DSVM (Ubuntu) ଅଛି ଏବଂ ଆପଣ ଡାଟା ବିଜ୍ଞାନ ପଦକ୍ଷେପଗୁଡ଼ିକୁ ସୃଷ୍ଟି କରିବା ପାଇଁ ଚାହୁଁଛନ୍ତି, କିମ୍ବା ଯଦି ଜାଣିବାକୁ ଚାହୁଁଛନ୍ତି ଉପରଲିଖିତ ସେହି ସ୍ୱୟଂଚାଳିତ ପଦକ୍ଷେପଗୁଡ଼ିକ କେମିତି କାମ କରିଥାଏ।

DSVM ଉପରେ BigDL ର ମାନୁଆଲ ସ୍ଥାପନ

DSVM ନିୟୋଜନ

ଆରମ୍ଭ କରିବା ପୂର୍ବରୁ, ଆପଣଙ୍କୁ Linux (Ubuntu) ପାଇଁ Microsoft ଡାଟା ସାଇନସ୍ ଭର୍ଚୁଆଲ ମେସିନକୁ ନିୟୋଜନ କରିବା ଆବଶ୍ୟକ Azure product detail page  କୁ ପରିଦର୍ଶନ କରି ଏବଂ VM ସୃଷ୍ଟି ୱିଜର୍ଡରେ ନିର୍ଦ୍ଦେଶାବଳୀକୁ ଅନୁସରଣ କରି।

 

DSVM ବିନ୍ୟାସିତ ହେବା ସମୟରେ, ଏହାର ପବ୍ଲିକ IP ଠିକଣା କିମ୍ବା DNS ନାମର ଏକ ତାଲିକା ପ୍ରସ୍ତୁତ କରନ୍ତୁ; ପସନ୍ଦ କରିଥିବା ସଂଯୋଗ ସାଧନ ମାଧ୍ଯମରେ DSVM ସହିତ ସଂଯୋଗ କରିବା ପାଇଁ ଆପଣ ଏହାକୁ ଆବଶ୍ୟକ କରିପାରନ୍ତି।  ପାଠ୍ୟ ଅନ୍ତରାପୃଷ୍ଠ ପାଇଁ ପରାମର୍ଶିତ ସାଧନ ହେଉଛି SSH କିମ୍ବା Putty. ଗ୍ରାଫିକାଲ ଅନ୍ତରାପୃଷ୍ଠ ପାଇଁ, Microsoft* X2GO* ନାମକ ଏକ X କ୍ଲାଏଣ୍ଟ ପରାମର୍ଶ କରିଥାଏ।

ଟିପ୍ପଣୀ: ଯଦି ଆପଣଙ୍କର ନେଟୱର୍କ ପ୍ରଶାସକ ଆବଶ୍ୟକ କରନ୍ତି ଯେ ସମସ୍ତ ସଂଯୋଗଗୁଡ଼ିକ ଆପଣଙ୍କର ନେଟୱର୍କ ପ୍ରକ୍ସି ମାଧ୍ୟ ଦେଇ ଯାଉ, ତେବେ ଆପଣଙ୍କୁ ହୁଏତଃ ସଠିକ ଭାବରେ ପ୍ରକ୍ସି ସର୍ଭର ବିନ୍ୟାସ କରିବାକୁ ପଡ଼ିପାରେ। DSVM ଉପରେ ସହାୟତାପ୍ରାପ୍ତ କେବଳମାତ୍ର ସେଶନ୍‌ ପ୍ରକାର ହେଉଛି Xfce*.

Intel BigDL ନିର୍ମାଣ

root କୁ ଯାଆନ୍ତୁ ଏବଂ BigDL କୁ Github ରୁ କ୍ଲୋନ କରନ୍ତୁ; ପ୍ରକାଶିତ ଶାଖା branch-0.1 କୁ ବଦଳାନ୍ତୁ:

     sudo –s
     cd /opt
     git clone
https://github.com/intel-anlaytics/BigDL.git
     git checkout branch-0.1

Spark* 2.0 ସହିତ BigDL ନିର୍ମାଣ:

     $ cd BigDL

       $ bash make-dist.sh -P spark_2.0

ଯଦି ସଫଳ ହୁଅନ୍ତି, ତେବେ ଆପଣ ନିମ୍ନଲିଖିତ ସନ୍ଦେଶଗୁଡ଼ିକୁ ଦେଖିପାରିବେ:

 

BigDL ଚଲାଇବା ପାଇଁ DSVM ବିନ୍ୟାସ ପଦକ୍ଷେପଗୁଡ଼ିକର ଉଦାହରଣ

Python* 2.7 କୁ ବଦଳାନ୍ତୁ

     $ source /anaconda/bin/activate root



Python*
ସଂସ୍କରଣକୁ ସୁନିଶ୍ଚିତ କରନ୍ତୁ।

     $ python - - version

 
 
 

Python ପ୍ୟାକେଜଗୁଡ଼ିକୁ ସ୍ଥାପନ କରନ୍ତୁ

     $ /anaconda/bin/pip install wordcloud

     $ /anaconda/bin/pip install tensorboard

Jupyter* ନୋଟବୁକ୍‌ ଏବଂ TensorBoard* କୁ ଚଲାଇବା ପାଇଁ ସ୍କ୍ରିପ୍ଟ ଫାଇଲଗୁଡ଼ିକୁ ସୃଷ୍ଟି କରୁଅଛି

ଯେଉଁ ଡିରେକ୍ଟୋରୀରେ ଆପଣ BigDL ଲାଇବ୍ରେରୀକୁ କ୍ଲୋନ କରିଛନ୍ତି (/opt/BigDL) ସେଥିରେ, ଏକ ସ୍କ୍ରିପ୍ଟ ପ୍ରସ୍ତୁତ କରନ୍ତୁ, ଏବଂ ନିମ୍ନଲିଖିତ ବିଷୟବସ୍ତୁ ସହିତ run_notebook.sh କୁ ଚଲାନ୍ତୁ:

#begin run_notebook.sh

#!/bin/bash

#setup paths

BigDL_HOME=~/BigDL

 

#this is needed for MSFT DSVM

export PYTHONPATH=${BigDL_HOME}/pyspark/dl:${PYTHONPATH}

#end MSFT DSVM-specific config

 

#use local mode or cluster mode

#MASTER=spark://xxxx:7077

MASTER="local[4]"

PYTHON_API_ZIP_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-python-api.zip

BigDL_JAR_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-jar-with-dependencies.jar

export PYTHONPATH=${PYTHON_API_ZIP_PATH}:${PYTHONPATH}

export PYSPARK_DRIVER_PYTHON=jupyter

export PYSPARK_DRIVER_PYTHON_OPTS="notebook --notebook-dir=~/notebooks  --ip=* "

 

source ${BigDL_HOME}/dist/bin/bigdl.sh

 

${SPARK_HOME}/bin/pyspark \

    --master ${MASTER} \

    --driver-cores 5  \

    --driver-memory 10g  \

    --total-executor-cores 8  \

    --executor-cores 1  \

    --executor-memory 10g \

    --conf spark.akka.frameSize=64 \

  --properties-file ${BigDL_HOME}/dist/conf/spark-bigdl.conf \

    --py-files ${PYTHON_API_ZIP_PATH} \

    --jars ${BigDL_JAR_PATH} \

    --conf spark.driver.extraClassPath=${BigDL_JAR_PATH} \

    --conf spark.executor.extraClassPath=bigdl-0.1.0--jar-with-dependencies.jar

# end of create_notebook.sh

-----

 

chmod +x run_notebook.sh

ସେହି BigDL ଡିରେକ୍ଟୋରୀରେ, ନିମ୍ନଲିଖିତ ବିଷୟବସ୍ତୁକୁ ନେଇ start_tensorboard.sh ସୃଷ୍ଟି କରନ୍ତୁ:

#begin start_tensorboard.sh

PYTHONPATH=/anaconda/lib/python2.7/site-packages:$PYTHONPATH

/anaconda/lib/python2.7/site-packages/tensorboard/tensorboard --logdir=/tmp/bigdl_summaries

#end start_tensorboard.sh

ଦୟାକରି ମନେରଖନ୍ତୁ ଯେ ‘/anaconda/lib/python2.7/site-packages/’ ହେଉଛି ସ୍ଥାପନ-ନିର୍ଭରଶୀଳ ଏବଂ ହୁଏତଃ DSVM ର ପରବର୍ତ୍ତୀ ପ୍ରକାଶନରେ ପରିବର୍ତ୍ତିତ ହୋଇପାରେ। ତେଣୁ, ଯଦି ଏହି ନିର୍ଦ୍ଦେଶଗୁଡ଼ିକ ଆପଣଙ୍କ ପାଇଁ କାମ ନକରୁଛି, ତେବେ ଆପଣଙ୍କୁ ଏହି ପଥକୁ ଅପଡେଟ୍‌ କରିବାକୁ ହେବ।

 

ଲଗ ଶେଷରେ ଏହି URL କୁ ଲେଖିରଖନ୍ତୁ http://10.0.2.4:6006. TensorBoard ଫଳକକୁ ଦେଖିବା ପାଇଁ ଏହା ସହିତ ଆପଣଙ୍କର DSVM ବ୍ରାଉଜରକୁ ଖୋଲନ୍ତୁ।

ଏକ ପାଠ୍ୟ ବିଭକ୍ତିକରଣ ଉଦାହରଣ ଆରମ୍ଭ କରୁଅଛି

run_notebook.sh ଏବଂ start_tensorboard.sh କୁ bash ନିର୍ଦ୍ଦେଶଗୁଡ଼ିକ ସହାୟତାରେ ଭିନ୍ନ ଟର୍ମିନାଲରୁ ନିଷ୍ପାଦନ କରନ୍ତୁ:

       $bash run_notebook.sh

       $bash start_tensorboard.sh

ଦୁଇଟି ବ୍ରାଉଜର ଟ୍ୟାବ୍‌ ଖୋଲନ୍ତୁ, ଗୋଟିଏ text_classification.ipynb  ପାଇଁ ଏବଂ ଅନ୍ୟଟି TensorBoard ପାଇଁ।

text_classification ଉଦାହରଣ ପାଖକୁ ଯାଆନ୍ତୁ:

http://localhost:YOUR_PORT_NUMBER/notebooks/pyspark/dl/example/tutorial/simple_text_classification/text_classfication.ipynb# —ନମୁନାର ସ୍ଥିତିକୁ ଦେଖନ୍ତୁ।

ନୋଟବୁକ୍‌ ଚଲାନ୍ତୁ। ଏହା କିଛି ମିନିଟ ସମୟ ନେବ। ଶେଷରେ, ଏହିପରି ଏକ କ୍ଷତି ଗ୍ରାଫ ଦେଖିବେ:

 

ଆପଣଙ୍କର TensorBoard ପାଠ୍ୟ ବିଭକ୍ତିକରଣ ଉଦାହରଣ ପାଇଁ ହୁଏତଃ ଏହିପରି ଦେଖାଯାଇପାରେ।​​

​​​​​​
​​​​​​​​​​​​​​ ​​​
This site uses Unicode and Open Type fonts for Indic Languages. Powered by Microsoft SharePoint
©2017 Microsoft Corporation. All rights reserved.