Skip Ribbon Commands
Skip to main content

​​​​​​​

BigDL ന്‍റെ അഷ്വര്‍& DSVM വിന്യസിച്ചുള്ള ഓട്ടോമേറ്റഡ് ഇന്‍സ്റ്റലേഷന്‍

 

BigDL എന്നത് അപ്പാഷെ സ്പാര്‍ക്കിന് വേണ്ടിയുള്ള ഒരു ഡിസ്ട്രിബ്യൂട്ടഡ് ഡീപ് ലേണിങ്ങ് ലൈബ്രറിയാണ്*. BigDL ഉപയോഗിച്ച്, നിങ്ങള്‍ക്ക് ഡീപ് ലേണിങ്ങ് ആപ്ലിക്കേഷനുകള്‍ സ്കാല അല്ലെങ്കില്‍ പൈതണ്‍ പ്രോഗ്രാമുകളായി എഴുതുകയും സ്കെയിലബിളായ സ്പാര്‍ക്ക് ക്ലസ്റ്ററുകളുടെ കരുത്തിന്‍റെ ഗുണം ഉപയോഗപ്പെടുത്തുകയും ചെയ്യാം.

BigDL വിന്യസിക്കുന്നത് എളുപ്പമാക്കുന്നതിന്, മൈക്രോസോഫ്റ്റും ഇന്‍റലും ഡാറ്റ സയന്‍സ് വിര്‍ച്വല്‍ മെഷീന്‍ (DSVM) ലിനക്സ്  (ഉബുണ്ടു) എഡിഷന്‍റെ മുകളിലായി ഒരു ഡിപ്ലോയ് ടു അഷ്വര്‍ബട്ടണ്‍ സൃഷ്ടിക്കുന്നതിന് വേണ്ടി സഹകരിക്കുന്നു.

ഇത് ഗിറ്റ്ഹബ്ബില്‍ ലഭ്യമാണ് https://github.com/Azure/DataScienceVM/tree/master/Extensions/BigDL

കുറിപ്പ്: DSVM  പൂര്‍ണ്ണമായി പ്രൊവിഷന്‍ ചെയ്യുന്നതിന് 10 മിനുറ്റ് എടുക്കും – ഒരു കോഫി ബ്രേക്കിന് തികച്ചും അനുയോജ്യമായ സമയം!


ദയവായി ശ്രദ്ധിക്കുക: ഉപയോഗം എളുപ്പമാക്കുന്നതിന്, DSVM പ്രൊവിഷനിങ്ങ് പ്രോംപ്റ്റില്‍ password തിര‍ഞ്ഞെടുക്കുന്നതിന് പകരം SSH ഓപ്ഷന്‍ തിരഞ്ഞെടുക്കാന്‍ ഞങ്ങള്‍ നിര്‍ദ്ദേശിക്കുന്നു.  

 

നിങ്ങളുടെ സ്വന്തം കസ്റ്റം ഡാറ്റ സയന്‍സ് VM എക്സ്റ്റന്‍ഷന്‍ ഡിപ്ലോയ്മെന്‍റുകള്‍ സൃഷ്ടിക്കല്‍

അഷ്വര്‍ വിര്‍ച്വല്‍ മെഷീനുകള്‍ സ്ക്രിപ്റ്റ് ഓട്ടോമാറ്റിക്കായി റണ്‍ ചെയ്യുന്നതിനുള്ള ഒരു മെക്കാനിസം, പോസ്റ്റ് പ്രൊവിഷനിങ്ങ് സമയത്ത് അഷ്വര്‍ റിസോഴ്സ് മാനേജര്‍(ARM) ടെംപ്ലേറ്റുകള്‍ ഉപയോഗിക്കുമ്പോള്‍ ലഭ്യമാക്കുന്നു.  

DSVM ടീം ഇത് Github* ല്‍ ഡോക്യുമെന്‍റ് ചെയ്തിട്ടുണ്ട്.

DSVM എക്സ്റ്റന്‍ഷനുകള്‍ റൈറ്റ് ചെയ്യുന്നതിന്‍റെ ഉദാഹരണങ്ങള്‍

 https://github.com/Azure/DataScienceVM/tree/master/Extensions

അഷ്വര്‍ റിസോഴ്സ് മാനേജര്‍(ARM) ടെംപ്ലേറ്റും, അഷ്വറില്‍ VM സൃഷ്ടിക്കുമ്പോള്‍ ലിനക്സിന്(ഉബുണ്ടു) വേണ്ടി DSVM ല്‍ BigDL ഇന്‍സ്റ്റാള്‍ ചെയ്യുന്നതിനുള്ള സ്ക്രിപ്റ്റും ടീം പ്രസിദ്ധീകരിച്ചിട്ടുണ്ട്. Deploy to Azure ബട്ടണില്‍ ക്ലിക്ക് ചെയ്യുന്നത് യൂസറെ അഷ്വര്‍‌ പോര്‍ട്ടല്‍ വിസാര്‍ഡിലേക്ക് നയിക്കും, http://portal.azure.com കൂടാതെ, VM നിര്‍മ്മാണ നടപടിക്രമത്തില്‍ അതിനൊപ്പം പോകുകയും, BigDL ഇന്‍സ്റ്റാള്‍/കോണ്‍ഫിഗര്‍ ചെയ്യാന്‍ അനിവാര്യമായ സ്ക്രിപ്റ്റ് ഓട്ടോമാറ്റിക്കായി തയ്യാറാക്കുകയും ചെയ്യും. VM വിജയകരമായി പ്രൊവിഷന്‍ ചെയ്തു കഴിഞ്ഞാല്‍ അതു മുഖേന ഇത് ഉപയോഗിക്കാന്‍ തയ്യാറാവുകയും ചെയ്യും.

മുകളില്‍ പറഞ്ഞിരിക്കുന്ന ഡോക്യുമെന്‍റേഷന്‍ പ്രകാരം ലിങ്ക് വേരിയബിളിനുള്ളില്‍ ഫയല്‍ uri യും, മെഷീന്‍ കോണ്‍ഫിഗ് നിര്‍വ്വഹിക്കാനുള്ള കമാന്‍ഡും നിങ്ങള്‍ ഉള്‍പ്പെടുത്തണം.

{

  "fileUris": ["<url>"],

  "commandToExecute": "<command-to-execute>"

}

മുകളിലെ ഉദാഹരണം അനുസരിച്ച് https://github.com/Azure/DataScienceVM/blob/master/Extensions/BigDL/azuredeploy.json ല്‍ നിന്ന് എടുത്ത ARM ലെ  നടപ്പാക്കല്‍.

 "variables": {

      "location": "[resourceGroup().location]",
      “imagePublisher": "microsoft-ads",
      "imageOffer": "linux-data-science-vm-ubuntu",
      "OSDiskName": "osdiskforlinuxsimple",
      "DataDiskName": "datadiskforlinuxsimple",
      "sku": "linuxdsvmubuntu",
      "nicName": "[parameters('vmName')]",
      "addressPrefix": "10.0.0.0/16",
      "subnetName": "Subnet",
      "subnetPrefix": "10.0.0.0/24",
      "storageAccountType": "Standard_LRS",
      "storageAccountName": "[concat(uniquestring(resourceGroup().id), 'lindsvm')]",
      "publicIPAddressType": "Dynamic",
      "publicIPAddressName": "[parameters('vmName')]",
      "vmStorageAccountContainerName": "vhds",
      "vmName": "[parameters('vmName')]",
      "vmSize": "[parameters('vmSize')]",
      "virtualNetworkName": "[parameters('vmName')]",
      "vnetID": "[resourceId('Microsoft.Network/virtualNetworks',variables('virtualNetworkName'))]",
      "subnetRef": "[concat(variables('vnetID'),'/subnets/',variables('subnetName'))]",
      "fileUris":
https://raw.githubusercontent.com/Azure/DataScienceVM/master/Extensions/BigDL/InstallBigDL.sh,
      "commandToExecute": "bash InstallBigDL.sh"
 },

BigDL ജ്യൂപ്പിറ്റര്‍ നോട്ട്ബുക്സ് സെര്‍വര്‍ റണ്‍ ചെയ്യല്‍

സാംപിളുകള്‍ എക്സിക്യൂട്ട് ചെയ്യുന്നതിന് ഒരു ജ്യൂപ്പിറ്റര്‍*നോട്ട്ബുക്ക് ആരംഭിക്കുന്നതിന് യൂസര്‍ക്ക് നേരിട്ട് റണ്‍ /opt/BigDL/run_notebooks.sh ചെയ്യാം.

നിങ്ങള്‍ മാനുവലായി BigDL ഇന്‍സ്റ്റാള്‍ ചെയ്യാന്‍ ആഗ്രഹിക്കുന്നുവെങ്കില്‍

BigDL മാനുവലായി ഇന്‍സ്റ്റാള്‍ ചെയ്യുന്നതിനുള്ള ഘട്ടം ഘട്ടമായുള്ള ഇന്‍സ്റ്റലേഷന്‍ നടപടിക്രമം

നിങ്ങള്‍ക്ക് ഇതിനകം ഒരു DSVM(ഉബുണ്ടു) മാതൃക ഉണ്ടെങ്കില്‍, ഡാറ്റ സയന്‍സ് സ്റ്റെപ്പുകള്‍ സൃഷ്ടിക്കുന്നതിന്, അല്ലെങ്കില്‍ മുകളില്‍ എന്ത് ഓട്ടോമേറ്റഡ് നടപടികളാണ് ചെയ്തത് എന്ന് അറിയാന്‍ വേണ്ടി മാത്രമാണെങ്കില്‍.

DSVM ല്‍ BigDL മാനുവലായി ഇന്‍സ്റ്റാള്‍ ചെയ്യല്‍

പ്രൊവിഷനിങ്ങ് DSVM

നിങ്ങള്‍ ആരംഭിക്കുന്നതിന് മുമ്പ്, അഷ്വര്‍ പ്രൊഡക്ട് ഡീറ്റെയില്‍ പേജ് സന്ദര്‍ശിക്കുകയും, VM ക്രിയേഷന്‍ വിസാര്‍ഡിലെ നിര്‍ദ്ദേശങ്ങള്‍ പിന്തുടരുകയും ചെയ്ത് ലിനക്സിന്(ഉബുണ്ടു) വേണ്ടി നിങ്ങള്‍ മൈക്രോസോഫ്റ്റ് ഡാറ്റ സയന്‍സ് വിര്‍ച്വല്‍ മെഷീന്‍ പ്രൊവിഷന്‍ ചെയ്യേണ്ടതുണ്ട്.

 

DSVM കോണ്‍ഫിഗര്‍ ചെയ്യുമ്പോള്‍ അതിന്‍റെ പബ്ലിക് IP അഡ്രസ്സ് അല്ലെങ്കില്‍ DNS ന്‍റെ പേര് ശ്രദ്ധിക്കണം; നിങ്ങള്‍ തിരഞ്ഞെടുക്കുന്ന കണക്ട് ടൂള്‍ വഴി DSVM നോട് ഇത് ബന്ധിപ്പിക്കേണ്ടതുണ്ട്. ടെക്സ്റ്റ് ഇന്‍റര്‍ഫേസിന് ശുപാര്‍ശ ചെയ്യുന്ന ടൂള്‍ SSH അല്ലെങ്കില്‍  Putty ആണ്. ഗ്രാഫിക്കല്‍ ഇന്‍റര്‍ഫേസിന് മൈക്രോസോഫ്റ്റ്* X2GO* എന്ന ഒരു X ക്ലയന്‍റ് ശുപാര്‍ശ ചെയ്യുന്നു.

കുറിപ്പ്: എല്ലാ കണക്ഷനുകളും നിങ്ങളുടെ നെറ്റ്‍വര്‍ക്ക് പ്രോക്സിയിലൂടെ കടന്ന് പോകണമെന്ന് നിങ്ങളുടെ നെറ്റ്‍വര്‍ക്ക് അഡ്മിനിസ്ട്രേറ്റര്‍മാര്‍ ആവശ്യപ്പെടുകയാണെങ്കില്‍ നിങ്ങള്‍ നിങ്ങളുടെ പ്രോക്സി സെര്‍വര്‍ ശരിയായി കോണ്‍ഫിഗര്‍ ചെയ്യേണ്ടതുണ്ട്. DSVM ല്‍ ഡിഫോള്‍ട്ടായി പിന്തുണയ്ക്കുന്ന ഏക സെഷന്‍ ടൈപ്പ് Xfce* ആണ്.

ഇന്‍റലിന്‍റെ  BigDL നിര്‍മ്മിക്കല്‍

റൂട്ടിലേക്ക് മാറ്റുകയും ഗിറ്റ്ഹബ്ബില്‍ നിന്ന് BigDL ക്ലോണ്‍ ചെയ്യുകയും ചെയ്യുക; റിലീസ്ഡ് ബ്രാഞ്ച്-0.1: ലേക്ക് മാറ്റുക.

     sudo –s
     cd /opt
     git clone
https://github.com/intel-anlaytics/BigDL.git
     git checkout branch-0.1

സ്പാര്‍ക്ക്* 2.0 വഴി BigDL നിര്‍മ്മിക്കല്‍:

     $ cd BigDL

       $ bash make-dist.sh -P spark_2.0

വിജയകരമാണെങ്കില്‍, നിങ്ങള്‍ താഴെയുള്ള മെസേജുകള്‍ കാണും:

 

BigDL  റണ്‍ ചെയ്യുന്നതിനുള്ള DSVM കോണ്‍ഫിഗുറേഷന്‍ ഘട്ടങ്ങളുടെ ഉദാഹരണം

പൈതണ്‍* 2.7 ലേക്ക് മാറുക.

     $ source /anaconda/bin/activate root



പൈതണ്‍* വേര്‍ഷന്‍ കണ്‍ഫേം ചെയ്യുക.

     $ python - - version

 
 

പൈതണ്‍ പാക്കേജുകള്‍ ഇന്‍സ്റ്റാള്‍ ചെയ്യുക

     $ /anaconda/bin/pip install wordcloud

     $ /anaconda/bin/pip install tensorboard

Jupyter* നോട്ട്ബുക്കും TensorBoard* ഉം റണ്‍ ചെയ്യാനുള്ള സ്ക്രിപ്റ്റ് ഫയലുകള്‍ സൃഷ്ടിക്കല്‍

നിങ്ങള്‍ BigDL library (/opt/BigDL) ക്ലോണ്‍ ചെയ്ത ഡയറക്ടറിയില്‍  ഒരു സ്ക്രിപ്റ്റ് സൃഷ്ടിക്കുക, run_notebook.sh താഴെയുള്ള കണ്ടന്‍റിനൊപ്പം:

#begin run_notebook.sh

#!/bin/bash

#setup paths

BigDL_HOME=~/BigDL

 

#this is needed for MSFT DSVM

export PYTHONPATH=${BigDL_HOME}/pyspark/dl:${PYTHONPATH}

#end MSFT DSVM-specific config

 

#use local mode or cluster mode

#MASTER=spark://xxxx:7077

MASTER="local[4]"

PYTHON_API_ZIP_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-python-api.zip

BigDL_JAR_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-jar-with-dependencies.jar

export PYTHONPATH=${PYTHON_API_ZIP_PATH}:${PYTHONPATH}

export PYSPARK_DRIVER_PYTHON=jupyter

export PYSPARK_DRIVER_PYTHON_OPTS="notebook --notebook-dir=~/notebooks  --ip=* "

 

source ${BigDL_HOME}/dist/bin/bigdl.sh

 

${SPARK_HOME}/bin/pyspark \

    --master ${MASTER} \

    --driver-cores 5  \

    --driver-memory 10g  \

    --total-executor-cores 8  \

    --executor-cores 1  \

    --executor-memory 10g \

    --conf spark.akka.frameSize=64 \

  --properties-file ${BigDL_HOME}/dist/conf/spark-bigdl.conf \

    --py-files ${PYTHON_API_ZIP_PATH} \

    --jars ${BigDL_JAR_PATH} \

    --conf spark.driver.extraClassPath=${BigDL_JAR_PATH} \

    --conf spark.executor.extraClassPath=bigdl-0.1.0--jar-with-dependencies.jar

# end of create_notebook.sh

-----

 

chmod +x run_notebook.sh

അതേ  BigDL ഡയറക്ടറിയില്‍, താഴെയുള്ള കണ്ടന്‍റോടെ start_tensorboard.sh സൃഷ്ടിക്കുക:

#begin start_tensorboard.sh

PYTHONPATH=/anaconda/lib/python2.7/site-packages:$PYTHONPATH

/anaconda/lib/python2.7/site-packages/tensorboard/tensorboard --logdir=/tmp/bigdl_summaries

#end start_tensorboard.sh

 ‘/anaconda/lib/python2.7/site-packages/’ ഇന ആശ്രയിച്ചുള്ളതും, DSVM ന്‍റെ ഭാവി റിലീസുകളില്‍ മാറ്റം വരാവുന്നതുമാണെന്ന കാര്യം ദയവായി ശ്രദ്ധിക്കുക. അതിനാല്‍, ഈ നിര്‍ദ്ദേശങ്ങള്‍ നിങ്ങള്‍ക്ക് പ്രവര്‍ത്തനക്ഷമമായില്ലെങ്കില്‍, നിങ്ങള്‍ ഈ പാത്ത് അപ്ഡേറ്റ് ചെയ്യേണ്ടതായി വരും.

 
 

ലോഗിന്‍റെ അവസാനമുള്ള URL ശ്രദ്ധിക്കുക http://10.0.2.4:6006. നിങ്ങളുടെ DSVM ബ്രൗസര്‍ ഇതിനൊപ്പം തുറന്ന് TensorBoard പെയ്ന്‍ കാണുക.

ഒരു ടെക്സ്റ്റ് ക്ലാസ്സിഫിക്കേഷന്‍ ഉദാഹരണം ലോഞ്ച് ചെയ്യല്‍

വ്യത്യസ്ഥ ടെര്‍മിനലുകളില്‍ നിന്നുള്ള ബാഷ് കമാന്‍ഡുകള്‍ വഴി run_notebook.sh & start_tensorboard.sh എക്സിക്യൂട്ട് ചെയ്യുക:

       $bash run_notebook.sh

       $bash start_tensorboard.sh

രണ്ട് ബ്രൗസര്‍ ടാബുകള്‍ തുറക്കുക, ഒന്ന്  text_classification.ipynb നും മറ്റൊന്ന്  TensorBoard നും.

text_classification ഉദാഹരണത്തിലേക്ക് നാവിഗേറ്റ് ചെയ്യുക:

http://localhost:YOUR_PORT_NUMBER/notebooks/pyspark/dl/example/tutorial/simple_text_classification/text_classfication.ipynb# —സാംപിളിന്‍റെ ലൊക്കേഷന്‍ നോക്കുക.

നോട്ട്ബുക്ക് റണ്‍ ചെയ്യുക. ഇതിന് ഏതാനും മിനിറ്റുകള്‍ എടുക്കും. അവസാനത്തില്‍, ഇതുപോലുള്ള ഒരു ലോസ്സ് ഗ്രാഫ് നിങ്ങള്‍ക്ക് കാണാനാവും:

 
നിങ്ങളുടെ TensorBoard ടെക്സ്റ്റ് ക്ലാസിഫിക്കേഷന്‍ ഉദാഹരണത്തില്‍ ഇതുപോലെ കാണപ്പെടും.
 
 

DSVM ല്‍ BigDL ഇന്‍സ്റ്റലേഷന്‍ ഓട്ടോമേറ്റ് ചെയ്യല്‍

അഷ്വര്‍ റിസോഴ്സ് മാനേജര്‍(ARM) ടെംപ്ലേറ്റുകള്‍ ഉപയോഗിക്കുമ്പോള്‍, അഷ്വര്‍ വിര്‍ച്വല്‍ മെഷീനുകള്‍ പ്രൊവിഷനിങ്ങ് സമയത്ത് ഒരു സ്ക്രിപ്റ്റ് ഓട്ടോമാറ്റിക്കായി റണ്‍ ചെയ്യുന്നതിന് വേണ്ടി ഒരു മെക്കാനിസം ലഭ്യമാക്കും. Github, ല്‍ ഞങ്ങള്‍  ARM  ടെംപ്ലേറ്റും, അഷ്വറില്‍ VM സൃഷ്ടിക്കുമ്പോള്‍ ലിനക്സിനുള്ള (ഉബുണ്ടു) DSVM ല്‍ BigDL ഇന്‍സ്റ്റാള്‍ ചെയ്യുന്നതിനുള്ള സ്ക്രിപ്റ്റും പ്രസിദ്ധീകരിച്ചിട്ടുണ്ട്. അതേ ഗിറ്റ്ഹബ്ബ് ഡയറക്ടറിയില്‍ ഒരു Deploy to Azure ബട്ടണ്‍ ഉണ്ട്. അത് യൂസറെ അഷ്വര്‍ പോര്‍ട്ടല്‍ വിസാര്‍ഡിലേക്ക് കൊണ്ടുപോകും. ഇത് അവരെ VM ക്രിയേഷനിലൂടെ നയിക്കുകയും, BigDL ഇന്‍സ്റ്റാള്‍/കോണ്‍ഫിഗര്‍ ചെയ്യാനുള്ള മുകളിലെ സ്ക്രിപ്റ്റ് ഓട്ടോമാറ്റിക്കായി എക്സിക്യൂട്ട് ചെയ്യുകയും ചെയ്യും അതുവഴി ഒരിക്കല്‍ VM പ്രൊവിഷന്‍ ചെയ്താല്‍ അത് ഉപയോഗത്തിന് തയ്യാറായി. യൂസര്‍ക്ക് സാംപിളുകള്‍ എക്സിക്യൂട്ട് ചെയ്യുന്നതിന് ജ്യൂപ്പിറ്റര്‍ നോട്ട്ബുക്ക് സെര്‍വര്‍ ആരംഭിക്കുന്നതിനായി നേരിട്ട് റണ്‍/opt/BigDL/run_notebooks.sh  ചെയ്യാം.

ഉപസംഹാരം

ഓപ്പണ്‍ സോഴ്സ് കമ്യൂണിറ്റിയില്‍ നിന്നും, അതു കൂടാതെ ഇന്‍റലിന്‍റെ സമര്‍പ്പിതരായ എഞ്ചിനീയറിങ്ങ് ടീമിന്‍റെ  വികസിപ്പിക്കുകയും ആസ്വദിക്കുകയും ചെയ്യുന്നത് BigDL തുടരുകയാണ്.

റിസോഴ്സുകള്‍

​​​​
​​​​​​​​​​​

Read More on....

​​​​​​​​​​​​
This site uses Unicode and Open Type fonts for Indic Languages. Powered by Microsoft SharePoint
©2017 Microsoft Corporation. All rights reserved.