Skip Ribbon Commands
Skip to main content

​​​​​​​​​

એઝ્યુર અને DSVM ને ઉપયોગમાં લઈને BigDL નું સ્વયંસંચાલિત સ્થાપન

 

BigDL Apache Spark* માટે વિતરણ થયેલ ગહન શિક્ષણ લાઈબ્રેરી છે. BigDL વાપરીને, તમે ગહન શિક્ષણ એપ્લીકેશન જેમ કે Scala અથવા Python પ્રોગ્રામ લખી શકો છો અને સ્કેલેબલ સ્પાર્ક ક્લસ્ટરનાં પવારનો લાભ લે છે

BigDL ને કાર્યરત બનાવવાનું સરળ બનાવવા માટે, Microsoft અને Intel Linux (Ubuntu) edition of the Data Science Virtual Machine (DSVM)  નાં ઉપર એઝ્યુર ને કાર્યરત કરો બટનને બનાવવા માટે ભાગીદારી કરી છે.

https://github.com/Azure/DataScienceVM/tree/master/Extensions/BigDL પર Github પર આ ઉપલબ્ધ છે

 

નોંધ: DSVM  ને સંપૂર્ણપણે પૂરું પાડવા માટે 10 મિનિટ લાગી શકે છેકોફી બ્રેક માટે સંપૂર્ણ સમય!

કૃપા કરીને નોંધો: ઉપયોગમાં સરળતા માટે, DSVM પૂરુ પડવાના પ્રોમ્પ્ટમાં SSH વિકલ્પને વાપરવા કરતા password ને પસંદ કરવાનું અમે સૂચવીએ છીએ.

 

તમારા પોતાના કસ્ટમ ડેટા સાયન્સ VM એક્સ્ટેન્શન જમાવટની રચના કરવી

એઝ્યુર વર્ચ્યુલ મશીન એ પૂરું પાડ્યા પછી સ્ક્રિપ્ટને આપમેળે ચલાવવા માટે પદ્ધતિ પૂરી પાડે છે જયારે એઝ્યુર રિસોર્સ મેનેજર (ARM) ટેમ્પલેટને વાપરી રહ્યા હોય.

DSVM જૂથ એ Github* પર દસ્તાવેજીકરણ કરેલ છે,

DSVM એક્સ્ટેન્શનને લખવાનાં ઉદાહરણો.

https://github.com/Azure/DataScienceVM/tree/master/Extensions

 

જૂથ એ એઝ્યુર રિસોર્સ મેનેજર (ARM) ટેમ્પલેટને પ્રકાશિત કરી છે અને Linux (Ubuntu) માટે DSVM પર BigDL ને સ્થાપિત કરવા માટે સ્ક્રિપ્ટ જયારે એઝ્યુર પર VM ને બનાવી રહ્યા હોય. એઝ્યુરને કાર્યરત કરો બટન એ એઝ્યુર પોર્ટલ વિઝાર્ડ http://portal.azure.com માં વપરાશકર્તાને લઇ જાય છે અને તેમને VM નિર્માણ દ્વારા લઇ જશે, અને BigDL ને સ્થાપિત/રૂપરેખાંકિત કરવા જરૂરી સ્ક્રિપ્ટને ચલાવે છે તેથી એકવાર VM ને સફળતાપૂર્વક પૂરુ પાડી દેવાય ત્યારે તે વાપરવા માટે તૈયાર છે.

ઉપરના દસ્તાવેજીકરણ મુજબ મશીન  config માટે કમાન્ડ અને ફાઈલ uri ચલાવવા માટે Variabl માં કડીને સમાવવાની જરૂર છે

{

  "fileUris": ["<url>"],

  "commandToExecute": "<command-to-execute>"

}

ઉપરના ઉદાહરણ પ્રમાણે,  આ https://github.com/Azure/DataScienceVM/blob/master/Extensions/BigDL/azuredeploy.json માંથી લેવાયેલ ARM માં અમલીકરણ છે

"variables": {

      "location": "[resourceGroup().location]",
      “imagePublisher": "microsoft-ads",
      "imageOffer": "linux-data-science-vm-ubuntu",
      "OSDiskName": "osdiskforlinuxsimple",
      "DataDiskName": "datadiskforlinuxsimple",
      "sku": "linuxdsvmubuntu",
      "nicName": "[parameters('vmName')]",
      "addressPrefix": "10.0.0.0/16",
      "subnetName": "Subnet",
      "subnetPrefix": "10.0.0.0/24",
      "storageAccountType": "Standard_LRS",
      "storageAccountName": "[concat(uniquestring(resourceGroup().id), 'lindsvm')]",
      "publicIPAddressType": "Dynamic",
      "publicIPAddressName": "[parameters('vmName')]",
      "vmStorageAccountContainerName": "vhds",
      "vmName": "[parameters('vmName')]",
      "vmSize": "[parameters('vmSize')]",
      "virtualNetworkName": "[parameters('vmName')]",
      "vnetID": "[resourceId('Microsoft.Network/virtualNetworks',variables('virtualNetworkName'))]",
      "subnetRef": "[concat(variables('vnetID'),'/subnets/',variables('subnetName'))]",
      "fileUris":
https://raw.githubusercontent.com/Azure/DataScienceVM/master/Extensions/BigDL/InstallBigDL.sh,
      "commandToExecute": "bash InstallBigDL.sh"
 },

BigDL Jupyter નોટબુક સર્વર ચાલી રહ્યું છે

વપરાશકર્તા નમૂનાને ચલાવવા માટે Jupyter* નોટબુક સર્વરને શરૂ કરવા સીધું /opt/BigDL/run_notebooks.sh ને ચલાવી શકે છે.

જો તમે BigDL ને જાતેજ સ્થાપિત કરવા માંગો છો

BigDL ને જાતેજ સ્થાપિત કરવા માટે ક્રમશ: સ્થાપન પ્રક્રિયા

જો તમારી પાસે DSVM (Ubuntu) ઉદાહરણ હોય તો ડેટા સાયન્સ સ્ટેપ્સ બનાવવા માટે, અથવા માત્ર સ્વયંચાલિત પગલાઓ શું કરે છે તેના ઉપરની વિગતોને સમજવા માંગો છો.

DSVM પર BigDL  નું મેન્યુઅલ સ્થાપન

DSVM ને પૂરું પાડી રહ્યા છે

તમે શરૂ કરતા પહેલાં, Azure product detail page ની મુલાકાત લઈને Linux (Ubuntu) માટે માઈક્રોસોફ્ટ ડેટા સાયન્સ વર્ચ્યુલ મશીન ની જોગવાઈ કરવાની જરૂર છે અને VM નિર્માણ વિઝાર્ડમાં આ દિશાઓને અનુસરી રહ્યા છે.

 

જયારે DSVM રૂપરેખાંકિત થયેલ હોય ત્યારે, તેનાં પબ્લિક IP સરનામાં અથવા DNS નામની નોંધ બનાવો; તમારે તમારાં પસંદગીના કનેક્ટ ટુલ મારફતે DSVM સાથે જોડાવા માટે તેની જરૂર પડશે. ટેક્સ્ટ ઇન્ટરફેસ માટે આગ્રહણીય ટૂલ એ SSH અથવા Putty છે. ગ્રાફિકલ ઇન્ટરફેસ માટે, Microsoft* X2GO* નામવાળા X ક્લાઈન્ટનો આગ્રહ રાખે છે.

નોંધ: તમારે યોગ્ય રીતે તમારાં પ્રોક્સી સર્વરને રૂપરેખાંકિત કરવાની જરૂર પડી શકે છે જો તમારાં નેટવર્ક સંચાલકોને તમારી નેટવર્ક પ્રોક્સી મારફતે જવા માટે બધા જોડાણની જરૂર હોય. DSVM પર મૂળભૂત રીતે આધારભૂત ફક્ત સત્ર પ્રકાર એ Xfce* છે.

Intel ની BigDL બનાવી રહ્યા છે

રુટમાં બદલો અને અને Github માંથી BigDL ક્લોન કરો; રિલીઝ branch-0.1 પર બદલો:

     sudo –s
     cd /opt
     git clone
https://github.com/intel-anlaytics/BigDL.git
     git checkout branch-0.1

Spark* 2.0 સાથે BigDL બનાવી રહ્યા છે:

     $ cd BigDL

       $ bash make-dist.sh -P spark_2.0

જો સફળ થાય, તો તમારે નીચેના સંદેશા જોવો જોઈએ:

 
 
 

BigDL  ને ચલાવવા માટે DSVM  રૂપરેખાંકન તબક્કાનાં ઉદાહરણો

Python* 2.7 પર સ્વિચ કરો.

$ source /anaconda/bin/activate root



Python*
આવૃત્તિની ખાતરી કરો.

$ python - - version

 
 

Python પેકેજોને સ્થાપિત કરો

     $ /anaconda/bin/pip install wordcloud

     $ /anaconda/bin/pip install tensorboard

Jupyter* Notebook અને TensorBoard* ચલાવવા માટે સ્ક્રીપ્ટ ફાઈલોને બનાવી રહ્યા છે

ડિરેક્ટરીમાં જ્યાં તમે BigDL લાઈબ્રેરી (/opt/BigDL) ને ક્લોન કરેલ છે, સ્ક્રિપ્ટ બનાવો, અને નીચેનાં સમાવિષ્ટ સાથે run_notebook.sh ચલાવો

#begin run_notebook.sh

#!/bin/bash

#setup paths

BigDL_HOME=~/BigDL

 

#this is needed for MSFT DSVM

export PYTHONPATH=${BigDL_HOME}/pyspark/dl:${PYTHONPATH}

#end MSFT DSVM-specific config

 

#use local mode or cluster mode

#MASTER=spark://xxxx:7077

MASTER="local[4]"

PYTHON_API_ZIP_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-python-api.zip

BigDL_JAR_PATH=${BigDL_HOME}/dist/lib/bigdl-0.1.0-jar-with-dependencies.jar

export PYTHONPATH=${PYTHON_API_ZIP_PATH}:${PYTHONPATH}

export PYSPARK_DRIVER_PYTHON=jupyter

export PYSPARK_DRIVER_PYTHON_OPTS="notebook --notebook-dir=~/notebooks  --ip=* "

 

source ${BigDL_HOME}/dist/bin/bigdl.sh

 

${SPARK_HOME}/bin/pyspark \

    --master ${MASTER} \

    --driver-cores 5  \

    --driver-memory 10g  \

    --total-executor-cores 8  \

    --executor-cores 1  \

    --executor-memory 10g \

    --conf spark.akka.frameSize=64 \

  --properties-file ${BigDL_HOME}/dist/conf/spark-bigdl.conf \

    --py-files ${PYTHON_API_ZIP_PATH} \

    --jars ${BigDL_JAR_PATH} \

    --conf spark.driver.extraClassPath=${BigDL_JAR_PATH} \

    --conf spark.executor.extraClassPath=bigdl-0.1.0--jar-with-dependencies.jar

# end of create_notebook.sh

-----

 

chmod +x run_notebook.sh

એજ BigDL ડીરેક્ટરીમાં, નીચેનાં સમાવિષ્ટ સાથે start_tensorboard.sh ને બનાવો:

#begin start_tensorboard.sh

PYTHONPATH=/anaconda/lib/python2.7/site-packages:$PYTHONPATH

/anaconda/lib/python2.7/site-packages/tensorboard/tensorboard --logdir=/tmp/bigdl_summaries

#end start_tensorboard.sh

કૃપા કરીને નોંધો કે ‘/anaconda/lib/python2.7/site-packages/’ સ્થાપન આધારિત છે અને DSVM ની ભવિષ્યના પ્રકાશનમાં બદલાઈ શકે છે. છતાં, જો આ સૂચનાઓ તમારી માટે બોક્સની બહાર કામ ના કરે તો, તમારે આ પાથને અપડેટ કરવાની જરૂર પડી શકે છે.

લોગ http://10.0.2.4:6006 નાં અંતે URL ની નોંધ લો. TensorBoard પેનને જોવા માટે તેની સાથે તમારા DSVM બ્રાઉઝરને ખોલો.

ટેક્સ્ટ ક્લાસીફિકેશન નમૂનાને શરૂ કરી રહ્યા છે

વિવિધ ટર્મિનલમાંથી બેશ કમાન્ડ મારફતે run_notebook.sh અને start_tensorboard.sh ચલાવો:

$bash run_notebook.sh

       $bash start_tensorboard.sh

બે બ્રાઉઝર ટેબને ખોલો, text_classification.ipynb માટે એક અને TensorBoard માટે બીજું.

text_classification નમૂના પર જાઓ:

 

http://localhost:YOUR_PORT_NUMBER/notebooks/pyspark/dl/example/tutorial/simple_text_classification/text_classfication.ipynb# નમૂનાના સ્થાનને ચકાસો.

નોટબુકને ચલાવો. આમાં થોડો સમય લાગશે. અંતે, તમે આની જેમ નુકશાન ગ્રાફ જોશો:

 
 

તમારું TensorBoard એ ટેક્સ્ટ ક્લાસીફિકેશન ઉદાહરણ માટે આનાં જેવું લાગી શકે છે.

 
 

DSVM પર BigDL નું સ્વયંસંચાલિત સ્થાપન

એઝ્યુર વર્ચ્યુલ મશીન આપમેળે સ્ક્રિપ્ટને ચલાવવા માટે પદ્ધતિ પૂરી પાડે છે જયારે એઝ્યુર રિસોર્સ મેનેજર (ARM) ટેમ્પલેટને વાપરી રહ્યા છે. Github પર, અમે Linux (Ubuntu) માટે DSVM  પર BigDL  સ્થાપિત કરવા ARM ટેમ્પલેટ અને સ્ક્રિપ્ટને પ્રકાશિત કરેલ છે જયારે એઝ્યુર પર VM ને બનાવી રહ્યા છે. સરખી Github ડિરેક્ટરી પર ત્યાં પણ એઝ્યુરને કાર્યરત કરો બટન છે જે એઝ્યુર પોર્ટલ વિઝાર્ડમાં વપરાશકર્તાને લઇ જાય છે, તેમને VM સર્જન દ્વારા દોરી જાય છે, અને BigDL સ્થાપિત/રૂપરેખાંકિત કરવા માટે આપમેળે ઉપર સ્ક્રિપ્ટને ચાલે છે તેથી એકવાર VM સફળતાપૂર્વક પૂરું પાડેલ હોય તો તે વાપરવા માટે તૈયાર છે. નમૂનાને ચલાવવા માટે Jupyter નોટબુક સર્વરને શરૂ કરવા વપરાશકર્તા સીધુજ /opt/BigDL/run_notebooks.sh ને ચલાવી શકે છે.

સારાંશ

BigDL ને ઓપન-સોર્સ સમુદાય અને તેની સાથે સાથે Intel ની સમર્પિત સોફ્ટવેર એન્જીનીયરીંગ જૂથ તરફથી ઘણું સમર્થન વિકસાવવાનું અને આનંદ મેળવે છે.

સ્ત્રોતો

​​
​​​​ ​​​​​​​​​​​​​​​​​​
​​
This site uses Unicode and Open Type fonts for Indic Languages. Powered by Microsoft SharePoint
©2017 Microsoft Corporation. All rights reserved.