Sakinisha na Usanidi Kiratibu cha Mtiririko wa Kazi cha Apache Oozie cha CDH 4.X kwenye RHEL/CentOS 6/5

Oozie ni kipanga programu huria cha Hadoop, hurahisisha utendakazi na uratibu kati ya kazi. Tunaweza kufafanua utegemezi kati ya kazi kwa data ya ingizo na kwa hivyo tunaweza kurekebisha utegemezi wa kazi kwa kutumia kipanga ratiba.

Katika mafunzo haya, nimesakinisha Oozie kwenye nodi yangu kuu (yaani master kama jina la mwenyeji na ambapo namenode/JT imesakinishwa) hata hivyo katika mfumo wa uzalishaji oozie inapaswa kusakinishwa kwenye Hadoop tofauti. nodi.

Maagizo ya ufungaji yamegawanywa katika sehemu mbili, tunaiita A na B.

  1. A. Usakinishaji wa Oozie.
  2. B. Usanidi wa Oozie.

Hebu kwanza tuthibitishe jina la mwenyeji wa mfumo, kwa kutumia amri ifuatayo ya 'jina la mwenyeji'.

 hostname

master

Mbinu A: Usakinishaji wa Oozie kwenye RHEL/CentOS 6/5

Tunatumia hazina rasmi ya CDH kutoka tovuti ya cloudera kusakinisha CDH4. Nenda kwenye sehemu rasmi ya upakuaji ya CDH na upakue toleo la CDH4 (yaani 4.6) au unaweza pia kutumia amri ifuatayo ya wget kupakua hazina na kuisakinisha.

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/i386/cloudera-cdh-4-0.i386.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm
# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/i386/cloudera-cdh-4-0.i386.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/x86_64/cloudera-cdh-4-0.x86_64.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm

Mara tu, umeongeza hazina ya CDH chini ya mfumo wako, unaweza kutumia amri ifuatayo kusakinisha Oozie kwenye mfumo.

 yum install oozie

Sasa, sasisha mteja wa oozie (amri ya juu inapaswa kufunika sehemu ya usakinishaji wa mteja hata hivyo ikiwa sivyo basi jaribu chini ya amri).

 yum install oozie-client

Kumbuka: Usakinishaji ulio hapo juu pia husanidi huduma ya oozie ili kuendeshwa wakati mfumo unapowashwa. Kazi nzuri! Tumemaliza na sehemu ya kwanza ya usakinishaji sasa hebu tuende kwenye sehemu ya pili ili kusanidi oozie.

Mbinu B: Usanidi wa Oozie kwenye RHEL/CentOS 6/5

Kwa vile oozie haiingiliani moja kwa moja na Hadoop, hatuhitaji usanidi wowote wa ramani hapa.

Tahadhari: Tafadhali sanidi mipangilio yote wakati oozie haifanyiki, hiyo inamaanisha lazima ufuate hatua zilizo hapa chini wakati huduma ya oozie haifanyi kazi.

Oozie ana 'Derby' kama chaguo-msingi iliyojengwa katika DB hata hivyo, ningependekeza utumie Mysql DB. Kwa hivyo, wacha tusakinishe hifadhidata ya MySQL kwa kutumia nakala ifuatayo.

  1. Sakinisha Hifadhidata ya MySQL katika RHEL/CentOS 6/5

Mara tu unapomaliza kutumia sehemu ya usakinishaji, endelea mbele zaidi ili kuunda oozie DB na kutoa mapendeleo kama inavyoonyeshwa hapa chini.

 mysql -uroot -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.5.38 MySQL Community Server (GPL) by Remi

Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> create database oozie;
Query OK, 1 row affected (0.00 sec)

mysql> grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)

mysql> grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)

mysql> exit
Bye

Ifuatayo, sanidi mali ya Oozie ya MySQL. Fungua faili ya ‘oozie-site.xml’ na uhariri sifa zifuatazo kama inavyoonyeshwa.

 cd /etc/oozie/conf
 vi oozie-site.xml

Ingiza sifa zifuatazo ( badilisha tu master [jina la mwenyeji wangu] na jina la mwenyeji wako).

<property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <value>jdbc:mysql://master:3306/oozie</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <value>oozie</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>oozie</value>
    </property>

Pakua na uongeze kiendeshi cha muunganisho cha MySQL JDBC JAR kwenye saraka ya lib ya Oozie. Ili kufanya hivyo, endesha amri kubwa ifuatayo kwenye terminal.

 cd /tmp/
 wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.31.tar.gz
 tar -zxf mysql-connector-java-5.1.31.tar.gz	
 cd mysql-connector-java-5.1.31
 cp mysql-connector-java-5.1.31-bin.jar /var/lib/oozie/

Unda mpangilio wa hifadhidata ya oozie kwa kutekeleza amri zilizo hapa chini na tafadhali kumbuka kuwa hii inapaswa kuendeshwa kama mtumiaji wa oozie.

 sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -run
setting OOZIE_CONFIG=/etc/oozie/conf
setting OOZIE_DATA=/var/lib/oozie
setting OOZIE_LOG=/var/log/oozie
setting OOZIE_CATALINA_HOME=/usr/lib/bigtop-tomcat
setting CATALINA_TMPDIR=/var/lib/oozie
setting CATALINA_PID=/var/run/oozie/oozie.pid
setting CATALINA_BASE=/usr/lib/oozie/oozie-server-0.20
setting CATALINA_OPTS=-Xmx1024m
setting OOZIE_HTTPS_PORT=11443
...
DONE
Oozie DB has been created for Oozie version '3.3.2-cdh4.7.0'
The SQL commands have been written to: /tmp/ooziedb-8250405588513665350.sql

Unahitaji kupakua ExtJS lib kutoka kwa mtandao ili kuwezesha kiweko cha oozie. Nenda kwenye ukurasa rasmi wa CDH ExtJS, na upakue maktaba za toleo la 2.2 la ExtJS au unaweza kupakua kifurushi kwa kutumia amri ifuatayo.

 cd /tmp/
 wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip
 unzip ext-2.2.zip
 mv ext-2.2 /var/lib/oozie/

Hatimaye, anza seva ya oozie, kwa kuendesha amri zifuatazo.

 service oozie status
not running.

 service oozie start

 service oozie status
running

 oozie admin -oozie http://localhost:11000/oozie -status
System mode: NORMAL

Fungua kiolesura cha oozie ukitumia kivinjari chako unachopenda, na uelekeze kwenye anwani yako ya IP. Katika kesi hii, IP yangu ni 192.168.1.129.

http://192.168.1.129:11000

Sasa ukiona UI hii. Hongera sana!! Umefaulu kusanidi oozie.

Utaratibu huu umejaribiwa kwa ufanisi kwenye RHEL/CentOS 6/5. Katika makala zangu zijazo, nitashiriki jinsi ya kusanidi na kuratibu kazi za hadoop kupitia oozie. Endelea kuwasiliana kwa zaidi na usisahau kutoa maoni yako.