Jinsi ya Kusakinisha CDH na Kuweka Mipangilio ya Huduma kwenye CentOS/RHEL 7 - Sehemu ya 4
Katika makala ya awali, tumeelezea usakinishaji wa Kidhibiti cha Cloudera, katika makala hii, utajifunza jinsi ya kusakinisha na kusanidi CDH (Cloudera Distribution Hadoop) katika RHEL/CentOS 7.
Wakati wa kusakinisha kifurushi cha CDH, tunapaswa kuhakikisha Kidhibiti cha Cloudera na uoanifu wa CDH. Toleo la Cloudera lina sehemu 3 -
Kwa Mfano, tunatumia Cloudera Manager 6.3.1 na CDH 6.3.2. Hapa 6 ni kubwa na 3 ni toleo dogo. Meja na Ndogo lazima ziwe sawa ili kuepuka masuala ya uoanifu.
- Mbinu Bora za Kutuma Seva ya Hadoop kwenye CentOS/RHEL 7 – Sehemu ya 1
- Kuweka Masharti ya Awali ya Hadoop na Ugumu wa Usalama - Sehemu ya 2
- Jinsi ya Kusakinisha na Kuweka Mipangilio ya Kidhibiti cha Cloudera kwenye CentOS/RHEL 7 – Sehemu ya 3
Tutachukua nodi 2 zilizo hapa chini za kusakinisha CDH. Tayari tumesakinisha Kidhibiti cha Cloudera katika master1, pia tunatumia master1 kama seva ya repo.
master1.linux-console.net worker1.linux-console.net
Hatua ya 1: Pakua Vifurushi vya CDH kwenye Seva Kuu
1. Kwanza, unganisha kwenye seva ya master1 na upakue faili za Vifurushi vya CDH katika saraka ya /var/www/html/cloudera-repos/cdh. Tunapaswa kupakua faili 3 zilizotajwa hapa chini ambazo zinapaswa kuendana na RHEL/CentOS 7.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json
2. Kabla ya kupakua faili hizi, hakikisha kuunda saraka ya cdh chini ya /var/www/html/cloudera-repos/ location.
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh $ cd cdh
3. Kisha, pakua faili 3 zilizotajwa hapo juu kwa kutumia amri ifuatayo ya wget.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Hatua ya 2: Sanidi Kidhibiti cha Cloudera Repo Juu ya Wateja wa Wafanyakazi
4. Sasa, unganisha kwa seva za wafanyikazi na unakili faili ya repo (cloudera-manager.repo) kutoka kwa seva ya repo (master1) hadi seva zote za mfanyakazi zilizobaki. Faili hii ya repo huhakikisha seva kuwa vifurushi na RPM zote zinazohitajika zitapakuliwa kutoka kwa seva ya repo wakati wa kusakinisha.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL [cloudera-repo] name=cloudera-manager baseurl=http://104.211.95.96/cloudera-repos/cm6/ enabled=1 gpgcheck=0 EOL
5. Mara baada ya repo kuongezwa, orodhesha hazina zilizowezeshwa ili kuhakikisha kuwa repo ya cloudera-manager imewashwa.
$ yum repolist
Hatua ya 3: Sakinisha Daemons za Kidhibiti cha Cloudera na Wakala kwenye Seva za Wafanyakazi
6. Sasa, tunahitaji kusakinisha cloudera-manager-daemons na cloudera-manager-agent katika seva zote zilizosalia.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Kisha, unahitaji kusanidi wakala wa Kidhibiti cha Cloudera ili kuripoti seva ya Kidhibiti cha Cloudera.
$ sudo vi /etc/cloudera-scm-agent/config.ini
Badilisha eneo la ndani na anwani ya IP ya seva ya Cloudera.
8. Anzisha Wakala wa Kidhibiti cha Cloudera na uthibitishe hali hiyo.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
Hatua ya 4: Sakinisha na Usanidi CDH
Tuna vifurushi vya CDH katika master1 - seva ya repo. Hakikisha seva zote zina faili ya repo ya Kidhibiti cha Cloudera ndani /etc/yum.repos.d/ ukifuata usakinishaji kiotomatiki kwa kutumia Kidhibiti cha Cloudera.
9. Ingia kwenye Kidhibiti cha Cloudera kwa kutumia URL iliyo hapa chini kwenye port 7180 na utumie jina la mtumiaji chaguomsingi na nenosiri la Cloudera Manager.
http://104.211.95.96:7180/cmf/login Username: admin Password: admin
10. Mara tu unapoingia, utasalimiwa na ukurasa wa Karibu. Hapa unaweza kupata maelezo ya Kutolewa, Vipengele Vipya vya Kidhibiti cha Cloudera.
11. Kubali Leseni na Uendelee.
12. Chagua Toleo. Toleo la majaribio limechaguliwa kwa chaguo-msingi, tunaweza kuendelea na hilo.
13. Sasa, fuata hatua za Ufungaji wa Nguzo. Endelea na Ukurasa wa Kukaribisha.
14. Taja Nguzo na uendelee, tumeipa jina kama \tecmint. Kuna aina 2 za Nguzo unazoweza kufafanua. Tunaendelea na Nguzo ya Kawaida.
- Kundi la Kawaida: Itakuwa na nodi za kuhifadhi, nodi za kukokotoa, na huduma zingine muhimu.
- Kundi la Kukokotoa: Litakuwa na nodi za kukokotoa pekee. Hifadhi ya nje inaweza kutumika kuhifadhi data.
15. Tayari tumesakinisha Mawakala wa Kidhibiti cha Cloudera kwenye seva zote. Unaweza kupata seva hizo katika \Wapangishi Wanaosimamiwa Kwa Sasa. Kwa usakinishaji wa kiotomatiki, unapaswa kuingiza FQDN au IP ya seva katika chaguo la \Wapangishi Wapya na utafute. Kidhibiti cha Cloudera kitatambua kiotomatiki seva pangishi ambapo tunahitaji kusakinisha CDH.
Hapa, bofya \Wapangishi Wanaosimamiwa Kwa Sasa, chagua wapangishi wote kwa kuchagua 'Jina la mwenyeji' na uendelee.
16. Chagua Hifadhi - kutumia Parcel ndiyo njia inayopendekezwa. Bofya 'Chaguzi Zaidi' ili kusanidi hazina.
17. Weka URL ya hazina ya ndani kama ilivyotajwa hapa chini. Ondoa hazina zote za umma zilizobaki zinazoelekeza Wavuti (Hazina za Cloudera).
Hii ni URL ya hazina ya ndani ya CDH ambayo tunayo katika master1.
http://104.211.95.96/cloudera-repos/cdh/
18. Mara tu URL ya hazina inapoingia, ukurasa huu utaonyesha vifurushi vinavyopatikana pekee. Endelea hatua hii.
19. Sasa vifurushi vinapakuliwa, kusambazwa, kupakuliwa, na kuamilishwa katika seva zote zinazopatikana.
20. Pindi Vifurushi vya CDH Vinavyowashwa, kagua Kundi. Hatua hii itafanya ukaguzi wa afya wa nguzo. Hapa tunaruka na Kuendelea.
Hatua ya 5: Usanidi wa Nguzo
21. Hapa tunahitaji kuchagua Huduma zitakazosakinishwa kwenye Nguzo. Baadhi ya michanganyiko iliyopakiwa itapatikana kwa chaguomsingi, tunaenda na Huduma Maalum.
22. Katika Huduma Maalum, tunasakinisha vipengele vya Msingi pekee (HDFS na YARN) kwa madhumuni haya ya onyesho.
23. Agiza majukumu kwa seva. Tunaweza kubinafsisha kulingana na mahitaji yetu. Pata chati iliyo hapa chini inayoelezea Usambazaji wa Wajibu unaopendekezwa kwa nguzo ndogo ya msingi yenye nodi 5 hadi 20 zenye Upatikanaji wa Juu.
24. Chagua aina ya Hifadhidata, jina la mwenyeji, Jina la DB, Jina la mtumiaji, na Nenosiri. Tunapotumia PostgreSQL Iliyopachikwa, itachaguliwa kwa chaguo-msingi. Jaribu uunganisho, unapaswa kufanikiwa.
25. Ukurasa huu utaonyesha vigezo vya usanidi chaguo-msingi vya HDFS na Uzi, ikijumuisha saraka za data. Kagua maelezo yote ya usanidi na unaweza kufanya mabadiliko ikiwa inahitajika. Kisha Endelea na hili.
26. Ukurasa huu utaonyesha maelezo ya amri ya 'First Run'. Unaweza kuipanua ili kuona maelezo ya amri zinazoendesha. Ikiwa kuna mtandao au masuala ya ruhusa kwenye nguzo, hatua hii itashindwa. Kawaida, hatua hii huamua usakinishaji laini wa Jengo la Nguzo.
27. Mara tu hatua iliyo hapo juu imekamilika, Bofya 'Maliza' ili kukamilisha usakinishaji. Hii ni Dashibodi ya Kidhibiti cha Cloudera baada ya kusakinisha CDH.
http://104.211.95.96:7180/cmf/home
Tumekamilisha Kidhibiti cha Cloudera na usakinishaji wa CDH kwa mafanikio. Katika Dashibodi ya Kidhibiti cha Cloudera, unaweza kupata seti iliyobainishwa awali ya chati ambapo unaweza kufuatilia Cluster CPU, Disk IO n.k. Tunaweza kudhibiti Kundi zima kwa kutumia Kidhibiti hiki cha Cloudera. Tutaona shughuli zote za utawala katika makala zijazo.