Mbinu Bora za Kutuma Seva ya Hadoop kwenye CentOS/RHEL 7 - Sehemu ya 1
Katika mfululizo huu wa makala, tutashughulikia jengo zima la Jengo la Nguzo la Cloudera Hadoop kwa mbinu bora zinazopendekezwa na Wauzaji na Viwanda.
Usakinishaji wa Mfumo wa Uendeshaji na kufanya kiwango cha Mfumo wa Uendeshaji Mahitaji ya awali ni hatua za kwanza za kujenga Nguzo ya Hadoop. Hadoop inaweza kuendeshwa kwenye ladha mbalimbali za jukwaa la Linux: CentOS, RedHat, Ubuntu, Debian, SUSE n.k., Katika uzalishaji wa wakati halisi, Nguzo nyingi za Hadoop zimejengwa juu ya RHEL/CentOS, tutatumia CentOS 7 kwa maonyesho. katika mfululizo huu wa mafunzo.
Katika Shirika, usakinishaji wa Mfumo wa Uendeshaji unaweza kufanywa kwa kutumia kickstart. Ikiwa ni nguzo ya nodi 3 hadi 4, usakinishaji wa mwongozo unawezekana lakini ikiwa tutaunda nguzo kubwa yenye nodi zaidi ya 10, inachosha kusakinisha OS moja baada ya nyingine. Katika hali hii, njia ya Kickstart inakuja kwenye picha, tunaweza kuendelea na usakinishaji wa wingi kwa kutumia kickstart.
Kufikia utendakazi mzuri kutoka kwa Mazingira ya Hadoop kunategemea utoaji wa Vifaa na Programu sahihi. Kwa hivyo, kujenga nguzo ya uzalishaji ya Hadoop inahusisha kuzingatia sana kuhusu Vifaa na Programu.
Katika makala haya, tutapitia Vigezo mbalimbali kuhusu usakinishaji wa Mfumo wa Uendeshaji na baadhi ya mbinu bora za kupeleka Seva ya Nguzo ya Cloudera Hadoop kwenye CentOS/RHEL 7.
Mazingatio Muhimu na Mbinu Bora za Kusambaza Seva ya Hadoop
Zifuatazo ni mbinu bora za kusanidi kupeleka Seva ya Nguzo ya Cloudera Hadoop kwenye CentOS/RHEL 7.
- Seva za Hadoop hazihitaji seva za kawaida za biashara ili kuunda nguzo, inahitaji maunzi ya bidhaa.
- Katika kundi la uzalishaji, kuwa na diski 8 hadi 12 za data kunapendekezwa. Kulingana na asili ya mzigo wa kazi, tunahitaji kuamua juu ya hili. Ikiwa kikundi hiki ni cha programu zinazotumia kompyuta nyingi, kuwa na viendeshi 4 hadi 6 ni njia bora ya kuepuka masuala ya I/O.
- Hifadhi za data zinapaswa kugawanywa kivyake, kwa mfano - kuanzia /data01 hadi /data10.
- Usanidi wa RAID haupendekezwi kwa nodi za wafanyikazi, kwa sababu Hadoop yenyewe hutoa uvumilivu wa hitilafu kwenye data kwa kunakili vizuizi kuwa 3 kwa chaguo-msingi. Kwa hivyo JBOD ni bora zaidi kwa nodi za wafanyikazi.
- Kwa Seva Kuu, RAID 1 ndiyo mbinu bora zaidi.
- Mfumo chaguomsingi wa faili kwenye CentOS/RHEL 7.x ni XFS. Hadoop inasaidia XFS, ext3, na ext4. Mfumo wa faili unaopendekezwa ni ext3 kwani unajaribiwa kwa utendakazi mzuri.
- Seva zote zinafaa kuwa na toleo sawa la Mfumo wa Uendeshaji, angalau toleo dogo sawa.
- Ni mazoezi bora kuwa na maunzi yanayofanana (nodi zote za kifanyi kazi zinapaswa kuwa na sifa sawa za maunzi (RAM, nafasi ya diski & Msingi n.k).
- Kulingana na mzigo wa kazi wa nguzo (Mzigo wa Kazi Uliosawazishwa, Uhesabuji wa kina, I/O Intensive) na saizi, upangaji wa rasilimali (RAM, CPU) kwa kila seva utatofautiana.
Pata Mfano ulio hapa chini wa Ugawaji wa Diski wa seva za hifadhi ya 24TB.
Inasakinisha CentOS 7 kwa Usambazaji wa Seva ya Hadoop
Mambo unayohitaji kujua kabla ya kusakinisha seva ya CentOS 7 kwa Seva ya Hadoop.
- Usakinishaji mdogo unatosha kwa Seva za Hadoop (nodi za wafanyakazi), katika hali nyingine, GUI inaweza kusakinishwa kwa ajili ya Seva Kuu pekee au seva za Usimamizi ambapo tunaweza kutumia vivinjari kwa UI za Wavuti za zana za Kusimamia.
- Kusanidi mitandao, jina la mpangishaji, na mipangilio mingine inayohusiana na OS inaweza kufanywa baada ya kusakinisha Mfumo wa Uendeshaji.
- Katika muda halisi, wachuuzi wa seva watakuwa na kiweko chao cha kuingiliana na kudhibiti seva, kwa mfano - Seva za Dell zina iDRAC ambacho ni kifaa, kilichopachikwa na seva. Kwa kutumia kiolesura hicho cha iDRAC tunaweza kusakinisha Mfumo wa Uendeshaji kwa kuwa na picha ya Mfumo wa Uendeshaji katika mfumo wetu wa ndani.
Katika nakala hii, tumeweka OS (CentOS 7) kwenye mashine ya kawaida ya VMware. Hapa, hatutakuwa na diski nyingi za kutekeleza partitions. CentOS ni sawa na RHEL (utendaji sawa), kwa hiyo tutaona hatua za kusakinisha CentOS.
1. Anza kwa kupakua picha ya CentOS 7.x ISO katika mfumo wako wa karibu wa windows na uchague unapoanzisha mashine pepe. Chagua 'Sakinisha CentOS 7' kama inavyoonyeshwa.
2. Chagua Lugha, chaguo-msingi itakuwa Kiingereza, na ubofye endelea.
3. Uteuzi wa Programu - Teua 'Usakinishaji Ndogo' na ubofye 'Umemaliza'.
4. Weka nenosiri la msingi kwani litatufanya tuweke.
5. Uwekaji Lengwa - Hii ni hatua muhimu ya kuwa waangalifu. Tunahitaji kuchagua diski ambapo OS inapaswa kusakinishwa, diski iliyojitolea inapaswa kuchaguliwa kwa OS. Bofya 'Mahali Usakinishaji' na uchague Diski, kwa wakati halisi diski nyingi zitakuwepo, tunahitaji kuchagua, bora 'sda'.
6. Chaguzi Nyingine za Hifadhi - Chagua chaguo la pili (Nitasanidi ugawaji) ili kusanidi ugawaji unaohusiana na OS kama /var, /var/log, /home, /tmp, /opt, /swap.
7. Mara baada ya kufanyika, kuanza ufungaji.
8. Mara baada ya Usakinishaji kukamilika, anzisha upya seva.
9. Ingia kwenye seva na weka jina la mwenyeji.
# hostnamectl status # hostnamectl set-hostname tecmint # hostnamectl status
Katika nakala hii, tumepitia hatua za usakinishaji wa OS na mazoea bora ya kugawanya mfumo wa faili. Haya yote ni mwongozo wa jumla, kulingana na asili ya mzigo wa kazi, tunaweza kuhitaji kuzingatia nuances zaidi ili kufikia utendakazi bora wa nguzo. Upangaji wa nguzo ni sanaa kwa msimamizi wa Hadoop. Tutazame kwa kina mahitaji ya awali ya kiwango cha OS na Ugumu wa usalama katika makala inayofuata.