Alternativní faktory formátu nasazení pro Hadoop - dummies

Ačkoli Hadoop funguje nejlépe, když je nainstalován na fyzickém počítači, kde má zpracování přímý přístup k vyhrazenému úložišti a vytváření sítí, má Hadoop alternativní nasazení. Ačkoli jsou méně účinné než vyhrazený hardware, v některých případech jsou alternativy užitečné.

Virtualizované servery

Významným trendem v IT centrách za posledních deset let je virtualizace, kde velký server může hostit několik "virtuálních strojů", které vypadají a fungují jako jednotlivé stroje. Místo virtuálního hardwaru je na virtualizovaném hardwaru nasazen celý soubor aplikací a repozitářů organizace.

Organizace, ve kterých jsou implementace IT zcela virtualizovány, někdy vyžadují, aby každá nová aplikace dodržovala tento model. Přestože Hadoop může být nasazen tímto způsobem, v podstatě jako virtuální cluster (s virtuálními hlavními uzly a virtuálními uzly slave), výkon trpí, částečně proto, že u většiny virtualizovaných prostředí je úložiště SAN a není lokálně připojeno.

Vzhledem k tomu, že Hadoop je navržen tak, aby fungoval co nejlépe, když všechny dostupné jádra procesoru dokáží mít rychlý přístup k samostatným rotujícím diskům, vytvoří se úzká místa jako všechna mapa a sníží úkoly spuštění zpracování dat prostřednictvím omezené sítě mezi CPU a SAN. Vzhledem k tomu, že stupeň izolace mezi virtualizovanými serverovými prostředky je omezen (virtuální servery sdílejí zdroje navzájem), pracovní zátěže Hadoop mohou být ovlivněny jinou činností.

Když je výkon vašeho virtuálního serveru ovlivněn pracovním zatížením jiného serveru, je to skutečně známé v IT kruzích jako problém "hlučného souseda"!

Virtualizovaná prostředí mohou být v některých případech poměrně užitečná. Například pokud vaše organizace potřebuje dokončit jednorázovou průzkumnou analýzu velkého souboru dat, můžete snadno vytvořit dočasný klastr ve virtualizovaném prostředí. Tato metoda je často rychlejším způsobem, jak získat vnitřní souhlas, než vydržet byrokratické potíže při získávání nového vyhrazeného hardwaru.

Jak experimentujete s Hadoopem, často jej používáte na vašem laptopu prostřednictvím virtuálního stroje (VM). Hadoop je v tomto druhu prostředí extrémně pomalý, ale pokud používáte malé soubory dat, je to cenný nástroj pro učení a testování.

Nasazení cloud

Variace virtualizovaných prostředí jsou poskytovatelé cloud computingu, jako jsou Amazon, Rackspace a IBM SoftLayer. Většina hlavních veřejných poskytovatelů cloudu má nyní k dispozici nabídku MapReduce nebo Hadoop. Opět platí, že jejich výkon je horší než nasazení klastru na vyhrazený hardware, ale zlepšuje se.

Poskytovatelé cloudu vytvářejí prostředí optimalizovaná pro Hadoop, kde uzly slave mají lokálně připojené úložiště a vyhrazené sítě. Také hypervisory se stávají mnohem efektivnějšími, s nižší režií a latencí.

Nepokládejte řešení cloud pro dlouhodobé aplikace, protože náklady na pronájem prostředků cloud computingu jsou výrazně vyšší než náklady na vlastnictví a udržování srovnatelného systému. S poskytovatelem cloudu placujete za pohodlí a za to, že budete moci vybírat režijní náklady. Oblak je však ideální platformou pro testování, vzdělávání a jednorázové úkoly zpracování dat.

Kromě úvah o výkonu a nákladech máte regulační aspekty s nasazením veřejného cloudu. Pokud máte citlivá data, která musí být uložena v interním nebo domácím prostředí, není nasazení veřejného cloudu volbou. V takových případech, kde potřebujete výhodu nasazení v cloudu, je soukromý cloud dobrou volbou, pokud je k dispozici.