Kam uložiť BigData

Programovacie jazyky, rady, poradňa...
harrison314
Hardcore addict
Hardcore addict
Používateľov profilový obrázok
Príspevky: 8217
Registrovaný: 27 máj 2009, 20:42
Bydlisko: Bratislava
Kontaktovať používateľa:

Re: Kam uložiť BigData

Príspevok od používateľa harrison314 »

Takze ak som to spravne pochopil, tak budes na tieto data potrebovat len jednu tabulku, na co je MongoDB vhodne (vie toho to co SQL, len nevies spravit JOIN).
Ak sa rozhodnes pre MySQL, tak uz pocas behu, data nazhromazdi napr v subore a potom ich dvakovo vkladaj do databazy, to usetri dost casu.
Fabo
Hardcore addict
Hardcore addict
Používateľov profilový obrázok
Príspevky: 6810
Registrovaný: 16 nov 2007, 17:23
Bydlisko: 's Chravenhache
Kontaktovať používateľa:

Re: Kam uložiť BigData

Príspevok od používateľa Fabo »

MariaDB = MySQL - Oracle co som pochopil takze bat sa toho netreba, ale ani MySQL.

Neviem ako teraz ale par mesiacov dozadu este MariaDB proces bol stale nazvany ako mysqld :)
BX
Addict
Addict
Používateľov profilový obrázok
Príspevky: 4572
Registrovaný: 10 jan 2008, 15:30

Re: Kam uložiť BigData

Príspevok od používateľa BX »

Fabo viem, prečítal som si o nej :)

Harrison ma tu celkom efektívne presviedča na to mongo, tak teda ďalej: Akú vidíš výhodu v mongo (v tomto mojom prípade)? Mne sa na MySQL riešení trochu nepáči, že to všetko bude v jednom obrovskom súbore a zase robiť tabulku pre každú stanicu mi príde divné. Vedelo by toto mongo poriešiť a pracovať 1stanica/1súbor? Ako vravíš, JOIN mi v podstate netreba. Stanicu si kľudne vyberiem ešte pred vykonaním query.
S-player
Light Star
Light Star
Príspevky: 277
Registrovaný: 23 júl 2011, 22:30

Re: Kam uložiť BigData

Príspevok od používateľa S-player »

Ak si zvyknutí na MySQL a MongoDB je pre teba úplne nové tak neviem čo riešiš. Nemyslím si ,že týmto výberom urobíš nejakú chybu... Neskutočná kopa veľkých spoločností ako Facebook používa stále MySQL... Google migroval z MySQL na MariaDB a nevyzerá to tak ,žeby s týmto riešením mali nejaký problém.
harrison314
Hardcore addict
Hardcore addict
Používateľov profilový obrázok
Príspevky: 8217
Registrovaný: 27 máj 2009, 20:42
Bydlisko: Bratislava
Kontaktovať používateľa:

Re: Kam uložiť BigData

Príspevok od používateľa harrison314 »

BX napísal:Akú vidíš výhodu v mongo (v tomto mojom prípade)?
rychle ukladanie, rychle ucenie (mne na to stacili 3hodiny), ak nepouzivas Joiny obdobne operacie nad kolekciu dokumentovsu podobne ako nad tabulkou
Myslim ze mongo automaticky deli databazu na mensie subory.

No na tvojom mieste by som si to jednoducho odskusal, co splna lepsie poziadavky.
BX
Addict
Addict
Používateľov profilový obrázok
Príspevky: 4572
Registrovaný: 10 jan 2008, 15:30

Re: Kam uložiť BigData

Príspevok od používateľa BX »

S-Player, vôbec ma netrápi, že nejaký Google, alebo Facebook to používa, keď to používa na úplne iné účely, ako potrebujem. U mňa by som skôr riešil, čo používa CERN (a to viem)
A ďalšia vec, Google síce používa MySQL, ale vlastnú, upravenú veriziu a MariaDB si tiež upravili tak, aby funkčne odpovedala najnovšej MySQL + ďalšie úpravy. U FB je to podobne.

Fajn, vďaka harrison, tomu mongu dám šancu a vyskúšam to :)
S-player
Light Star
Light Star
Príspevky: 277
Registrovaný: 23 júl 2011, 22:30

Re: Kam uložiť BigData

Príspevok od používateľa S-player »

BX napísal:Google síce používa MySQL, ale vlastnú, upravenú veriziu a MariaDB si tiež upravili tak, aby funkčne odpovedala najnovšej MySQL
No neviem o akých úpravach teraz rozprávaš je však všeobecne známe ,že Google vývojári pracovali na vylepšení MariaDB a to rozprávam teraz o verziách ,ktoré sú normálne verejnosti dostupné. Čo sa týka nejakých iných úprav tak tie neviem či vôbec stoja za zmienku v tom prípade. 100 miliónov záznamov zasa nieje niečo totálne brutálne.
axxis
Addict
Addict
Používateľov profilový obrázok
Príspevky: 3690
Registrovaný: 29 máj 2007, 21:53
Bydlisko: Spálené mlyny
Kontaktovať používateľa:

Re: Kam uložiť BigData

Príspevok od používateľa axxis »

Z mojich informacii je lider vo velkych datach najnovsi SQL server (2014), tym padom tam automaticky spada aj spominany Azure
(ak mas naozaj vela informacii tak mySQL fakt nie)

http://www.cmswire.com/cms/big-data/mic ... 024565.php
Fabo
Hardcore addict
Hardcore addict
Používateľov profilový obrázok
Príspevky: 6810
Registrovaný: 16 nov 2007, 17:23
Bydlisko: 's Chravenhache
Kontaktovať používateľa:

Re: Kam uložiť BigData

Príspevok od používateľa Fabo »

msSQL je overkill na takuto databazu. Naviac ma jeden vo velkom svete dost podstatny problem - bezi na windowsoch.
axxis
Addict
Addict
Používateľov profilový obrázok
Príspevky: 3690
Registrovaný: 29 máj 2007, 21:53
Bydlisko: Spálené mlyny
Kontaktovať používateľa:

Re: Kam uložiť BigData

Príspevok od používateľa axxis »

Fabo napísal:msSQL je overkill na takuto databazu.
Ked som to tu pisal mal som na mysli viac Express verziu ako Enterprise (je zadarmo, ma vyssiu priepustnost ako mySQL a vyssi limit na jednu databazu)
Fabo napísal: Naviac ma jeden vo velkom svete dost podstatny problem - bezi na windowsoch.
Nie som si isty ako je toto problem. (zvlast ked prave velky svet migruje na MS databazy)
Fabo
Hardcore addict
Hardcore addict
Používateľov profilový obrázok
Príspevky: 6810
Registrovaný: 16 nov 2007, 17:23
Bydlisko: 's Chravenhache
Kontaktovať používateľa:

Re: Kam uložiť BigData

Príspevok od používateľa Fabo »

Expres verzia je zas limitovana na vykone, jeden procesor a jedno GB ramky, co si nemyslim ze je idealne. Hlavne ak bude pouzivat jednorazovo vacsie operacie.

Co sa tyka toho windowsu, pokial uz sa bavime o organizaciach s vlastnymi datacentrami, tak ano povedzme da sa narabat s windows servermi, aj ked teda napr. u nas ja vidim skor trend smerom k oraclu, ale nepopieram celosvetovo moze byt trend k mssql.
Vo "velkom svete" v zmysle sirokeho zaberu hostingov, webhostingov a malych virtualkovych hostingov bude vysoko pravdepodobne pouzity linux, takze mssql znamena zaroven aj zakupit a deployovat windows stroj.
axxis
Addict
Addict
Používateľov profilový obrázok
Príspevky: 3690
Registrovaný: 29 máj 2007, 21:53
Bydlisko: Spálené mlyny
Kontaktovať používateľa:

Re: Kam uložiť BigData

Príspevok od používateľa axxis »

Fabo napísal:Expres verzia je zas limitovana na vykone, jeden procesor a jedno GB ramky, co si nemyslim ze je idealne. Hlavne ak bude pouzivat jednorazovo vacsie operacie.

Co sa tyka toho windowsu, pokial uz sa bavime o organizaciach s vlastnymi datacentrami, tak ano povedzme da sa narabat s windows servermi, aj ked teda napr. u nas ja vidim skor trend smerom k oraclu, ale nepopieram celosvetovo moze byt trend k mssql.
Vo "velkom svete" v zmysle sirokeho zaberu hostingov, webhostingov a malych virtualkovych hostingov bude vysoko pravdepodobne pouzity linux, takze mssql znamena zaroven aj zakupit a deployovat windows stroj.
Existuju aj windows hostingy zadarmo (priznavam, ze ich je podstatne menej ako linuxovych, ale su).

+mam dojem, ze existuje nejaka slabucka instancia Azure co je tiez zadarmo (ale u toho si nie som isty)
harrison314
Hardcore addict
Hardcore addict
Používateľov profilový obrázok
Príspevky: 8217
Registrovaný: 27 máj 2009, 20:42
Bydlisko: Bratislava
Kontaktovať používateľa:

Re: Kam uložiť BigData

Príspevok od používateľa harrison314 »

Fabo napísal:Expres verzia je zas limitovana na vykone, jeden procesor a jedno GB ramky, co si nemyslim ze je idealne. Hlavne ak bude pouzivat jednorazovo vacsie operacie.

Co sa tyka toho windowsu, pokial uz sa bavime o organizaciach s vlastnymi datacentrami, tak ano povedzme da sa narabat s windows servermi, aj ked teda napr. u nas ja vidim skor trend smerom k oraclu, ale nepopieram celosvetovo moze byt trend k mssql.
Vo "velkom svete" v zmysle sirokeho zaberu hostingov, webhostingov a malych virtualkovych hostingov bude vysoko pravdepodobne pouzity linux, takze mssql znamena zaroven aj zakupit a deployovat windows stroj.
Je uplne jedno coho je viac na svete, ci sa viac pouziva ms sql, mysql,.... ide vzdy o konkretne poziadavky a moznosti (financne, znalostne, skusenosti,...) daneho projektu.
Ak stavias podnikovy informacny system tak pouzit MySQL je samovrazda.
Ak robis robis webovu prezentaciu je MS SQL/Oracle zbytocne vyhadzvanie penazy.

V pripade BX-a, by som sa podla opysaneho problemu bal pouzit MySQL po predoslich skusnostiach, tod vse.
Napísať odpoveď