Kam uložiť BigData
-
harrison314
Hardcore addict
- Príspevky: 8219
- Registrovaný: 27 máj 2009, 20:42
- Bydlisko: Bratislava
- Kontaktovať používateľa:
Re: Kam uložiť BigData
Takze ak som to spravne pochopil, tak budes na tieto data potrebovat len jednu tabulku, na co je MongoDB vhodne (vie toho to co SQL, len nevies spravit JOIN).
Ak sa rozhodnes pre MySQL, tak uz pocas behu, data nazhromazdi napr v subore a potom ich dvakovo vkladaj do databazy, to usetri dost casu.
Ak sa rozhodnes pre MySQL, tak uz pocas behu, data nazhromazdi napr v subore a potom ich dvakovo vkladaj do databazy, to usetri dost casu.
-
Fabo
Hardcore addict
- Príspevky: 6810
- Registrovaný: 16 nov 2007, 17:23
- Bydlisko: 's Chravenhache
- Kontaktovať používateľa:
Re: Kam uložiť BigData
MariaDB = MySQL - Oracle co som pochopil takze bat sa toho netreba, ale ani MySQL.
Neviem ako teraz ale par mesiacov dozadu este MariaDB proces bol stale nazvany ako mysqld
Neviem ako teraz ale par mesiacov dozadu este MariaDB proces bol stale nazvany ako mysqld
Re: Kam uložiť BigData
Fabo viem, prečítal som si o nej 
Harrison ma tu celkom efektívne presviedča na to mongo, tak teda ďalej: Akú vidíš výhodu v mongo (v tomto mojom prípade)? Mne sa na MySQL riešení trochu nepáči, že to všetko bude v jednom obrovskom súbore a zase robiť tabulku pre každú stanicu mi príde divné. Vedelo by toto mongo poriešiť a pracovať 1stanica/1súbor? Ako vravíš, JOIN mi v podstate netreba. Stanicu si kľudne vyberiem ešte pred vykonaním query.
Harrison ma tu celkom efektívne presviedča na to mongo, tak teda ďalej: Akú vidíš výhodu v mongo (v tomto mojom prípade)? Mne sa na MySQL riešení trochu nepáči, že to všetko bude v jednom obrovskom súbore a zase robiť tabulku pre každú stanicu mi príde divné. Vedelo by toto mongo poriešiť a pracovať 1stanica/1súbor? Ako vravíš, JOIN mi v podstate netreba. Stanicu si kľudne vyberiem ešte pred vykonaním query.
Re: Kam uložiť BigData
Ak si zvyknutí na MySQL a MongoDB je pre teba úplne nové tak neviem čo riešiš. Nemyslím si ,že týmto výberom urobíš nejakú chybu... Neskutočná kopa veľkých spoločností ako Facebook používa stále MySQL... Google migroval z MySQL na MariaDB a nevyzerá to tak ,žeby s týmto riešením mali nejaký problém.
-
harrison314
Hardcore addict
- Príspevky: 8219
- Registrovaný: 27 máj 2009, 20:42
- Bydlisko: Bratislava
- Kontaktovať používateľa:
Re: Kam uložiť BigData
rychle ukladanie, rychle ucenie (mne na to stacili 3hodiny), ak nepouzivas Joiny obdobne operacie nad kolekciu dokumentovsu podobne ako nad tabulkouBX napísal:Akú vidíš výhodu v mongo (v tomto mojom prípade)?
Myslim ze mongo automaticky deli databazu na mensie subory.
No na tvojom mieste by som si to jednoducho odskusal, co splna lepsie poziadavky.
Re: Kam uložiť BigData
S-Player, vôbec ma netrápi, že nejaký Google, alebo Facebook to používa, keď to používa na úplne iné účely, ako potrebujem. U mňa by som skôr riešil, čo používa CERN (a to viem)
A ďalšia vec, Google síce používa MySQL, ale vlastnú, upravenú veriziu a MariaDB si tiež upravili tak, aby funkčne odpovedala najnovšej MySQL + ďalšie úpravy. U FB je to podobne.
Fajn, vďaka harrison, tomu mongu dám šancu a vyskúšam to
A ďalšia vec, Google síce používa MySQL, ale vlastnú, upravenú veriziu a MariaDB si tiež upravili tak, aby funkčne odpovedala najnovšej MySQL + ďalšie úpravy. U FB je to podobne.
Fajn, vďaka harrison, tomu mongu dám šancu a vyskúšam to
Re: Kam uložiť BigData
No neviem o akých úpravach teraz rozprávaš je však všeobecne známe ,že Google vývojári pracovali na vylepšení MariaDB a to rozprávam teraz o verziách ,ktoré sú normálne verejnosti dostupné. Čo sa týka nejakých iných úprav tak tie neviem či vôbec stoja za zmienku v tom prípade. 100 miliónov záznamov zasa nieje niečo totálne brutálne.BX napísal:Google síce používa MySQL, ale vlastnú, upravenú veriziu a MariaDB si tiež upravili tak, aby funkčne odpovedala najnovšej MySQL
-
axxis
Addict
- Príspevky: 3690
- Registrovaný: 29 máj 2007, 21:53
- Bydlisko: Spálené mlyny
- Kontaktovať používateľa:
Re: Kam uložiť BigData
Z mojich informacii je lider vo velkych datach najnovsi SQL server (2014), tym padom tam automaticky spada aj spominany Azure
(ak mas naozaj vela informacii tak mySQL fakt nie)
http://www.cmswire.com/cms/big-data/mic ... 024565.php
(ak mas naozaj vela informacii tak mySQL fakt nie)
http://www.cmswire.com/cms/big-data/mic ... 024565.php
-
Fabo
Hardcore addict
- Príspevky: 6810
- Registrovaný: 16 nov 2007, 17:23
- Bydlisko: 's Chravenhache
- Kontaktovať používateľa:
Re: Kam uložiť BigData
msSQL je overkill na takuto databazu. Naviac ma jeden vo velkom svete dost podstatny problem - bezi na windowsoch.
-
axxis
Addict
- Príspevky: 3690
- Registrovaný: 29 máj 2007, 21:53
- Bydlisko: Spálené mlyny
- Kontaktovať používateľa:
Re: Kam uložiť BigData
Ked som to tu pisal mal som na mysli viac Express verziu ako Enterprise (je zadarmo, ma vyssiu priepustnost ako mySQL a vyssi limit na jednu databazu)Fabo napísal:msSQL je overkill na takuto databazu.
Nie som si isty ako je toto problem. (zvlast ked prave velky svet migruje na MS databazy)Fabo napísal: Naviac ma jeden vo velkom svete dost podstatny problem - bezi na windowsoch.
-
Fabo
Hardcore addict
- Príspevky: 6810
- Registrovaný: 16 nov 2007, 17:23
- Bydlisko: 's Chravenhache
- Kontaktovať používateľa:
Re: Kam uložiť BigData
Expres verzia je zas limitovana na vykone, jeden procesor a jedno GB ramky, co si nemyslim ze je idealne. Hlavne ak bude pouzivat jednorazovo vacsie operacie.
Co sa tyka toho windowsu, pokial uz sa bavime o organizaciach s vlastnymi datacentrami, tak ano povedzme da sa narabat s windows servermi, aj ked teda napr. u nas ja vidim skor trend smerom k oraclu, ale nepopieram celosvetovo moze byt trend k mssql.
Vo "velkom svete" v zmysle sirokeho zaberu hostingov, webhostingov a malych virtualkovych hostingov bude vysoko pravdepodobne pouzity linux, takze mssql znamena zaroven aj zakupit a deployovat windows stroj.
Co sa tyka toho windowsu, pokial uz sa bavime o organizaciach s vlastnymi datacentrami, tak ano povedzme da sa narabat s windows servermi, aj ked teda napr. u nas ja vidim skor trend smerom k oraclu, ale nepopieram celosvetovo moze byt trend k mssql.
Vo "velkom svete" v zmysle sirokeho zaberu hostingov, webhostingov a malych virtualkovych hostingov bude vysoko pravdepodobne pouzity linux, takze mssql znamena zaroven aj zakupit a deployovat windows stroj.
-
axxis
Addict
- Príspevky: 3690
- Registrovaný: 29 máj 2007, 21:53
- Bydlisko: Spálené mlyny
- Kontaktovať používateľa:
Re: Kam uložiť BigData
Existuju aj windows hostingy zadarmo (priznavam, ze ich je podstatne menej ako linuxovych, ale su).Fabo napísal:Expres verzia je zas limitovana na vykone, jeden procesor a jedno GB ramky, co si nemyslim ze je idealne. Hlavne ak bude pouzivat jednorazovo vacsie operacie.
Co sa tyka toho windowsu, pokial uz sa bavime o organizaciach s vlastnymi datacentrami, tak ano povedzme da sa narabat s windows servermi, aj ked teda napr. u nas ja vidim skor trend smerom k oraclu, ale nepopieram celosvetovo moze byt trend k mssql.
Vo "velkom svete" v zmysle sirokeho zaberu hostingov, webhostingov a malych virtualkovych hostingov bude vysoko pravdepodobne pouzity linux, takze mssql znamena zaroven aj zakupit a deployovat windows stroj.
+mam dojem, ze existuje nejaka slabucka instancia Azure co je tiez zadarmo (ale u toho si nie som isty)
-
harrison314
Hardcore addict
- Príspevky: 8219
- Registrovaný: 27 máj 2009, 20:42
- Bydlisko: Bratislava
- Kontaktovať používateľa:
Re: Kam uložiť BigData
Je uplne jedno coho je viac na svete, ci sa viac pouziva ms sql, mysql,.... ide vzdy o konkretne poziadavky a moznosti (financne, znalostne, skusenosti,...) daneho projektu.Fabo napísal:Expres verzia je zas limitovana na vykone, jeden procesor a jedno GB ramky, co si nemyslim ze je idealne. Hlavne ak bude pouzivat jednorazovo vacsie operacie.
Co sa tyka toho windowsu, pokial uz sa bavime o organizaciach s vlastnymi datacentrami, tak ano povedzme da sa narabat s windows servermi, aj ked teda napr. u nas ja vidim skor trend smerom k oraclu, ale nepopieram celosvetovo moze byt trend k mssql.
Vo "velkom svete" v zmysle sirokeho zaberu hostingov, webhostingov a malych virtualkovych hostingov bude vysoko pravdepodobne pouzity linux, takze mssql znamena zaroven aj zakupit a deployovat windows stroj.
Ak stavias podnikovy informacny system tak pouzit MySQL je samovrazda.
Ak robis robis webovu prezentaciu je MS SQL/Oracle zbytocne vyhadzvanie penazy.
V pripade BX-a, by som sa podla opysaneho problemu bal pouzit MySQL po predoslich skusnostiach, tod vse.