Potreboval by som s niecim poradit. Mam za ulohu navrhnut nejaky system alebo nejaku oblast, kde vznika dynamicky velke mnozstvo dat. Pre pouzitie nosql databaz, ak ste o nich poculi. Najlepsie nieco zo skolskeho prostredia (VS) ale nie je to podmienkou.

Studujem problematiku tychto nosql databaz a kto by nevedel, tak pouzivaju sa hlavne tam, kde sa spracuva velke mnozstvo dat, tzv. big data. No a mal by som vymysliet nieco, nejaky priklad, kde by sa dali tieto databazy vyuzit a teda aby sa dalo to nieco aj zrealizovat. No nic ma nejak nenapada. Any ideas ?

Velke mnozstvo dat vznika pri logovani akcii systemu, ku ktoremu pristupuje velke mnozstvo uzivatelov, napr. tu na fore by to mohol byt kazdy http request na server. Alebo napriklad take Web API nejakeho systemu, ktore loguje dajme tomu kazdy jeden request a s nim aj kazde prihlasenie (kedze si nedrzi session).

Rozne package manage.

Napriklad npm bezi na nosql: https://www.npmjs.org/

http://en.wikipedia.org/wiki/Fork_bomb

spehovanie pouzivatelov webu, napr budes logovat pozicie mysi, na ktorej casti textu to mali a potom s toho dolovat na ktore cati clankov/prispevkov sa najviac sustredili.
Potom logovanie roznych systmov alebo proxi serverov, prosto web toho genruje mtre vela (kvoli tomu nosql vzniklo).
IMHO: velke mnozstvo dat generuje aj velky hadronovy urychlovac

Pripadne existuju aj samostatne projekty, ktore ti vedia vygenerovat kvanta rozneho typu (mena, adresy a podobne).

A neviete nahodou ako je to s ukladanim nejakych suborov ako su .pdf, .zip a podobne do takej NoSQL databazy ? Lebo v relacnych databazach typu SQL to je asi tak, ze do DB sa vlozi len odkaz, cesta k suboru. Ale ako to je v NoSQL ? Je subor ulozeny priamo v databaze ?

ktozesomja napísal:A neviete nahodou ako je to s ukladanim nejakych suborov ako su .pdf, .zip a podobne do takej NoSQL databazy ? Lebo v relacnych databazach typu SQL to je asi tak, ze do DB sa vlozi len odkaz, cesta k suboru. Ale ako to je v NoSQL ? Je subor ulozeny priamo v databaze ?

U kazdej to je inak, musis si to nastudovat priamo v materialoch danej databazy.

aha, už som sa k tomu dostal. Konkrétne mi išlo o MongoDB:

Large objects, or “files”, are easily stored in MongoDB. It is no problem to store 100MB videos in the database. For example, MusicNation uses MongoDB to store its videos.
This has a number of advantages over files stored in a file system. Unlike a file system, the database will have no problem dealing with millions of objects.

Prečo to je výhodnejšie mať priamo v DB ? Nejak som to nepochopil z toho.

Ak mas len jeden uzol, tak je lepsie mat na FS jeden velky subor ako miliardu malich.
Ale NoSQL je viac pouzivane pre distribuovane sytsemy, samo zebezpeci replikaciu a ukladanie v systeme, takze ta to odlahci od namahavej prace.
Aj ked podla mna to neplati obecne, vzdy zalezi od konkretneho pripadu.

Ja sa pridam s jednou otazkou, cisto pre zaujimavost. Ako si MongoDB potom odklada subory (resp. trebars ten jeden subor) ak sa zaplni FS? Predpokladajme, ze pri suboroch sa da vytvorit hierarchia priecinkov a nasledne ulozit cesta do DB, ale ako je to pri DB storagi? Zatial som sa nestretol s tym, ze DB ma viacero datadirov.

Windows XP, za pár mesiacov vznikne plno GB balastu.

Numline1 napísal:Ja sa pridam s jednou otazkou, cisto pre zaujimavost. Ako si MongoDB potom odklada subory (resp. trebars ten jeden subor) ak sa zaplni FS?

Ked sa zaplni FS tak nijak , ale ak myslis distribovany system, tak ho da na iny nod, v tomto sa az tak nevyznam skus pozriet tu http://viktorpetersson.com/2012/01/29/n ... the-cloud/ .

Numline1 napísal:JPredpokladajme, ze pri suboroch sa da vytvorit hierarchia priecinkov a nasledne ulozit cesta do DB, ale ako je to pri DB storagi? Zatial som sa nestretol s tym, ze DB ma viacero datadirov.

Npriklad MS SQL 2008, sa dokaze k suborom ulozenym na FS spravat ako keby to boli binarne data ulozene priamo v DB (tranzakcie, atomicita, citane, zapis DB streamom...). Takisto vie riadky normalnej tabulky delit do viacerych datovych suborov, podla predefinovanch pravidiel.

Jasne, rozumiem ti, aj ked ta druha otazka skor suvisela s tou prvou, ako sa to automatizuje pri clusteroch? Pri FS vies zvolit poriadny loadbalancing, tok dat na servery podla vytazenosti/zaplnenosti, kdezto pri tychto open source DB si to neviem tak lahko predstavit.

Priznam sa, to neviem. Ja som sa s distribuovanymi databazami stretol len v skole, kde povedali je to super a funguje to . A s MongoDB, Cassandra, MS SQL len lokalne. Rad by som si to vyskusal na clustry, len nejaky zohnat...
Ale ak to ide len o subory tak sa treba pozriet na hadoop.
A ak ide len o velke mnozstvo dat, to v pohode zvladaju aj komercne relacne databazy, dokonca zvladaju aj daco ako bezschemove ukladanie. Pri distribuovanych databazach je ich jedina vyhoda skalovatelnost.