Problem s MySQL

Programovacie jazyky, rady, poradňa...
jojko001
Amateur
Amateur
Príspevky: 19
Registrovaný: 23 okt 2006, 8:44

Problem s MySQL

Príspevok od používateľa jojko001 »

Zdravim, mam plateny hosting u jedneho dost znameho nemenovaneho poskytovatela a mam nasledovny problem: Kazdy den robim aktualizaciu dat a robim to nasledovným sposobom:
- stiahnem si na server niekolko aktualizacnych suborov (xml)
- jednotlive subory su rozparsovane - citanie xml
- zo ziskanych udajov sa robia nasledujuce operacie:
> ak sa dane udaje nenachadzaju v db, tak sa pridaju
> ak sa nachadzaju, tak sa aktualizuju
> ak su v db a nenachadzaju sa v subore xml, tak sa urcite data zmazu

Takze celkovo sa mi v cykle musi vykonat cca 400 000 select query a k tomu este cca 200 000 update query a cca 50 000 insert query. Este podotknem, manipuluje sa s viacerymi tabulkami.

Moj problem je ten, ze to fakt dost dlho trva, ale hlavne to, ze sa mi niektore dotazy akokeby vobec ani nevykonaju, cize ak mam 200 000 updatov som rad, ak sa mi vykona aspon polovica! Dany dotaz je sice poslany (je platny, cize za normalnych okolnosti je plne vykonatelny), ale akokeby bol ignorovany! UZ som zrusil aj vsetky indexy co som mal vytvorene, ze ci nerobi to problemy pri vkladani, ale nepomohlo to! Obratil som sa aj na poskytovatela, ale ten vravi, ze u nich je vsetko v poriadku, ze chyba bude u mna! Ale aka? Vsak len v cykle pracujem s db, najjednoduchsie operacie: zistovanie, ci sa dake data v db nenachadzaju, pripadny zapis, update a delete! Fakt uz neviem! :(

Ak viete niekto pomoct, budem vdacny za kazdu radu!

Inak platforma: php + mysql 5.0
A tiez sa mi nopazdavaju ani dako tieto stavove vypisy z db:

Kód: Vybrať všetko

http://rapidshare.com/files/181566019/vypis_db.rar
hojko
Site Admin
Site Admin
Používateľov profilový obrázok
Príspevky: 38515
Registrovaný: 24 apr 2004, 18:29
Bydlisko: Európa
Kontaktovať používateľa:

Príspevok od používateľa hojko »

Na studovanie scriptu su tu ludia, ktori sa do toho vyznaju, ja sa vyjadrim len k tomu poctu queries.

To co robis je dost velke cislo, takze to bude aj dost velka zataz pre server, teda za tych mozno 100-200 korun mesacne im zhlnes na isty cas dost vykonu. Je mozne, ze server ma obmedzenie na pocet queries za urcity casovy usek, taktiez je mozne, ze cela operacia sa nevojde do casoveho limitu a nastava timeout, resp. prerusenie vykonavacia scriptu. Skus to rozdelit na viacej casti a dat tam mensiu pauzu.
refr0
Star
Star
Príspevky: 521
Registrovaný: 26 nov 2005, 10:55
Bydlisko: Trenčín
Kontaktovať používateľa:

Príspevok od používateľa refr0 »

tak tak.. nech spravi naraz tolkoa tolko niaka haluz a potom zas..
audiotrack
VIP
VIP
Používateľov profilový obrázok
Príspevky: 25958
Registrovaný: 09 sep 2005, 18:39
Kontaktovať používateľa:

Príspevok od používateľa audiotrack »

nabudúce takéto pár kb veci dávaj do prílohy, nebudem ja hodinu refreshovať kým mi dovoli ťahať z rapidu.

Čo sa toho výpisu týka, ako hojko písal je to poriadne znásilňovanie. Pekne tam vidíš červenými číslami že 774 tisíc selectov sa nevykonalo, lebo presiahli long_query_time. Aj tak ale tie miliony queries čo tam robíš (selecty) zaberajú "iba" 23% tak by to mohlo zvládať. Treba zistiť prečo sa tie niektoré nevykonajú, možno sú len zle napísané, možno z nejakého iného dôvodu a stačilo by to dať do podmienky a prípadne vykonať znova ak sa nepodarilo..
Neviem si ale predstaviť čo to môže byť za stránku keď ju treba tak radikálne každú chvíľu treba aktualizovať. Ak je to ale nevyhnutné, robil by som to v noci keď je najnižššia záťaž na db.
jojko001
Amateur
Amateur
Príspevky: 19
Registrovaný: 23 okt 2006, 8:44

Príspevok od používateľa jojko001 »

Dakujem vsetkym co sa vyjadrili! Tak to zhrniem: nemam hosting co stoji do 200 Sk mesacne! Mam neobmedzeny hosting, cize mam vsetko na co si len spomeniem :) Co sa tyka tej aktualizacie, tak samozrejme je nevyhnutna, koli comu, to si necham pre seba - nie je to ziaden maly web! A samozrejme, ze ta aktualizacia prebieha vecer resp. aby som bol presny medzi 2:00 - 3:00 rano! S vyprsanim skriptu tiez nemam problem! Uz ako tu bolo spomenute, skusal som a samozrejme mam to rozdelene na viacej casti! Ale problem je aj tak - niektore casti co vykonaju viac query prebehnu bez problemov a niektore uz nie! A ako som uz spomenul, kazde jedno query, ktore sa posiela serveru je platne, cize na 100% funkcne!
hojko
Site Admin
Site Admin
Používateľov profilový obrázok
Príspevky: 38515
Registrovaný: 24 apr 2004, 18:29
Bydlisko: Európa
Kontaktovať používateľa:

Príspevok od používateľa hojko »

jojko001: A kolko teda stoji ten tvoj hosting, pretoze neobmedzeny neznamena neobmedzeny, staci si spomenut na rozne akcie v pripade internetu ci mobilov, ze neobmedzene blablabla... a pritom padali milionove pokuty za zavadzanie spotrebitela a podobne.
xivo
Light Professional
Light Professional
Používateľov profilový obrázok
Príspevky: 752
Registrovaný: 27 jún 2005, 22:49
Bydlisko: Slovensko
Kontaktovať používateľa:

Príspevok od používateľa xivo »

jojko001 napísal:Dakujem vsetkym co sa vyjadrili! Tak to zhrniem: nemam hosting co stoji do 200 Sk mesacne!
OT
Poznam (dobreho) slovenskeho providera co ponuka "neobmedzeny" hosting do 200 Sk na mesiac ...
A inac nemam ziadnu predstavu co to mas za aplikaciu ked denne vykonava tolko queries (katalog ?)
ale urcite by som ju nehcel hostovat :D ...
zaggi
Medium Star
Medium Star
Používateľov profilový obrázok
Príspevky: 314
Registrovaný: 04 feb 2007, 19:32

Príspevok od používateľa zaggi »

xivo napísal:OT
Poznam (dobreho) slovenskeho providera co ponuka "neobmedzeny" hosting do 200 Sk na mesiac ...
A inac nemam ziadnu predstavu co to mas za aplikaciu ked denne vykonava tolko queries (katalog ?)
ale urcite by som ju nehcel hostovat :D ...
na katalog je to moc, skor nejaka tipovacia stranka, sportove vysledky, kazdy den aktualizacia tisicov zapasov, hier a podobne a hned mas taky traffic ...

kazdopadne (bez ohladu na to co to je) by bolo zdravsie sa troska zamysliet nad implementaciou databazy a napisat nejake databazove procedury ktore by ti zredukovali pocet requestov mojim odhadom tak na tretinu :)

ale to neriesi tvoj problem nevykonanych veci ... idealne si tu aplikaciu rozbehat na lokale, a ak ti na tvojom pc pojde vsetko tak ako ma bez toho aby si upravoval zdrojaky tak by som pohladal iny "neobmedzeny" hosting ...
jojko001
Amateur
Amateur
Príspevky: 19
Registrovaný: 23 okt 2006, 8:44

Príspevok od používateľa jojko001 »

hojko: nechcem tu prave rozoberat moj hosting a tak isto som si vedomy, ze nie je vzdy pravda co poskytovatel napise (ze co ponuka) a co skutocne zakaznik od neho dostava!
Na lokale to ide bez (urcite sa dake najdu, ale je to znesitelne) problemov a ako pisal zaggi, tak sa asi skusim poobzerat po inom hostingu! Lebo pri preneseni mojej db na iny hosting mam sice este mensie problemy, ale je to znesitelne :)

xivo: "...urcite by som ju nehcel hostovat..." NIe kazdy si moze dovolit vlastny server! A co sa tyka mojej aplikacie, aj ja by som bol rad, keby to nemusim aktualizovat, ale potom by moja sluzba nemala zmysel, keby poskytujem zastarale udaje!

Ale dik za vyjadrenie vlastnych nazorov...
hojko
Site Admin
Site Admin
Používateľov profilový obrázok
Príspevky: 38515
Registrovaný: 24 apr 2004, 18:29
Bydlisko: Európa
Kontaktovať používateľa:

Príspevok od používateľa hojko »

jojko001: V tom pripade si podla PHP Info nastav doma svoj localhost rovnako ako mas na hostingu, mozno k niecomu dospejes (aspon limity v MB a v sekundach).

Na prenos DB pouzivaj MySQL Dumper ;)
Napísať odpoveď