Vítejte na blog.vyvojar.cz Přihlásit | Registrovat | Pomoc
Titulní Blogy Fotky Soubory

Martinowo

Technologie, zajímavosti a .NET

Vstup velkého množství dat do SQL v praxi

Pro aplikaci hledání Atlas.cz jsem řešili vstup velkého množství číselných dat do SQL Serveru - principy, které před časem popisoval Michal (blog: Michal Bláha, článek: SQL - rychlé předávání parametrů). Popíšu kousky implementace a rychlostní testy mezi dvěma nejsilnějšími řešeními.

Cíl bylo zapsat nebo jinak do SQL Serveru dostat relativně velkou množinu dat, provést výpočetní a group operace uvnitř a ven pak číselné výsledky. Přičemž množství čísel dovnitř bylo v řádu: 1 000, dat uvnitř pro JOIN, GROUP v řádu: 1 000 000 a výstup ven v řádu: 10. Pro implementaci a testování jsme vytvořili tyto verze :

  • INSERT SP pro zápis 50 čísel najednou, počet volání pak odpovídal: [pocet]/50 ...
  • Funci z článku od Michala, která vrací přímo strukturu typu tabulka a tak její výsledek může být rovnou použit pro další operace v SQL

Testování probíhalo na samostatné .aspx stránce, kde bylo náhodně vzato 1 000 čísel (uloženo do Cache pro další použití) a zasláno pro zpracování oběma principy. Číselné hodnoty mají význam spíše váh výkonu pro oba postupy, nezahrnují odečty dalších operací na stránce (např. čtení výsledku SqlDataReadery). Výsledky :

  • SP : 171 req/1 min.
  • Funkce : 192 req/1 min.

Vítězem a závěrečná implementace je tedy na Funkci, nicméně očekával jsem větší náskok tohoto řešení.

Zveřejněno 9. září 2004 8:48 by martin

Komentář

Žádné komentáře
Neregistrovaní uživatele nemužou přidávat komentáře.
Powered by Community Server (Personal Edition), by Telligent Systems
Vyvojar.cz na prodej!