Только что закончил и запустил многопоточный crawler, который собирает нужные мне странички, все идет по плану. я кстати понял зачем писать это все тут, чтобы себя контролировать и не отлынивать 
вот лог от кравлера, так как страничек очень много, то приходится идти на меры: минимализм — наше все » Читать дальше: Проект. Кравлер
