Многопоточность и прокси

[Krolm]

Назрела необходимость в разъяснении новых режимов работы софта.
Итак их получается 4. Все они создаются настройками на вкладке многопоточность.
1 режим. Сканирование в один поток без прокси. Стоит использовать, если у вас медленный канал. В настройках - количество потоков 1, Активировать систему - снято.
2 режим. Многопоточность без прокси. Наиболее интересный режим, потому что вместе с системой маскирования Линмастера дает неплохой прирост производительности. Количество потоков - от 2 до 16 (рекомендую 6). Активировать систему - снято. В данном режиме каждый поток ведет себя как отдельный пользователь яндекса (подробности достижения этого эффекта не разглашаются). Если вдруг все потоки получат капчу - увидите столько капч, сколько потоков. Следует подобрать оптимальное время задержки на вкладке "Настройки". Нетрудно посчитать, что установка 6 потоков и увеличение задержки в 2 раза, дает 3х кратное увеличение производительности и практически польностью исключает капчу (если конечно с вашего ипа больше никто не парсит яндекс).
3 режим. Многопоточность с распараллеливанием прокси. Активировать систему - включено. Параллельно- активированно. То же самое, что и предыдущий режим, только у каждого пользователя вдобавок будет свой ип.
4 режим. Чередование прокси. Активировать систему - включено. Последовательно - активированно. Данный режим эквивалентен первому режиму, только после каждого запроса будет сэмулирован новый пользователь и будет произведена смена ипа на следующий в списке проксей. Полностью исключает капчу.

На что стоит обратить внимание.
1. Используйте только качественные НЕанонимные прокси. Использование анонимных прокси практически сведет на нет систему маскирования. Некачественные прокси могут вызвать зависание потоков.
2. Занесение результатов дальше по списку (значений, которые соответствуют домену, а не странице. с целью не дублировать анализ ожного и того же) может провоцировать полную загрузку процессора и как следствие прекращение отрисовки интерфейса программы. Поэтому не рекомендую ставить много потоков на очень большие списки анализа (тысячи).
3. При многопоточности можно не вводить капчу. В данном случае просто будет сэмулирован заход нового пользователя (На гугл не действует)
4. Гугл крайне негативно относится к многопоточности. Поэтому его аналитику лучше делать отдельно. Либо ввести все капчи гугла. После ввода капчи, гугл повторно ее показывает очень не скоро.

[acoustic]

Вот что наблюдается в режиме многопоточности (без прокси):

1. После остановки проверки, при каждом новом старте приходится заново вбивать капчи
2. Пример:
 - Стартую проверку по Яндексу, например, индексации страниц.
 - Старательно вбиваю капчу для каждого потока, Яндекс успокоился, проверка продолжается.
 - В середине процесса добавляю новый столбец, например, Google PR - все потоки дружно накидываются на Google.
 - Потоки добираются до того места, где была прервана проверка по Яндексу.. и получают капчей по морде! Каждый!

Видимо потоки в этих примерах разрывают сессии с Яндексом, либо открывают новые, либо cookie обнуляют, либо делают_что_то_в_этом_духе (ваше know how, я не в курсе), в резултате чего Яндекс не может их вспомнить. Зря они так.. Предлагаю им не делать так больше и жить с Яндексом долго и счастливо, пока не ралучит их смерть по timeout.   Если не ошибаюсь, в браузере сессии живут чуть ли не сутки... или это cookie?.. хз..

[Demon13]

если одна из прокси в списке умерла то вместо результата имеем НД
при наличии 15 прокси, сложно отлавливать какая умерла и идти ее поднимать

пожелания, например:
если прокси не дает проверить результаты ее деактивировать