Справочник по прокси IPv4

реклама

Разбираем по порядку: как устроен адрес, что покупать под конкретную работу, чем отличаются протоколы, как подключить и как убедиться, что всё работает.

Кому пригодится

Тем, кто собирает открытые данные, ведёт несколько рабочих кабинетов, снимает позиции в выдаче или отправляет почту с постоянного адреса. Каждая страница отвечает на один вопрос и заканчивается там, где вопрос закрыт.

Рабочие адреса под эти сценарии: приватные прокси IPv4 из серверного пула, под сбор данных отдельно адреса для парсинга с безлимитным трафиком.

Под какие задачи берут прокси IPv4

Задач, где нужен постоянный собственный адрес, немного, и они узнаваемые. Сбор открытых данных: каталоги, прайсы, выдача, отзывы. Работа с несколькими рабочими кабинетами, когда каждый должен выходить со своего адреса. Снятие позиций, где важно не смешивать проверки между собой. Отправка почты с адреса, репутацию которого вы контролируете сами.

Общее у всех четырёх одно: адрес нужен предсказуемый и только ваш. Общий адрес, через который ходит кто-то ещё, ломает любую из этих задач, и ломает молча: данные соберутся, кабинет откроется, письмо уйдёт, а через неделю выяснится, что репутация адреса испорчена чужой работой.

Что входит в доступ и в каком виде выдаётся

Выдача состоит из четырёх частей, и каждая из них потом попадает в настройку программы: адрес входа, порт, имя пользователя и пароль. Список приходит в двух форматах, IP:PORT для доступа по разрешённой машине и IP:PORT:LOGIN:PASS для доступа по паролю.

Ещё одна часть выдачи, о которой спрашивают редко и зря: сколько адресов идёт в одном наборе и лежат ли они подряд. Набор из соседних адресов площадка видит как единое целое, и отказ по одному нередко означает отказ по всем соседям. Набор, разнесённый по разным диапазонам, ведёт себя устойчивее, и при работе с несколькими кабинетами это заметно сразу. Спрашивать об этом стоит до покупки: поменять набор потом сложнее, чем выбрать его один раз с самого начала.

Второй режим работает с любой машины, где есть эта строка. Первый привязан к машине: поставщик держит список адресов, которым позволено подключаться, и с других машин соединение просто не откроется. Разница вылезает при переезде задачи на сервер, и об этом ниже.

Состав пакетов и то, сколько адресов в них входит, смотрят на странице пакетов серверных прокси IPv4. Отдельно стоит посмотреть адреса под сбор данных без счётчика трафика, если работа ночная и объёмная.

Чем отличаются протоколы и что выбрать

Выбор между веб-схемой и схемой SOCKS сводится к тому, что вы просите у посредника. В первом случае он выполняет запрос за вас и понимает, что вы отправили. Во втором открывает трубу и копирует байты, не понимая содержимого. Отсюда всё остальное.

Подробный разбор с примерами команд лежит на странице про различия http, https и socks.

С чего начать, если берёте впервые

Порядок из четырёх шагов, каждый по несколько минут. Взять доступ и открыть письмо со строкой подключения. Вставить строку в одну программу, самую простую, лучше в командную строку. Сделать два запроса, через доступ и напрямую, и сравнить, какой адрес видит сайт. Только после этого настраивать рабочую задачу.

Третий шаг пропускают чаще всего, и он же экономит больше всего времени. Настройка, которая выглядит рабочей, и настройка, которая работает, отличаются ровно одним запросом.

Как убедиться, что запрос ушёл через адрес

Два запроса и сравнение. Первый через доступ, второй напрямую, оба к службе, которая возвращает адрес обратившегося. Разные ответы означают, что настройка применилась. Одинаковые означают, что запрос ушёл мимо посредника, сколько бы правильных строк ни стояло в настройках.

Делать это надо изнутри самой задачи, тем же клиентом, которым она работает. Проверка отдельной командой доказывает, что работает отдельная команда. Порядок проверок целиком разобран на странице как проверить работу прокси.

Кто разбирает имена узлов

Тихая беда, о которой почти не пишут. У схемы SOCKS есть два написания, отличающихся одной буквой на конце. При одном имя узла разбирает ваша машина и отдаёт посреднику готовый адрес. При другом имя уходит посреднику, и разбирает его он.

Работают оба, адрес выхода в обоих случаях правильный. Разница в том, что при первом варианте полный список узлов, куда вы ходите, уходит вашему провайдеру по одному запросу за раз, хотя сам трафик идёт куда надо. Ошибки при этом не появляется никакой.

Сколько адресов нужно под объём

Считается от трёх чисел, на глаз тут не угадывают: сколько страниц надо собрать, за какое окно, и какой темп держит один адрес без отказов. Первое делите на второе и получаете нужный темп, темп делите на безопасный темп одного адреса и получаете число адресов.

Безопасный темп меряется один раз на площадку: гоните запросы с одного адреса, повышая частоту шагами, до первого отказа, и берёте около шестидесяти процентов от этой частоты. Расчёт с примерами есть на странице про число адресов под задачу.

Что ломается при переезде задачи на сервер

Самая частая поломка выглядит так: на своей машине всё работает, на сервере отказ, и код ответа говорит про авторизацию. Пароль тут обычно ни при чём, дело в режиме доступа: если он выдан по разрешённой машине, сервер в этом списке не значится, и никакая правка строки подключения этого не изменит. Проверять этот пункт стоит первым при любом переезде, он снимает вопрос за минуту.

Вторая по частоте: переменные окружения, прописанные в профиле оболочки, при запуске по расписанию не подхватываются. Задача поднимается, запросы идут напрямую, данные приходят настоящие и собранные не с той точки зрения.

Как читать отказ и не искать не там

Отказ приходит от одного из трёх: от посредника, от площадки или от сети между ними. По коду ответа видно, от кого именно, и это экономит вечер разбирательств.

Код 407 отдаёт посредник, и означает он отказ в самом подключении: не тот пароль, не тот режим доступа либо машина не внесена в список разрешённых. До площадки запрос при этом не дошёл, повторять его бесполезно.

Код 403 отдаёт уже площадка, то есть запрос дошёл и был отклонён. Тут работает темп, заголовки и репутация адреса, а правка строки подключения ничего не изменит. Разбор обоих случаев по шагам лежит на страницах про отказ 407 и отказ 403.

Код 502 означает, что посредник попытался соединиться и не смог: причина на стороне узла назначения или маршрута. Тишина вместо ответа при уже открытом соединении почти всегда упирается в рукопожатие с площадкой, и доступ тут ни при чём.

Что записать по каждому доступу

Пять строк рядом с задачей отвечают на большинство будущих вопросов за десять секунд вместо часа поисков.

Первое: адрес входа и порт, выписанные на бумагу. Второе: режим доступа, по паролю или по разрешённой машине. Третье: какие порты назначения открываются, проверенные своей рукой, а обещания на словах в заметку не идут. Четвёртое: дописывает ли посредник строку с вашим настоящим адресом при обмене без шифрования, это проверяется один раз, в день получения доступа.

Пятое и самое полезное: дата последней проверки. Оборудование у поставщиков меняется, маршруты перекладываются, и доступ, работавший весной без единого замечания, осенью начинает отдавать отказы на тех же самых портах. Без даты вы будете искать причину в своём коде, которого не трогали, и найдёте её нескоро.

Заметки держат рядом с кодом и правят вместе с ним. Список в отдельном документе, который никто не открывает, устаревает за месяц и вводит в заблуждение вернее, чем его полное отсутствие.

Частые вопросы

Чем приватный адрес отличается от общего

Приватный выдан только вам, и его репутацию формирует только ваша работа. На общем адресе одновременно работают посторонние, и отказ площадки вы получите за чужие действия, не зная об этом.

Подойдёт ли один адрес на несколько кабинетов

Для работы с кабинетами берут по адресу на кабинет. Один адрес на несколько означает, что площадка видит их как связанные, и меры принимает сразу ко всем.

Почему запрос уходит напрямую, хотя настройка стоит

Чаще всего программа читает настройку из другого места, чем вы правили, либо создаёт клиента заново на каждом запросе. Проверяется сравнением двух запросов изнутри задачи.

Что делать при отказе с кодом 407

Проверить три вещи по порядку: нет ли в пароле особого символа, который ломает разбор строки; тот ли режим доступа; внесена ли эта машина в список разрешённых.