Сбор и обработка данных выгрузки, сведение, отчёты

Первое, что выясняю: задача одноразовая или повторяющаяся. Разовое сведение данных дешевле сделать руками с помощью инструментов, и я не буду предлагать автоматизацию там, где она не окупится. Но если отчёт собирается каждый месяц по два дня, скрипт окупается за первый же прогон и дальше работает бесплатно. Граница обычно проходит между «раз в год» и «раз в месяц» — считаем вместе на ваших цифрах, а не по общему правилу.

Заказчики обычно недооценивают этот этап: кажется, что надо просто соединить таблицы. На практике основное время уходит на приведение данных к сопоставимому виду. Одна и та же организация записана пятью способами, телефоны в семи форматах, даты частью текстом, числа с пробелами и запятыми, дубли с незначительными различиями. Пока это не решено, любое сведение даёт неверный результат — причём тихо, без ошибок. Поэтому проверки и отчёт о том, что не удалось однозначно разобрать, я делаю обязательной частью работы.

В порядке предпочтения: официальный API или экспорт из самой системы — самый надёжный путь; прямой доступ к базе, если она ваша; файлы, которые вам присылают; открытые государственные наборы данных и справочники. Разбор страниц сайтов беру только для открытых данных и с учётом правил самого ресурса. Чего не делаю: не обхожу защиту и авторизацию, не собираю персональные данные без основания, не работаю с ресурсами, где это прямо запрещено их условиями. Если задача требует такого, скажу об этом сразу и предложу законный путь — обычно он есть.

Одноразовый скрипт без документации через год становится проблемой: автор недоступен, логика неизвестна, трогать страшно. Поэтому к любой автоматизации отдаю описание — что делает, откуда берёт, куда кладёт, что происходит при сбое и к кому идти. Код пишу читаемым и оставляю у вас вместе с инструкцией по запуску. При желании обучаю вашего сотрудника менять параметры самостоятельно: зависимость от исполнителя я считаю дефектом работы, а не преимуществом.