Всем привет! Меня зовут Алмаз. Я специалист по НСИ (нормативно-справочной информации) в компании Bimeister.
Хотел бы поделиться своим небольшим опытом автоматизации некоторых рутинных задач при работе с различными файлами и Excel- базами данных.
Python.
Предыстория.
Сейчас довольно много материала по данному языку программирования. Порой новичку очень сложно понять, с чего начать и в какую сторону двигаться. По крайней мере, для работы в инженерной области, найти что-то полезное для меня было не очень просто. Я начал изучать основы языка Python на Freecodecamp.org.
Хороший бесплатный ресурс, однако требует знания английского или хотя бы желание его выучить. Сам курс назывался «Scientific Computing with Python», и вел его доктор Чак (Dr. Chuck, преподаватель Мичиганского университета). Доктор Чак очень просто и с юмором преподносит основные понятия и делится своим многолетним опытом для очень неискушенных учащихся.
Проучившись по несколько часов в неделю в течение нескольких месяцев, мне выпала возможность применить полученные навыки на практике.
Задача.
В сетевой папке лежат сканы документов в формате .pdf. Периодически документы в эту папку добавляются. Необходимо отслеживать новые поступления документов и скачивать их для дальнейшей обработки и загрузки в ПО на сервере клиента.
Так как количество документов может быть от нескольких единиц до нескольких сотен, то вручную данную работу сделать довольно проблематично. А если это надо делать ежедневно…
Решение.
Создаем список файлов, используя Excel. Работа с Excel будет рассмотрена в следующей части статьи. При добавлении в папку новых файлов создаем еще один список с помощью Excel.
Сравниваем со старым списком и в итоге у нас появляется список только новых файлов.
Такой список будет иметь строки в следующем виде:
\vol02\Цех №46\1_ОП\05_КИПиА\1.3.46.U01.451.ПО.Паспорт на средство измерения СТМ-10.pdf
Далее создаем текстовый файл в формате .txt и копируем в него наш список. Назовем этот файл List.txt:
\vol02\Цех №46\1_ОП\05_КИПиА\1.3.46.U01.451.ПО.Паспорт на средство измерения СТМ-10.pdf
\vol02\Цех №46\1_ОП\05_КИПиА\1.3.46.U01.452.ПО.Паспорт на средство измерения СТМ-10.pdf
\vol02\Цех №46\1_ОП\05_КИПиА\1.3.46.U01.453.ПО.Паспорт на средство измерения СТМ-10.pdf
Помещаем этот файл в папку с будущим файлом программы на Python. Для написания кода я использую “PyCharm Community Edition” (https://www.jetbrains.com/ru-ru/pycharm/download/other.html ).
Запускаем Pycharm, создаем новый файл с расширением “.py” – Main.py.
Нам понадобится модуль “shutil”. По нему много информации в сети. В моем случае этот модуль пришлось найти в интернете и положить в папку с файлом программы.
Далее все просто… Привожу ниже код программы:
import shutil
handle= open('list.txt', encoding='utf-8')
dest='D:\\Паспорта 55 цех\\Общ'
for line in handle:
src = line.strip()
#print(src)
shutil.copy(src, dest)
print("Copying file..",src[75:])
print('Finished')Теперь разберем код программы подробнее:
“import shutil” – импортируем модель shutil;
“handle” открывает нам файл list.txt. Декодируем его в utf-8 – для исключения ошибок кодировки;
“dest” – указываем путь, куда скачивать файлы;
“for line in handle” – перебираем строки нашего списка с файлами в цикле;
“src = line.strip()” – метод .strip разбивает текст, при этом при каждой итерации цикла в переменную src записывается адрес очередного файла;
“#print(src)” – закомментированный код. Если убрать символ #, то можно выводить на экрать текущую строку списка с адресом файла при каждой итерации цикла;
“shutil.copy(src, dest)” – метод “.copy” модуля “shutil”, который непосредственно копирует файл из папки “src” в папку “dest”;
“print("Copying file..",src[75:])” – выводим на экран название файла( последние 75 символов строки из списка файлов);
“print('Finished')” – выводим на экран уведомление об окончании процесса копирования.
Также обращаю внимание, что в коде программы адрес папки указан, используя двойные символы “//”, а в списке файлов – используется одинарный “/”. Это связано с особенностью кодировки символов в Python. Если данный вопрос интересен, то можно поискать материалы по теме “Escape последовательности”.
Excel.
Задача.
Получить список только новых файлов в сетевой папке из первой части статьи.
Решение.
К примеру, сегодня в сетевую папку выложены файлы сканов документов. Завтра планируется, что в папку будут выложены еще файлы. При этом на дату создания ориентироваться нельзя, так как документы могут быть отсканированы в один день, а выложены в папку для скачивания через несколько дней. При этом более “ранние” файлы могут быть выложены позже.
Запускаем Excel. На вкладке “Данные” кликаем “Получить данные”, затем “Из файла”/ “Из папки” и выбираем нужную папку.
После загрузки данных, открывается окно:
Нажимаем “Загрузить” и видим:
Нас интересуют столбцы Name (Имя файла) и Folder path ( Адрес папки). Для получения адреса файла необходимо “соединить” эти два столбца. В ячейке G1 пишем формулу =F1&A1.
В итоге мы получим список в виде строк следующего вида:
\vol02\5_Цех №5\2_Установка производства кислорода\05_КИПиА\1.1.05.020.05.TIRSA 2-2.ПО.Паспорт на устройство контроля и регистрации ФЩЛ-502.pdf
Мы получили список полных адресов файлов, которые на сегодняшний день присутствуют в папке. Далее можно скачать эти файлы с помощью Python, как было объяснено выше.
Через несколько дней, когда нам сообщат, о том что выложены новые файлы в папку, создаем точно такой же файл.
Затем копируем данные из нового файла в “старый” и вставляем данные в одну таблицу ниже существующих данных. После этого с помощью инструмента “ Удалить дубликаты“, оставляем только адреса только новых файлов.
Далее повторяем скачивание с помощью Python.
Таким образом, мы можем довольно быстро находить новые файлы в папке с уже существующими файлами и быстро их скачивать. Разумеется, данный метод не является идеалом. Если есть какие-то наработки в данной области, прошу поделиться в комментариях.
Надеюсь, данная статья будет полезна тем, кто хочет упростить свои повседневные задачи и начать применять современные технологии при работе с данными.
