Широкое распространение в последние годы получили программы, которые пытаются предсказать, какие объекты будут интересны пользователю, имея определенную информацию о его профиле. До 2006 года такие алгоритмы не пользовались популярностью. Но все изменилось осенью 2006 года, когда компания Netflix предложила разработчикам 1 000 000$ за лучший алгоритм предсказания. Конкурс продлился 3 года.
Расскажем сегодня о своем опыте построения рекомендательной системы в обучении персонала.
Сегодня в мире цифровых технологий большинство разработок используют в своей основе рекомендательные системы.
Почему?
Рекомендательные системы – это современный пример успешного IT-инструмента для понимания интересов и предпочтений другого человека. В данном случае не важно знакомы вы или нет, работаете в одной компании или находитесь в разных уголках Земли. Любая рекомендательная система учится понимать человека на основании имеющейся о нем исходной информации у машины. Чем больше такой инфо, тем больше шансов, что проект будет интересен и не потеряет интерес своей аудитории.
Изначально рекомендательные системы использовались преимущественно для привлечения внешнего клиента и роста прибыли компаний. Сегодня их начали активно применять и для внутреннего клиента. Например, рекомендации обучающих курсов для развития персонала внутри компании.
Существует три основных класса рекомендательных систем
1. Content-based filtering (фильтрация контента).
В данной системе берется каждый сотрудник и машина анализирует его историю обучения, а также пул не пройденных им курсов. В число рекомендаций при этом попадут не пройденные курсы, которые похожи по содержанию на изученные ранее.
2. Collaborative filtering (коллаборативная фильтрация).
В данной системе искомому сотруднику предлагаются курсы к изучению, которые заинтересовали похожих на него коллег.
3. Гибридные системы, комбинирующие предыдущие подходы.
Оптимальный вариант – сочетать оба типа фильтрации. Однако в реальности ввиду ограниченности исходных данных быстрее и легче внедрить рекомендательную систему, основанную на коллаборативной фильтрации.
Почему?
• Модель работает в режиме офлайн. Система ориентирована на долгосрочный периметр изменений в предпочтениях Users. Как правило, такие изменения имеют под собой более весомые причины, чем сиюминутные предпочтения Users.
• Отсутствуют оценки учебных курсов. В классическом варианте источником информации об учебном курсе для его включения в периметр рекомендаций служит средняя оценка (для ее формирования каждый сотрудник по окончании обучения выставляет курсу оценку в границах заданной шкалы). Чем выше средняя оценка, тем выше шанс, что курс будет рекомендован. Однако оценки есть не всегда…
• Достаточное количество features (кроме оценок) для поиска похожих Users.
Критериями поиска похожих Users внутри компании могут выступать:
• должность / грейд (значение определено диапазоном);
• вертикаль / направление работы сотрудника;
• схожесть истории обучения;
• квалификация (например, Data Analist, Data Engineer, Data Scientist);
• возраст (вся численность сотрудников разделена на группы с заданным интервалом);
• стаж (вся численность сотрудников разделена на группы с заданным интервалом).
Количество похожих Users и количество рекомендованных курсов также следует ограничить.
В нашей компании был опыт разработки MVP рекомендательной системы обучающих курсов, для включения в План развития сотрудников. Рекомендации формировались на основы матрицы корреляции Пирсона. Критериями поиска похожих Users выступали:
· должность (-1, +2);
· направление работы – поиск был настроен по штатной принадлежности сотрудников к идентичному подразделению в разных филиалах России;
· схожесть истории обучения – похожими были установлены курсы по идентичности наименования;
· квалификация – в рамках нашей компании выделены только сотрудники категории Data Scientist;
· возраст – все сотрудники компании разделены на группы в интервале 5 лет (весь возрастной диапазон находится в промежутке от 20 лет и до 65);
· стаж - все сотрудники компании разделены на группы в интервале 5 лет.
Количество похожих Users – 3 человека.
Количество рекомендованных курсов – 6 курсов (по 2 от каждого похожего User).
Язык построения алгоритма рекомендательной системы – Python.
На первом этапе код отрабатывает исходные данные (DataSet), например, штатная численность компании в разрезе ФИО, история обучения каждого сотрудника и обязательно информация для отработки критериев поиска похожих Users.
На втором этапе код формирует матрицу корреляции и для каждого User машина подбирает 3 наиболее похожих Users по параметрам из списка выше.
# Проходим по строкам DataSet
for row in df:
corrMatr = df.corrwith(df[row]) # Функция корреляции матрицы
corrMatr = pd.DataFrame(corrMatr)
tempMatr = corrMatr # Временная матрица
tempMatr = tempMatr.drop([row], axis=0)
li = list()
li2 = list()
print(row)
k = 0
while k < 6:
if len(tempMatr) == 0: # Если количество строк tempMatr равно 0, выходим из цикла while
break
name = tempMatr.idxmax().item() # Значение по индексу первого появления максимума в строке
dp = df3[df3['Tab'] == name].set_index('Tab') # Получаем те строки из таблицы Обучение,
# в которых значение столбца Tab равно name
if name not in li2 and ((df[name]['pos'] <= df[row]['pos'] + 2 and df[name]['pos'] >= df[row]['pos'])):
# Если сотрудник еще не рассмотрен и подходит по должности
li2.append(name)
col_dp = dp.columns.tolist() # Список столбцов рассматриваемого DataFrame
random.shuffle(col_dp) # Перемешиваем строки
for yy in col_dp: # Проходим по ним
if pd.DataFrame(df3[df3['Tab'] == name][yy]).reset_index()[yy][0] == 1 and \
pd.DataFrame(df3[df3['Tab'] == row][yy]).reset_index()[yy][0] == 0 and \
yy not in li and yy in df777['Курсы'].tolist():
# Если курс еще не был включен в список предложенных
recList.append([row, name, yy,
pd.DataFrame(df4[df4['Tab'] == row]['TB']).reset_index()['TB'][0], \
pd.DataFrame(df4[df4['Tab'] == name]['TB']).reset_index()['TB'][0], \
pd.DataFrame(df4[df4['Tab'] == row]['FIO']).reset_index()['FIO'][0], \
pd.DataFrame(df4[df4['Tab'] == name]['FIO']).reset_index()['FIO'][0]])
k += 1
li.append(yy)
# Удаляем рассмотренного сотрудника из tempMatr
tempMatr = tempMatr.drop([tempMatr.idxmax().item()], axis=0)
break # Выходим из цикла for
else: # Удаляем рассмотренного сотрудника из tempMatr
tempMatr = tempMatr.drop([tempMatr.idxmax().item()], axis=0)
# Заполняем результирующий DataFrame и выгружаем его в Excel
recomendations = recomendations.append(recList, ignore_index=True)
recomendations.to_excel('итог.xlsx')Схематично работу алгоритма при поиске учебного курса для включения в перечень рекомендаций можно увидеть на рисунке ниже.
На третьем этапе важно организовать доведение рекомендаций в удобном для сотрудника формате. К возможным и доступным формам корпоративного информирования можно отнести:
· персональные рекомендации в личном кабинете сотрудника (например, на корпоративном портале или образовательной корпоративной платформе);
· персональная рассылка писем по корпоративной почте.
Наша команда разработчиков остановились на использовании корпоративной почты.
Данный алгоритм рекомендаций был внедрен в пилотном режиме (на протяжении одного квартала). Созданный MVP достиг поставленного руководством целевого значения конверсии в 25%, что позволяет признать его успешным и готовым к внедрению в пром.
