Чаты на вебсокетах, когда на бэкенде WAMP. Теперь про Android

Мой коллега уже писал про наш опыт разработки чатов на вебсокетах для iOS, поэтому часть про особенности бэкенда с точки зрения клиента у нас общая. А вот реализация на Android, конечно, отличается. И ещё мне не приходилось, как в первой статье, искать библиотеку для поддержки старых версий операционной системы, потому что на Android каких-то глобальных изменений в сетевой части не было, всё работало и так.

К реализации вернёмся чуть ниже, а начнём с ответов на вопросы про бэкенд, которые появились после первой статьи: почему WAMP, какой брокер используем и некоторые другие моменты.

На время передам слово нашему бэкенд-разработчику @antoha-gs, а если хочется сразу почитать про клиент-серверное общение и декодирование, то первый раздел можно пропустить.

Что там на бэкенде

Почему WAMP. Изначально искал открытый протокол, который мог бы работать поверх WebSocket с поддержкой функционала PubSub и RPC и с потенциалом масштабирования. Лучше всего подошёл WAMP — одни плюсы, разве что не нашёл реализации протокола на Java/Kotlin, которая бы меня устраивала.

Какой брокер мы используем. Продолжая предыдущий пункт, это, собственно, и послужило написанию собственной реализации протокола. Плюсы — экспертиза в своём коде и гибкость, то есть при надобности всегда можно отойти от стандарта в нужную сторону. Каких-то серьёзных минусов не выявил.

К небольшим проблемам реализации проекта чатов можно отнести то, что нужно было ресёрчить и ревёрсить то, как работает реализация на Sendbird — сервисе, который мы использовали. То есть какими возможностями мы там пользовались и какой дополнительный функционал был реализован поверх. Также к сложностям отнёс бы перенос данных из Sendbird в свою базу.

Ещё был такой момент в комментариях:

«Правильно, что не стали использовать Socket.IO, так как рано или поздно столкнулись бы с двумя проблемами: 1) Пропуск сообщений. 2) Дублирование сообщений. WAMP — к сожалению — также не решает эти вопросы. Поэтому для чатов лучше использовать что-то вроде MQTT».

Насколько я могу судить, протокол не решает таких проблем магическим образом, всё упирается в реализацию. Да, на уровне протокола может поддерживаться дополнительная информация/настройки для указания уровня обслуживания (at most/at least/exactly), но ответственность за её реализацию всё равно лежит на конкретной имплементации. В нашем случае, учитывая специфику, достаточно гарантировать надёжную запись в базу и доставку на клиенты at most once, что WAMP вполне позволяет реализовать. Также он легко расширяем.

MQTT — отличный протокол, никаких вопросов, но в данном сравнении у него меньше фич, чем у WAMP, которые могли бы пригодиться нам для сервиса чатов. В качестве альтернативы можно было бы рассмотреть XMPP (aka Jabber), потому что, в отличие от MQTT и WAMP, он предназначен для мессенджеров, но и там без «допилов» бы не обошлось. Ещё можно создать свой собственный протокол, что нередко делают в компаниях, но это, в том числе, дополнительные временные затраты.

Это были основные вопросы касательно бэкенда после предыдущей статьи, и, думаю, мы ещё вернёмся к нашей реализации в отдельном материале. А сейчас возвращаю слово Сергею.

Клиент-сервер

Начну с того, что WAMP означает для клиента.

• В целом протокол предусматривает почти всё. Это облегчает взаимодействие разработчиков клиентской части и бэка.

• Кодирование всех типов событий в числах (PUBLISH — это 16, SUBSCRIBE — 32 и так далее). Это усложняет чтение логов разработчику и QA (сразу не догадаться, что значит прилетевшее сообщение [33,11,5862354]).

• Механизм подписок на события (например, новые сообщения в чат или обновление количества участников) реализован через получение от бэкенда уникального id подписки. Его надо где-то хранить и ни в коем случае не терять во избежание утечек. Как это сделано (было бы сильно проще и подписываться и отписываться просто по id чата):client → подписываемся на новые сообщения в чате  [32,18,{},"co.fun.chat.testChatId"]backend → [33,18,5868752 (id подписки)]client → после выхода из чата отписываемся по id [34,20,5868752]

Для работы с сокетом использовали OkHttp (стильно, надёжно, современно, реализация ping-pong таймаутов из коробки) и RxJava, потому что сама концепция чата — практически идеальный пример того самого event-based programming, ради которого Rx, в общем, и задумывался.

Теперь рассмотрим пример коннекта к серверу, использующему WAMP-протокол через OkHttpClient: 

val request = Request.Builder()
    .url(ChatsConfig.SOCKETURL)
    .addHeader("Connection", "Upgrade")
    .addHeader("Sec-WebSocket-Protocol", "wamp.json")
    .addHeader("Authorization", authToken)
    .build()
val listener = ChatWebSocketListener()
webSocket = okHttpClient.newWebSocket(request, listener)

Пример реализации ChatWebSocketListener:

private inner class ChatWebSocketListener : WebSocketListener() {

override fun onClosed(webSocket: WebSocket, code: Int, reason: String) {
 connectionStatusSubject.onNext(ChatConnectionStatuses.NOTCONNECTED) 
//subject, оповещающий пользователей о состоянии коннекта (в UI нужен для отображения лоадеров, оффлайн-стейтов и так далее)
}

override fun onClosing(webSocket: WebSocket, code: Int, reason: String) {
 webSocket.close(1000, null)
}

override fun onFailure(webSocket: WebSocket, t: Throwable, response: Response?) {
 onConnectionError("${t.message} ${response?.body}")
}

override fun onMessage(webSocket: WebSocket, text: String) {
 socketMessagesSubject.onNext(serverMessageFactory.processMessage(text)) //subject, через который идут все сообщения, которые в дальнейшем фильтруются для конкретных получателей (см. ниже)
}

override fun onOpen(webSocket: WebSocket, response: Response) {
 authorize()
 }
}

Здесь мы видим, что все сообщения от сокета приходят в виде обычного String, представляющего собой JSON, закодированный по правилам WAMP протокола и имеющий структуру:

[ResultCode: Int, RequestId: Long, ArgumentsMap: JsonObject ]

Например:

[50, 7, {"type":100, "chats":[список чатов]}]

Декодирование и отправка сообщений

Для декодинга сообщений в объекты мы использовали библиотеку Gson. Все модели ответа отписываются обычными data-классами вида:

@DontObfuscate
data class ChatListResponse(@SerializedName("chats") val chatList: List<Chat>)

А декодирование происходит с помощью следующего кода:

private fun chatListUpdateInternal(jsonChatsResponse: JSONObject):
ChatsListUpdatesEvent {
 return gson.fromJson(jsonChatsResponse.toString(), 
ChatsListUpdatesEvent::class.java)
}

Теперь рассмотрим базовый пример отправки сообщения по сокету. Для удобства мы сделали обёртку для всех базовых типов WAMP сообщений: 

sealed class WampMessage {
 class BaseMessage(val wampId: Int, val seq: Long, val jsonData: JSONArray) : WampMessage() 

 class ErrorMessage(val procedureId: Int, val seq: Long, val jsonData: JSONArray) : WampMessage()

 object WelcomeMessage : WampMessage()
 class AbortMessage(val jsonData: JSONArray) : WampMessage()
}

А также добавили фабрику для формирования этих сообщений:

fun getCallMessage(rpc: String,
         options: Map<String, Any> = emptyMap(),
         arguments: List<Any?> = emptyList(),
         argumentsDict: Map<String, Any?> = emptyMap()):
WampMessage.BaseMessage {
 //[CALL, Request|id, Options|dict, Procedure|uri, Arguments|list]
 val seq = nextSeq.getAndIncrement()
 return WampMessage.BaseMessage(WAMP.MessageIds.CALL,
               seq,
               JSONArray(listOfNotNull(WAMP.MessageIds.CALL,
               seq,
               options,
               rpc,
               arguments,
               argumentsDict)))
}

Пример отправки сообщений: 

val messages: Observable<WampMessage> = socketMessagesSubject

fun sendMessage(msgToSend: WampMessage.BaseMessage): 
Observable<WampMessage> {
 return messages.filter {
   it is WampMessage.BaseMessage && it.seq == msgToSend.seq
}
    .take(1)
    .doOnSubscribe {
     webSocket.send(msgToSend.jsonData.toString())
    }
}

Сопоставление отправленного сообщения и ответа на него в WAMP происходит с помощью уникального идентификатора seq, отправляемого клиентом, который потом кладётся в ответ.

В клиенте генерация идентификатора делается следующим образом:

companion object {
 private val nextSeq: AtomicLong = AtomicLong(1)
}
fun getNextSeq() = nextSeq.getAndIncrement()

Взаимодействие с WAMP Subscriptions 

Подписки в протоколе WAMP — концепт, по которому подписчик (клиент) подписывается на какие-либо события, приходящие от бэкенда. В нашей реализации мы использовали:

• обновление списка чатов;

• новые сообщения в конкретном чате;

• изменение онлайн-статуса собеседника;

• изменение в составе участников чата;

• смена роли юзера (например, когда его назначают модератором);

• и так далее.

Клиент сообщает серверу о желании получать события с помощью следующего сообщения:

[SUBSCRIBE: Int, RequestId: Long, Options: Map, Topic: String]

Где topic — это скоуп событий, которые нужны подписчику. 

Для формирования базового события подписки используется код:

fun getSubscribeMessage(topic: String, options: Map<String, Any> = emptyMap()): 
WampMessage.BaseMessage {
 val seq = nextSeq.getAndIncrement()
 return WampMessage.BaseMessage(WAMP.MessageIds.SUBSCRIBE,
               								  seq,
              								  JSONArray(listOfNotNull(WAMP.MessageIds.SUBSCRIBE,
                                seq,
                                options,
                                topic)))
}

Разумеется, при выходе с экрана (например, списка чатов), необходимо соответствующую подписку корректно отменять. И вот тут выявляется одно из свойств протокола WAMP: при отправке subscribe-сообщения бэкенд возвращает числовой id подписки, и выходит, что отписаться от конкретного топика нельзя — нужно запоминать и хранить этот id, чтобы использовать его при необходимости.

А так как хочется оградить пользователей API подписок от лишнего менеджмента айдишников, было сделано следующее:

private val subscriptionsMap = ArrayMap<String, Long>()

private fun getBaseSubscription(topic: String): Observable<WampMessage> {
 val msg = wampClientMessageFactory.getSubscribeMessage(topic)
 return send(msg).map {
   val subscriptionId = converter.getSubscriptionId((it.asBaseMessage()).jsonData)
   subscriptionsMap[topic] = subscriptionId
   subscriptionId
}
    .switchMap { subscriptionId ->
      chatClient.messages.filter {
       it.isMessageFromSubscription(subscriptionId)
     }
    }
}

Так клиент ничего не будет знать об id, и для отписки ему будет достаточно указать имя подписки, которую необходимо отменить:

fun unsubscribeFromTopic(topic: String) {
 if (!subscriptionsMap.contains(topic)) {
    return
 }
 val msg = 
wampClientMessageFactory.getUnsubscribeMessage(subscriptionsMap[topic])
 send(msg, true).exSubscribe()
 subscriptionsMap.remove(topic)
}

Это то, что я хотел рассказать про реализацию на Android, но если есть вопросы — постараюсь ответить на них в комментариях. Напомню, что про чаты на вебсокетах в iOS мы уже писали вот здесь, а также готовим отдельную часть про бэкенд.