WpLeaks — отзывы о финансовых компаниях!

Около 12 интернов и ученых Microsoft разработали программу, которая автоматически распознает элементы на изображении и дает им имена. Для примера, рассмотрим изображение, которое вы видите в заголовке. Программа автоматически распознала объекты и назвала фотографию «Женщина с фотоаппаратом в толпе».

Это было большой честью работать в этой команде: мы очень гордимся достигнутыми результатами. Нашу программу можно описать как «машинный переводчик» — она переводит пиксели в слова на английском. Разработчики использовали алгоритм BLEU, что бы сравнить результаты программы с тем, что на самом деле видит человек. BLEU разделяет изображение на слова( от 1 до 4 слов) и потом ищет перекрытия по матрице того, что выдала программа и того, что на самом деле видит человек.

Для теста правильности работы системы, мы попросили одного человека описать изображение и сравнили его с четырьмя другими. И мы были очень довольны результатами, ведь наша программа оказалась умнее человека! Система BLEU получила результат сходства 21.05%, в то время как человек всего 19.32%.

Конечно же, большинство из вас сейчас вряд ли поверили, что наша система настолько умная. У BLEU есть множество ограничений, которые хорошо известны специалистам. Мы также пробовали использовать алгоритм METEOR, и по нему человек оказался немного лучше машины(24.07% против 20.71% у нашей программы).

Лучшим способом оценки результативности программы оказалось просто спросить людей, какое название изображения лучше. Для этого, мы использовали сервис Amazon Mechanical Turk. На нем, людей опрашивали: какое из двух названий изображения лучше. Одно было выдано нашей программой, другое человеком. Вопрос стоял так: одно из названий лучше другого или они одинаковы. В 23.3%, люди говорили, что описание изображения выданное программой лучше или такое же как описание человека.