Обычная камера может стать инструментом контроля качества урожая на складе, сортировочной линии или в распределительном центре. Ученые Новосибирского государственного технического университета разработали систему, которая анализирует фотографии сельхозпродукции и определяет, насколько свежими выглядят плоды и есть ли на них внешние дефекты.
Практический смысл разработки – в возможности автоматизировать один из наиболее трудоемких этапов работы с овощами и фруктами. Сейчас значительная часть продукции при приемке и сортировке оценивается визуально. Человек должен заметить повреждения, признаки порчи, изменение цвета и другие отклонения. При больших объемах такая проверка занимает много времени, а результат может зависеть от внимательности конкретного сотрудника.
Компьютерное зрение используется для подобных задач и сегодня, однако у него есть ограничения. Алгоритм, хорошо распознающий продукт на идеально освещенной конвейерной линии, необязательно покажет тот же результат, если изменится фон, положение плода или освещение. Кроме того, для обучения нейросетей зачастую приходится собирать и вручную размечать большое количество фотографий.
Новосибирские исследователи попытались уменьшить эту зависимость. Они сопоставили несколько методов машинного обучения и определили, какие подходы эффективнее использовать для различных вариантов проверки продукции.
Одной из самых сложных задач оказалось различение испорченного и еще не созревшего плода. Для алгоритма эти состояния могут выглядеть похоже: в обоих случаях отличаются цвет, структура поверхности и отдельные участки изображения.
Чтобы нейросеть лучше понимала такие различия, разработчики применили архитектуру триплетной сети. Упрощенно ее принцип можно представить так: алгоритму недостаточно показать фотографию и сообщить правильный ответ. Он учится одновременно понимать, какие изображения похожи между собой и чем они отличаются от другого примера.
В результате система формирует своеобразное представление о визуальных признаках качества продукта, а не просто запоминает конкретные фотографии.
ИИ не придется заново обучать для каждого нового овоща
Именно способность работать с незнакомой продукцией может оказаться одной из наиболее интересных особенностей разработки для агропромышленного комплекса.
По данным авторов, при испытаниях на открытых наборах изображений точность распознавания достигала 89% даже для продуктов, которых система прежде не встречала. При этом для работы ей не требуются исключительно фотографии, снятые с одного ракурса и при строго одинаковом освещении.
Это потенциально упрощает внедрение технологии. Если ассортимент предприятия меняется, для каждого нового сорта овощей или фруктов не придется создавать с нуля огромную базу размеченных изображений.
Например, подобная система может использоваться на сортировочной линии после уборки урожая. Камеры фотографируют движущиеся плоды, алгоритм оценивает их состояние, а автоматика распределяет продукцию по категориям. Другой сценарий – периодическая проверка овощей и фруктов во время хранения, когда важно как можно раньше обнаружить начинающуюся порчу.
В логистике технология потенциально позволит сравнивать состояние партии при отправке со склада и после доставки, а в торговых сетях – дополнить автоматизированный контроль продукции в распределительных центрах.
При этом показатель в 89% означает, что полностью исключать человека из процесса пока преждевременно. Для промышленного применения особенно важно проверить алгоритм уже не только на открытых наборах фотографий, но и на реальных партиях продукции, где встречаются грязь, механические повреждения, нестандартные формы плодов и множество промежуточных состояний.
Тем не менее направление может быть особенно востребовано в АПК. По мере увеличения объемов автоматической сортировки задача постепенно меняется: машине необходимо научиться не просто отделять крупный плод от мелкого, а понимать его состояние почти так же, как это делает опытный сортировщик. Новосибирская разработка делает еще один шаг именно в эту сторону.
