멀티모달 AI

[경제신문 읽기] 2022.12.3

 

사진 한장으로 제품명·후기 검색

https://www.hankyung.com/it/article/2022120215991

사진 한장으로 제품명·후기 검색

 

기사 내용

 

네이버가 멀티모달 인공지능(AI) ‘옴니서치’를 문서검색 기능에 적용한다고 2일 발표했다.
멀티모달 AI는 차세대 핵심 기술이다. 이미지와 텍스트를 조합한 복합 정보를 기반으로 검색 결과를 찾는 게 특징이다. 텍스트, 이미지, 음성 등 단일 수단으로 데이터를 찾는 종전 방식보다 검색 정확도가 높다.
신규 검색 기능은 운동화 제품군에 우선 적용됐다. 멀티모달 문서검색을 활용하면 운동화 이미지만으로 정확한 제품명은 물론, 다른 사용자가 남긴 후기와 코디 정보까지 한 번에 찾을 수 있다.

 

※ 참고

 

https://www.samsungsds.com/kr/insights/multi-modal-ai.html

인간처럼 사고하는 멀티모달(Multi Modal) AI란?

 

→ 다양한 채널의 모달리티를 동시에 받아들여서 학습하고 사고하는 AI를 '멀티모달 AI'라고 합니다. 쉽게 말하면 인간이 사물을 받아들이는 다양한 방식과 동일하게 학습하는 AI라고 볼 수 있겠네요.

 

https://www.etnews.com/20220914000427

[테크코리아 미래기술 40]멀티모달 AI

→ 말 그대로 다양한 모달리티(Modality, 의사소통 채널)를 동시에 인식하는 AI 모델을 일컫는다. 텍스트 뿐 아니라 이미지, 음성, 제스쳐, 표정 등 여러 모달리티를 받아들이고 사고할 수 있다. 이는 곧 AI가 인간과 더욱 자연스럽게 소통할 수 있게 된다는 것을 의미한다.

 

DALL·E 2 : 오픈AI 텍스트-이미지 생성 모델

https://openai.com/dall-e-2/

DALL·E 2