꿈을꾸는 파랑새

요즘 ChatGPT(쳇 GPT)가 유행이라서 누구나 해당 부분을 이용해서 해당 기능을 이용하고 있습니다.
해당 MiniGPT-4 는 Vicuna라는 고급 LLM을 사용을 할 수가 있으며 소스는 공개돼 있습니다. MiniGPT-4는 4개의 A100 GPU에서 약 10시간 동안만 훈련하면 되므로 매우 효율적이고 접근 가능한 AI 모델입니다.
해당 LLaMA는 LLaMA를 기반으로 하며 GPT-4에서 평가한 ChatGPT 품질의 90%를 달성했다고 하면 MiniGPT-4는 BLIP-2의 사전 훈련된 비전 구성 요소를 사용하고 인코딩된 시각적 기능을 Vicuna 언어 모델과 정렬하기 위해 단일 프로젝션 레이어를 추가합니다.
그림 입력에서 문제를 식별하는 데 뛰어난 결과를 위해서 사용이 됩니다.

MiniGPT-4

MiniGPT-4
MiniGPT-4

맛있는 음식 사진을 보고, 제품 광고를 쓰고, 이미지에서 영감을 받은 음악을 만들어내는 등 디테일한 레시피를 만들어내는 능력까지 되었으며 공개 데이터 세트의 원시 이미지-텍스트 쌍을 사용하여 MiniGPT-4를 교육하면 반복된 문구 또는 조각난 문장이 발생할 수 있다고 언급했습니다. 해당 한계를 극복하기 위해 MiniGPT-4는 잘 정렬된 고품질 데이터 세트를 사용하여 훈련되어야 합니다.

MiniGPT-4 AI 와 대화
MiniGPT-4 AI 와 대화

MiniGPT-4의 가장 유망한 측면 중 하나는 프로젝션 레이어를 교육하는 데 약 500만 개의 정렬된 이미지-텍스트 쌍만 필요한 높은 계산 효율성입니다. 일단 해당 MiniGPT-4를 사용방법은 간단합니다. 먼저 해당 사이트에서 접속하고 나서 이미지 파일이나 사진 파일을 먼저 올리면 됩니다.
간단하게 음식 사진들을 업로드 해서 해당 음식으로 레시피(조리법)을 받을 수가 있습니다.
일단 해당 AI은 기본적으로 깃헙에 소스가 올라와 있니 한번 관심이 있으면 열어 보시는 것도 나쁘지 않을 것 같습니다.

그리드형

공유하기

facebook twitter kakaoTalk kakaostory naver band