짐마차 ( )
BOM구글, SayCan 모델 공동 발표, 로봇이 합리적인 답을 내놓도록
3/9/2023 11:18:06 AM
인공지능 분야에서 최근 몇 년 동안 대형 언어 모델 (LLM) 분야의 발전은 특히 빠르다. 훈련을 받은 LLM은 힌트에 따라 복잡한 텍스트를 생성하고 어려운 질문에 답하며 심지어 화제 대화를 시작할 수 있다.
Lamda처럼 좋은 AI 챗봇을 시도해 볼 수 있습니다. - 구글의'감지'AI
LLM이 이렇게 우수한 이유는 이 모델들이 네트워크가 훈련 과정에서 추출한 대량의 텍스트에서 대량의 정보를 추출했기 때문이다.
LLM의 이해력을 고려할 때, 이것은 로봇이 다양한 언어 기반 처리 작업을 직접 수행 할 경우 인간과 통신하고 작업을 수행 할 수도 있음을 의미합니까?
이 요청 이후 세 개의 유명한 대형 언어 모델이 장면에 맞지 않는 답을 내놓았다. GPT3는"진공청소기가 필요하다"고 답했고, Lamda는"진공청소기를 찾아줄 수 있습니까?"라고 물었고, FLAN은"죄송합니다. 음료수를 일부러 쏟은 것은 아닙니다."라고 대답했다.
보시다시피 LLM은 주변 환경에서 상하 문화가 이루어지지 않았기 때문에 로봇에게 가장 적합한 응답을 직접 제공할 수 없습니다.
Google Robotics는 로봇과 같은 언어 시스템이 물리적 환경에 더 적합하고 인간을 더 효과적으로 돕기 위해 Daily Robotics와 공동으로 SayCan이라는 새로운 언어 처리 모델을 개발했습니다.
이 모델은 언어 명령을 잘 이해하고 답을 주는 방법을 배울 수 있을 뿐만 아니라 현재 물리적 환경에서 각 답안이 실제로 발생할 가능성을 평가하여 로봇이"말을 할 수 있도록"훈련되었습니다.
최근 arXiv에는'내가 말하는 대로: 로봇 조림의 기초 언어'라는 제목의 논문이 실렸다.
간단히 말해서, SayCan 모델은 두 개의 주요 어셈블리로 구성된 물리적 환경 기반 작업의 큰 언어 모델에서 결과를 추출합니다.
첫째, Say 섹션의 대규모 언어 모델은 언어의 의미를 이해하고 문제 해결을 돕기 위해 적절한 답변을 제공하는 작업을 수행합니다.
그런 다음 Can 섹션에서 대답, 즉 가용 기능을 평가하여 현재 물리적 환경에서 실행 가능한 동작을 결정합니다.
여기서 연구자들은 현재 환경에서 행동의 타당성을 결정하는 언어 조건의 가치 함수를 학습하고 훈련하기 위해 강화 학습 (RL) 을 사용합니다.
구체적으로 말하자면, SayCan 모델은 문제를 다음과 같이 추상화한다: 시스템은 먼저 사용자로부터 자연 언어 명령을 받는데, 이것은 또한 로봇이 수행해야 할 임무를 제공하는데, 그것은 길고, 추상적이며, 심지어 모호할 수도 있다.
이 시스템은 또한 로봇이 가지고 있는 일련의 기술 ∏을 미리 확정하는데, 그 중 각 기술 π∈는 특정 물체를 줍는 것과 같은 분해된 짧은 임무이다.각 스킬에는 "나이프와 포크를 찾습니다"와 자신의 가용성 함수 p (c π ⑥s, l π) 와 같은 간단한 언어 설명이 있습니다. 이는 상태 s에서 l π로 묘사된 스킬을 성공적으로 구현할 확률을 나타냅니다.
문외한으로 말하자면, 가용성 함수 p(cπ ⑥s, lπ)는 상태 s에서 스킬 π를 성공적으로 완성할 확률로, 묘사는 lπ로 표시되며, 그 중 cπ는 버누리 임의 변수이다.RL에서 p(c π ⑥s, l π)도 스킬의 값 함수이므로 성공적으로 완료할 수 있으면 보상은 1로 설정되고 그렇지 않으면 0으로 설정됩니다.
이 문제를 해결하는 SayCan 모델의 알고리즘과 아이디어는 다음과 같습니다.
SayCan 모델의 성능을 검증하기 위해 연구자들은 두 가지 주요 평가 지표를 제시했습니다.첫 번째 지표는 계획 성공률로, 모델이 제시한 답안이 지령과 일치하는지 측정한다;여기에서는 현재 환경에서 이 기술의 타당성을 고려하지 않습니다.
두 번째 지표는 실행 성공률로, 시스템이 실제로 명령에 필요한 작업을 성공적으로 수행하고 완료할 수 있는지 여부를 측정합니다.
위에서 언급한 예로 돌아가서, 사용자의 명령에 직면했을 때"내가 음료수를 쏟았는데, 네가 도와줄 수 있니?"다른 LLM 모델과 달리, SayCan의 대답은"1"이다.걸레를 찾다걸레를 들다.사용자에게 가져오기 및 4.이를 통해 로봇은 다른 모델보다 사용자를 더 잘 도울 수 있습니다.
Lamda처럼 좋은 AI 챗봇을 시도해 볼 수 있습니다. - 구글의'감지'AI
LLM이 이렇게 우수한 이유는 이 모델들이 네트워크가 훈련 과정에서 추출한 대량의 텍스트에서 대량의 정보를 추출했기 때문이다.
LLM의 이해력을 고려할 때, 이것은 로봇이 다양한 언어 기반 처리 작업을 직접 수행 할 경우 인간과 통신하고 작업을 수행 할 수도 있음을 의미합니까?
답은 부정적이다. LLM은 물리적 세계를 기반으로 하지 않기 때문에 물리적 환경을 관찰하고 영향을 주지 않으면 작동할 수 없다.이것은 LLM이 제공하는 일부 답안이 때때로 주변 환경과 호환되지 않고 비현실적이라는 것을 의미합니다.
그림 = 서로 다른 대형 언어 모델이 주는 서로 다른 피드백
및 새 SayCan 모델 (오른쪽), 사용자가 동일한 요청을 할 때 (출처: arXiv)
이 요청 이후 세 개의 유명한 대형 언어 모델이 장면에 맞지 않는 답을 내놓았다. GPT3는"진공청소기가 필요하다"고 답했고, Lamda는"진공청소기를 찾아줄 수 있습니까?"라고 물었고, FLAN은"죄송합니다. 음료수를 일부러 쏟은 것은 아닙니다."라고 대답했다.
보시다시피 LLM은 주변 환경에서 상하 문화가 이루어지지 않았기 때문에 로봇에게 가장 적합한 응답을 직접 제공할 수 없습니다.
Google Robotics는 로봇과 같은 언어 시스템이 물리적 환경에 더 적합하고 인간을 더 효과적으로 돕기 위해 Daily Robotics와 공동으로 SayCan이라는 새로운 언어 처리 모델을 개발했습니다.
이 모델은 언어 명령을 잘 이해하고 답을 주는 방법을 배울 수 있을 뿐만 아니라 현재 물리적 환경에서 각 답안이 실제로 발생할 가능성을 평가하여 로봇이"말을 할 수 있도록"훈련되었습니다.
최근 arXiv에는'내가 말하는 대로: 로봇 조림의 기초 언어'라는 제목의 논문이 실렸다.
간단히 말해서, SayCan 모델은 두 개의 주요 어셈블리로 구성된 물리적 환경 기반 작업의 큰 언어 모델에서 결과를 추출합니다.
첫째, Say 섹션의 대규모 언어 모델은 언어의 의미를 이해하고 문제 해결을 돕기 위해 적절한 답변을 제공하는 작업을 수행합니다.
그런 다음 Can 섹션에서 대답, 즉 가용 기능을 평가하여 현재 물리적 환경에서 실행 가능한 동작을 결정합니다.
여기서 연구자들은 현재 환경에서 행동의 타당성을 결정하는 언어 조건의 가치 함수를 학습하고 훈련하기 위해 강화 학습 (RL) 을 사용합니다.
구체적으로 말하자면, SayCan 모델은 문제를 다음과 같이 추상화한다: 시스템은 먼저 사용자로부터 자연 언어 명령을 받는데, 이것은 또한 로봇이 수행해야 할 임무를 제공하는데, 그것은 길고, 추상적이며, 심지어 모호할 수도 있다.
이 시스템은 또한 로봇이 가지고 있는 일련의 기술 ∏을 미리 확정하는데, 그 중 각 기술 π∈는 특정 물체를 줍는 것과 같은 분해된 짧은 임무이다.각 스킬에는 "나이프와 포크를 찾습니다"와 자신의 가용성 함수 p (c π ⑥s, l π) 와 같은 간단한 언어 설명이 있습니다. 이는 상태 s에서 l π로 묘사된 스킬을 성공적으로 구현할 확률을 나타냅니다.
문외한으로 말하자면, 가용성 함수 p(cπ ⑥s, lπ)는 상태 s에서 스킬 π를 성공적으로 완성할 확률로, 묘사는 lπ로 표시되며, 그 중 cπ는 버누리 임의 변수이다.RL에서 p(c π ⑥s, l π)도 스킬의 값 함수이므로 성공적으로 완료할 수 있으면 보상은 1로 설정되고 그렇지 않으면 0으로 설정됩니다.
이 문제를 해결하는 SayCan 모델의 알고리즘과 아이디어는 다음과 같습니다.
그림 = SayCan 모델의 알고리즘(출처: arXiv)
SayCan 모델의 성능을 검증하기 위해 연구자들은 두 가지 주요 평가 지표를 제시했습니다.첫 번째 지표는 계획 성공률로, 모델이 제시한 답안이 지령과 일치하는지 측정한다;여기에서는 현재 환경에서 이 기술의 타당성을 고려하지 않습니다.
두 번째 지표는 실행 성공률로, 시스템이 실제로 명령에 필요한 작업을 성공적으로 수행하고 완료할 수 있는지 여부를 측정합니다.
그림 -- 평가 결과 (출처: arXiv)
연구진은 이 모델에 101가지 임무를 수행하도록 했으며 시뮬레이션 주방 임무에서 SayCan 모델의 계획 성공률은 84%, 실행 성공률은 74% 라고 밝혔다.실제 주방 환경에서 실시한 평가에서 SayCan의 계획 성공률은 시뮬레이션 주방에 비해 3%, 실행 성공률은 14% 감소했습니다.
그림: SayCan이 다른 작업을 수행하는 예제 (출처: arXiv)
위에서 언급한 예로 돌아가서, 사용자의 명령에 직면했을 때"내가 음료수를 쏟았는데, 네가 도와줄 수 있니?"다른 LLM 모델과 달리, SayCan의 대답은"1"이다.걸레를 찾다걸레를 들다.사용자에게 가져오기 및 4.이를 통해 로봇은 다른 모델보다 사용자를 더 잘 도울 수 있습니다.
