기업용 Copilot AI 기반 제품의 업데이트를 발표한 한 주 후, Microsoft는 Windows 사용자를 위해 새로운 Copilot 기능을 출시하고, 화면에 나타난 내용에 대한 질문을 이해하고 대답할 수 있는 도구를 포함한 새로운 Copilot 기능을 선보입니다.
금일 iOS, Android, Windows 및 웹용 새로운 Copilot 앱이 출시되며, Microsoft는 이를 '더 따뜻하고 독특한' 스타일로 설명합니다. 또한, Microsoft는 WhatsApp으로 챗봇을 가져와 사용자가 다른 메타 메시징 플랫폼의 다른 봇과 유사한 경험처럼 DM을 통해 Copilot과 대화할 수 있게 합니다.
Copilot Vision
Copilot Vision은 PC 화면에서 보이는 것을 보는 시각을 갖고 있습니다 - 구체적으로는 Microsoft Edge와 함께 방문 중인 사이트에 대한 투과력을 갖고 있습니다. 새로운 Copilot Pro-전용 실험적 Copilot 기능 프로그램인 Copilot Labs 뒤에 가려진 Copilot Vision은 웹페이지의 텍스트와 이미지를 분석하고 그것에 대한 질문(예: '이 사진 속 음식의 레시피는 무엇입니까?')에 대한 답변을 제공할 수 있습니다.
'@copilot'을 Edge 주소 표시줄에 입력하여 Vision을 호출할 수 있는데, 이는 정확히 테크닉적으로 뛰어난 것은 아닙니다. 구글은 안드로이드에서 유사한 검색 기술을 제공하고 최근에는 Chrome에도 이 기술의 일부 요소를 가져왔습니다.
그러나 Microsoft는 Copilot Vision이 이전의 화면 분석 기능보다 강력하고 개인 정보를 더 잘 인식한다고 주장합니다.
Microsoft가 TechCrunch와 공유한 블로그 글에서 'Copilot Vision은 ... 다음 단계를 제안하거나 질문에 답하거나 원하는 대로 탐색을 도와주며 과제를 수행할 수 있습니다. 이 모든 것들은 단지 자연스러운 언어로 이에게 말하면서 일어날 수 있습니다.'라고 설명했습니다. '새로운 아파트에 가구를 구입하려고 하는 경우라고 상상해보십시오. Copilot Vision은 가구를 검색하고 적절한 색상 팔레트를 찾아내며, 양탄자부터 담요까지 모든 것에 대한 답변을 제안할 뿐만 아니라 당신이 보고 있는 걸 배치하는 방법도 제안할 수 있습니다.'
AI 개인 정보 보호 문제로 인한 나쁜 언론보도를 피하려는 것은 Microsoft가 Copilot Vision이 대화를 한 후에 즉시 데이터를 삭제하도록 설계했다는 것을 강조하고 있습니다. 처리된 오디오, 이미지 또는 텍스트는 저장되거나 모델 훈련에 사용되지 않는다고 회사는 주장합니다 - 적어도 이 선보판 버전에서는.
또한, Copilot Vision은 해석할 수 있는 웹 사이트의 유형에 제한이 있습니다. 현재 Microsoft는 결제된 및 '민감한' 콘텐츠에서 이 기능의 작동을 차단하여 Vision을 '인기 있는' 웹 속성의 사전 승인 목록에 제한하고 있습니다.
'민감한' 콘텐츠는 구체적으로 무엇을 의미합니까? 포르노? 폭력? 현재 Microsoft는 말하지 않았습니다.
AI 도구를 통해 결제 벽을 뚫는다는 비난은 최근에 Microsoft로 이어진 법적 문제를 해결했습니다. 뉴욕 타임스는 지속적인 소송에서 Microsoft가 Copilot 챗봇을 통해 Bing에서 NY 타임스 기사를 제공하여 사용자가 특정한 방법으로 유료 기사를 제공하도록 허용하여 결제 걸림돌을 방치했다고 주장했습니다. Microsoft는 아티클의 문장을 (또는 거의 유사한 문장을) 그대로 제공하도록 열린 AI 모델 구성자 OpenAI의 모델에 의해 구동되는 Copilot이라고 설명했습니다.
Microsoft는 현재 미국 전용인 Copilot Vision이 'AI 훈련을 위해 데이터를 수집하지 않으며 웹 사이트의 내용을 구체적으로 처리하지 않습니다.'라고 설명했습니다. 그저 페이지에서 보이는 이미지와 텍스트를 스스로 처음으로 읽고 해석한다는 것이지요.
더 깊이 생각하세요
비전과 마찬가지로 Copilot의 새로운 Think Deeper 기능은 Microsoft의 어시스턴트를 더 다재다능하게 만들기 위한 시도입니다.
Microsoft가 말한 바에 의하면, Think Deeper는 '더 복잡한 문제를 근거를 바탕으로 풀 수 있게 하는 '추론 모델' 덕분에 더 많은 시간을 들여 단계별 답변을 제공할 수 있습니다.
어떤 추론 모델을 사용하고 있는 것인가요? Microsoft에게 물었을 때 Microsoft는 'OpenAI의 최신 모델을 Microsoft가 튜닝한 것'이라고만 살짝 애매하게 대답했습니다. 줄거리 사이를 읽으면, 그것들이 OpenAI의 o1 모델의 맞춤형 버전일 것으로 확신할 수 있습니다.
Microsoft는 블로그 글에서 'Think Deeper를 어떤 수학 문제를 해결하거나 가정 소유를 비교하는 것과 같은 모든 유형의 실용적인 일상적인 도전을 살펴볼 수 있게 설계했습니다.'라고 설명했습니다. 'Think Deeper는 난수학 문제 해결을 포함하여 홈 프로젝트 관리 비용을 평가하는 데 도움을 줄 수 있습니다.'
Microsoft는 자신의 언론 자료에서 Think Deeper의 잠재력을 매우 크게 강조했습니다. 그러나 기반 모델이 o1인 경우, 특정 부분에서는 분명히 부족할 것입니다. Microsoft가 기본 모델에 어떤 향상을 가했는지, Think Deeper가 자신의 한계에 대해 얼마나 진취적인지를 보고 싶어합니다.
Think Deeper는 현재 호주, 캐나다, 뉴질랜드, 미국 및 영국의 한정된 Copilot Labs 사용자에게만 사용 가능할 것입니다.
Copilot Voice
금일 일반적으로 사용 가능한 새로운 Copilot 기능은 Copilot Voice입니다 (GitHub의 Copilot Voice와 혼동하지 마십시오). 처음에 영어로 뉴질랜드, 캐나다, 호주, 영국 및 미국에서 시작하여 Voice는 네 가지 합성 음성을 추가하여 Copilot와 대화하고 Copilot의 응답을 소리내어 말할 수 있게 합니다.
OpenAI의 ChatGPT에 Advanced Voice Mode와 같은 Copilot Voice는 대화 중에 당신의 어조를 파악하고 그에 맞게 대응할 수 있으며, Copilot Voice가 답하는 동안 언제든지 중단할 수 있습니다. Microsoft 대변인은 이 모드가 'Copilot 앱을 위해 새로 튜닝된 최신 음성 기술을 사용한다.'고 말했습니다. 어떤 기술? 어떤 모델? 구체적인 내용에서는 입가에 서투름이 있습니다.
알아둬야 할 점은 Copilot Voice에 시간 제한이 있다는 것입니다. Copilot Pro 가입자는 더 많은 분을 제공하지만, Microsoft가 말하길, 수요에 따라 '변동적인' 숫자입니다.
개인화
Microsoft는 말했듯이, 새로운 개인 설정 덕분에 Copilot은 곧 사용자의 취향과 선호도에 맞게 더욱 특별해질 것입니다.
설정을 활성화하면 Copilot은 과거 상호작용 및 기록뿐만 아니라 다른 Microsoft 앱 및 서비스(어떤 것인지는 Microsoft가 말하지 않음)와의 상호작용을 통해 Copilot을 사용하는 방법을 권장할 수 있습니다.
Microsoft는 블로그 글에서 '이는 Copilot의 유용한 기능 및 대화 시작점을 제공하여 당신이 시작하는 데 도움이 됩니다.'라고 쓰고 있습니다.
Windows의 Copilot 설정 메뉴에서 사용할 수 있는 Copilot의 개인화는 영국 또는 EU에서 바로 사용할 계획이 아니라고 합니다. 그러나 다른 사용자는 금일 오후부터 이 설정을 볼 수 있을 것입니다.
Microsoft와 EU는 회사의 AI 제품 출시에 관한 상호 감당하지 못한 관계를 가졌습니다. 5월에 EU는 유령 자리서비스 법률인 디지털 서비스법에 따라 회사가 그룹의 온라인 지배로 매년 글로벌 매출의 최대 1%까지의 과태료를 부과할 수 있다고 경고했는데, 회사가 생성 AI 도구에 중점을 두었습니다.
Microsoft를 비롯한 여러 기술 거인들은 데이터 개인 정보 보호와 모델 배치에 관한 법률을 통해 EU에서 AI 도구를 출시하는 데 조심스런 접근을 취했습니다.
Microsoft에 따르면, '유럽 경제 지역(EEA)과 일부 다른 국가의 사용자를 위해 이 수준의 Copilot 개인화를 제공하기 전에 옵션을 평가 중입니다.'라고 TechCrunch에 Microsoft 대변인이 말했습니다. 'EEA에서는 일부 기능을 나중에 제공할 것입니다.'
