Gemini Live’s New Camera Trick Works Like Magic — When It Wants To
Quando o novo recurso de câmera do Gemini Live apareceu no meu telefone, não hesitei em experimentar. Em um dos meus testes mais longos, liguei e comecei a passear pelo meu apartamento, perguntando a Gêmeos o que viu. Ele identificou algumas frutas, chapstick e alguns outros itens do cotidiano sem problemas, mas fiquei impressionado quando perguntei onde deixei minha tesoura. “Acabei de ver sua tesoura na mesa, ao lado do pacote verde de pistache. Você os vê?”
Estava certo, e eu fiquei impressionado.
Eu nunca mencionei a tesoura enquanto estava dando a Gêmeos um tour pelo meu apartamento, mas certifiquei -me de que a colocação deles estivesse na vista da câmera por alguns segundos antes de seguir em frente e fazer perguntas adicionais sobre outros objetos na sala.
Eu estava seguindo a liderança de A demonstração que o Google fez no verão passado Quando mostrou esses recursos ao vivo em vídeo ao vivo. Gêmeos lembrou à pessoa dando a demonstração onde deixaram seus óculos, e parecia bom demais para ser verdade, então eu tive que experimentá -lo e fiquei impressionado.
O Gemini Live reconhecerá muito mais do que as chances e fins domésticos. O Google diz que ajudará você a navegar em uma estação de trem lotada ou descobrir o preenchimento de uma massa. Pode fornecer informações mais profundas sobre obras de arte, como onde um objeto se originou e se era uma edição limitada.
É mais do que apenas uma lente do Google. Você fala com isso, e isso fala com você. Eu não precisava falar com Gêmeos de nenhuma maneira específica – era tão casual quanto qualquer conversa. Muito melhor do que conversar com o antigo assistente do Google que a empresa está rapidamente eliminando.
Ampliar a imagem
Aqui está uma olhada na minha conversa com Gêmeos ao vivo sobre os objetos que estava vendo no meu apartamento.
Google e Samsung estão apenas começando a lançar o recurso para todos Pixel 9 (incluindo os novos telefones Pixel 9A) e Galaxy S25. É gratuito para esses dispositivos e Outros telefones de pixel pode acessá -lo por meio de uma assinatura premium do Google AI. O Google também lançou um novo vídeo do YouTube para o abril 2025 Pixel Drop mostrando o recurso, e agora há um Página dedicada na loja do Google para isso.
Para começar, você pode ir morar com Gêmeos, ativar a câmera e começar a falar.
O Gemini Live segue o projeto Astra do Google, revelado pela primeira vez no ano passado como possivelmente o maior recurso da empresa “We the Future”, um próximo passo experimental para recursos generativos de IA, além da sua digitação simplesmente digitada ou mesmo falando em um chatbot como ChatGPT, Claude ou Gêmeos. Ele vem quando as empresas de IA continuam aumentando drasticamente as habilidades das ferramentas de IA, da geração de vídeo ao poder de processamento bruto. Semelhante ao Gemini Live, há a inteligência visual da Apple, que o fabricante de iPhone lançou em uma forma beta no final do ano passado.
Meu grande argumento é que um recurso como o Gemini Live tem o potencial de mudar a maneira como interagimos com o mundo ao nosso redor, fundindo nossos mundos digitais e físicos, apenas segurando sua câmera na frente de quase qualquer coisa.
Eu coloquei Gemini Live em um teste real
A primeira vez que experimentei, Gêmeos foi chocantemente precisa quando coloquei um jogo muito específico de um coelho recheado na visão da minha câmera. Na segunda vez, mostrei a um amigo em uma galeria de arte. Ele identificou a tartaruga em uma cruz (não me pergunte) e imediatamente identificou e traduziu o kanji ao lado da tartaruga, dando aos dois calafrios e nos deixando mais do que um pouco assustados. De um jeito bom, eu acho.
Este foi o primeiro objeto que testei com o New Gemini Live Feature, e reconheceu impressionantemente o que era e de que jogo era (Alice da American McGee). Todas as outras vezes, pedi a Gemini para identificar o jogo de que a pelúcia era, ele falhou.
Eu comecei a pensar em como poderia testar o recurso de estresse. Tentei recordá-lo em ação, mas ele consistentemente desmoronou nessa tarefa. E se eu saísse do caminho batido com ele? Sou um grande fã do gênero de terror – filmes, programas de TV, videogames – e tenho inúmeros colecionáveis, bugigangas e o que você tem. Quão bem isso se faria com coisas mais obscuras-como meus colecionáveis com temas de horror?
Os testes iniciais mostraram -se significativamente mais bem -sucedidos do que os últimos, apesar de dar várias dicas. Gêmeos acabaram conseguindo o jogo, Silent Hill: a mensagem curta, mas ainda não conseguiu dar o nome correto para a figura, pousando apenas no “monstro da flor de cerejeira” em vez de sakurahead, que ele adivinhou corretamente várias vezes antes.
Primeiro, deixe -me dizer que Gêmeos pode ser absolutamente incrível e ridiculamente frustrante na mesma rodada de perguntas. Eu tinha cerca de 11 objetos que estava pedindo a Gemini para identificar, e às vezes ficava pior quanto mais tempo a sessão ao vivo corria, então tive que limitar as sessões a apenas um ou dois objetos. Meu palpite é que Gemini tentou usar informações contextuais de objetos identificados anteriormente para adivinhar novos objetos colocados à sua frente, o que meio que faz sentido, mas, em última análise, nem eu nem isso nos beneficiamos disso.
Às vezes, Gêmeos estava apenas no ponto, aterrissando facilmente as respostas corretas sem confusão ou confusão, mas isso tendia a acontecer com objetos mais recentes ou populares. Por exemplo, fiquei surpreso quando imaginou imediatamente que um dos meus objetos de teste não era apenas do Destiny 2, mas foi uma edição limitada de um evento sazonal do ano passado.
Em outros momentos, Gêmeos ficaria muito longe da marca, e eu precisaria dar mais dicas para entrar no estádio da resposta certa. E, às vezes, parecia que Gêmeos estava tendo contexto de minhas sessões ao vivo anteriores para encontrar respostas, identificando vários objetos como provenientes de Silent Hill quando não eram. Eu tenho uma vitrine dedicada à série de jogos, então pude ver por que ela gostaria de mergulhar rapidamente nesse território.
Este foi o mais difícil dos meus testes. Pedi Gemini para identificar não apenas o jogo que isso ainda era (Silent Hill 2), mas que citação icônica disse a pessoa no topo da escada. Gêmeos pregou o jogo, os personagens e metade da citação na primeira rodada; Foram necessárias mais duas suposições para terminar a citação: “Você vê também? Para mim, é sempre assim”.
Gêmeos pode ficar com problemas às vezes. Em mais de uma ocasião, Gêmeos identificou erroneamente um dos itens como um personagem inventado da Hill Silent Hill não lançada: f Jogo, fundindo claramente peças de títulos diferentes em algo que nunca foi. O outro bug consistente que experimentei foi quando Gêmeos produziria uma resposta incorreta, e eu o corrige e sugeriria mais perto da resposta – ou diretamente, dando a resposta, apenas para que ele repetisse a resposta incorreta como se fosse um novo palpite. Quando isso aconteceu, eu fechava a sessão e iniciava uma nova, o que nem sempre era útil.
Um truque que encontrei foi que algumas conversas se saíram melhor que outras. Se eu rolei pela minha lista de conversas de Gêmeos, tocei um bate -papo antigo que havia corrigido um item específico e então Foi ao ar novamente a partir desse bate -papo, seria capaz de identificar os itens sem problemas. Embora isso não seja necessariamente surpreendente, foi interessante ver que algumas conversas funcionaram melhor que outras, mesmo que você usasse o mesmo idioma.
O Google não respondeu aos meus pedidos de mais informações sobre como o Gemini Live funciona.
EU desejado Gêmeos para responder com sucesso minhas perguntas às vezes altamente específicas, por isso forneci muitas dicas para chegar lá. Os cutucados eram frequentemente úteis, mas nem sempre. Abaixo estão uma série de objetos que eu tentei fazer com que Gemini identifique e forneça informações.
Para este, eu apenas perguntei a Gêmeos o que viu. “Ok, vejo um gato preto e branco que está se aquecendo ao sol em um piso de madeira. O gato está esticado em uma posição engraçada. Há um tapete verde com ‘casa é onde o ..’ escrito nele.” Pedi Gemini para adivinhar novamente e recebi respostas de “Home é onde o horror está” para “honrar”, mas acabou chegando à resposta correta (apenas a única palavra, “horror”).
Gêmeos me deu quatro personagens errados do jogo certo antes de identificar corretamente esse icônico personagem infinito do BioShock, Songbird.
Gêmeos pregou essa figura assustadora no primeiro palpite. (Vítima gêmea, Silent Hill 4: The Room)
Sem barulho – Gêmeos reconheceu corretamente Mira de Silent Hill 2, o real no controle da cidade
Este me impressionou. Embora Gêmeos pudesse “ver” que este era um mapa de Silent Hill, ele pregia o fato de que essa era uma impressão de corrida limitada que fazia parte de um ARG que ocorreu no ano passado.
Gêmeos adotou uma abordagem muito diferente para identificar esta jaqueta de Silent Hill 2. Ele fez 24 perguntas específicas com base nas informações que dei, com minha primeira dica de que era de um videogame. No entanto, na 19ª pergunta, parecia que já sabia exatamente de que jogo era pelas perguntas específicas que estava me fazendo.
Este não demorou muito, mas Gemini sugeriu originalmente que este retrato pode ser do autor e poeta americano John Ashbery. Depois que movi a câmera para mais perto da imagem e disse que era de um programa de TV, Gemini respondeu corretamente: “Essa é a senhora de madeira de Twin Peaks, segurando seu famoso tronco”.
Foi fácil para Gêmeos. Ele imediatamente reconheceu isso como um deck de tarô de edição limitada que teve que ser “conquistada” jogando um evento sazonal específico em Destiny 2.
