Na jakie funkcje Gemini i Google AI czekamy

W zeszłym roku Google wprowadził szereg funkcji związanych z marką Gemini i innymi funkcjami sztucznej inteligencji w swoich aplikacjach przeznaczonych dla konsumentów. Oto wszystko, co zostało ogłoszone i kiedy może być dostępne.

piksel

Pod koniec Made by Google 2023 zapowiedziano ulepszenie zoomu w Pixelu 8 Pro, które „inteligentnie wypełnia luki między pikselami i przewiduje drobne szczegóły”. Google używa na urządzeniu „niestandardowego generatywnego modelu obrazu AI” i reklamuje go jako przydatny, jeśli zapomnisz o powiększeniu.

To niesamowite zastosowanie generatywnej sztucznej inteligencji, które otwiera szereg możliwości projektowania i edycji obrazów. Zwiększenie powiększenia, jakie widziałeś w science fiction, jest teraz dostępne bezpośrednio w telefonie, który trzymasz w dłoni.

W październiku Google powiedział, że „przyjdzie to później”. Po spadku funkcji o trzy piksele nadal jej nie ma. Nie jest jasne, czy model, do którego odnosi się Google, to Gemini Nano z multimodalnością. W tym momencie równie dobrze może zadebiutować w Pixelu 9 Pro jako główna funkcja fotograficzna tego telefonu.

Strona główna Google

Aplikacja Google Home wykorzystuje generatywną sztuczną inteligencję do podsumowywania wydarzeń w „zoptymalizowany widok tego, co wydarzyło się ostatnio”. To „szybkie i łatwe podsumowanie” wykorzystuje wypunktowania. W rozmowie możesz także zadać pytanie „Zapytaj o swój dom”, aby znaleźć klipy historii wideo i otrzymać automatyzację. „Funkcje eksperymentalne” będą dostępne dla subskrybentów Nest Aware w 2024 r.

Fitbit

Fitbit Labs oferuje użytkownikom Fitbit Premium możliwość testowania i wyrażania opinii na temat eksperymentalnych funkcji AI.

Jedną z takich funkcji jest chatbot, który pozwala w naturalny i konwersacyjny sposób zadawać pytania dotyczące danych Fitbit. Ten „spersonalizowany coaching”, który uwzględnia cele fitness, ma na celu generowanie „przekazów i wskazówek, które można zastosować, a odpowiedzi na nie mogą obejmować niestandardowe wykresy.

• „Możesz na przykład przyjrzeć się bliżej liczbie minut w strefie aktywnej (AZM) i jaki ma to związek z regeneracją snu”.
• „…ten model może analizować zmiany w rytmie i jakości snu, a następnie na podstawie tych ustaleń dostarczać zaleceń dotyczących zmiany intensywności ćwiczeń”.

Jest to możliwe za kulisami dzięki nowemu programowi Personal Health LLM od Fitbit i Google Research, opartemu na Gemini. Od marca będzie dostępny „jeszcze w tym roku” dla „ograniczonej liczby użytkowników Androida zarejestrowanych w programie Fitbit Labs w aplikacji mobilnej Fitbit”.

Zdjęcia Google

Funkcja Zapytaj Zdjęcia umożliwia zadawanie pytań na temat obrazów i filmów w Twojej bibliotece. Oprócz wyszukiwania obrazów aplikacja może także odfiltrowywać informacje i udzielać odpowiedzi tekstowych. Przykładowe zapytania obsługiwane przez Gemini to „Pokaż mi najlepsze zdjęcie z każdego parku narodowego, który odwiedziłem” i „Jakie tematy przewodnie przygotowaliśmy na przyjęcia urodzinowe Leny?” Pozwala „sugerować najlepsze obrazy” i tworzyć do nich podpisy. Zapytaj Zdjęcia to „funkcja eksperymentalna”, która wkrótce zostanie udostępniona. Google już zapowiada dalsze funkcje na przyszłość.

Gmail + Google Workspace

W Gmailu na Androida i iOS w prawym górnym rogu znajdziesz przycisk Gemini, który pozwala wyświetlić mobilny odpowiednik panelu bocznego i wprowadzić pełne podpowiedzi. Gmail otrzymuje także inteligentne odpowiedzi kontekstowe, które zawierają bardziej spersonalizowane, szczegółowe i dopracowane sugestie. Ta funkcja zostanie wdrożona w Workspace Labs w lipcu.

Na kwietniowej konferencji Cloud Next 2024 firma Google wprowadziła także funkcję komunikatów głosowych „Pomóż mi pisać w mobilnym Gmailu”. Tymczasem funkcja „Natychmiastowego polskiego” „jednym kliknięciem przekształci szorstkie notatki w pełną wiadomość e-mail”.

W przeglądarce internetowej pasek boczny jest dostępny w Gmailu, na Dysku Google i w Dokumentach/Arkuszach/Slajdach. Gemini pojawi się obok Google Chat, aby podsumowywać rozmowy i odpowiadać na pytania.

mapy Google

W lutym Google ogłosił, że Mapy będą wykorzystywać LLM do obsługi chatbota „Zapytaj o”. Możesz go użyć do znalezienia lokalizacji pasujących do wprowadzonych danych i uzyskania pomocy w przypadku dalszych pytań. Opiera się na informacjach o 250 milionach miejsc, a także na przesłanych przez użytkowników zdjęciach, filmach i recenzjach.

chrom

Gemini Nano pojawia się na pulpicie Chrome i obsługuje funkcje przeglądarki, takie jak „Pomóż mi pisać”. Powinien być dostępny na większości nowoczesnych laptopów i komputerów stacjonarnych.

wyszukiwarka Google

Oprócz wprowadzenia przeglądów AI firma Google zaprezentowała szereg nadchodzących funkcji, które najpierw będą dostępne w laboratoriach wyszukiwania:

• Możesz skorzystać z oryginalnego przeglądu sztucznej inteligencji i uczynić go „prostszym” (do zaledwie kilku zdań) lub „rozbić go” (dłuższa odpowiedź).
• Funkcja wnioskowania wieloetapowego pozwala zadać złożone pytanie jednocześnie, zamiast dzielić je na wiele zapytań.
• Planowanie posiłków i podróży
• Strona wyników wyszukiwania uporządkowana przez sztuczną inteligencję
• Wyszukiwanie wideo: nagraj film i zadaj pytanie na jego temat

Android

Gemini Nano z funkcją Multimodality pojawi się na Pixelu „jeszcze w tym roku” i będzie oferować takie funkcje, jak opisy TalkBack na urządzeniu i w trybie offline oraz alerty o oszustwach w czasie rzeczywistym, które nasłuchują wezwania do charakterystycznych wzorców. Google ogłosi więcej szczegółów jeszcze w tym roku.

Na I/O 2024 Google pokazało również, że Gemini na Androidzie wkrótce będzie panelem nakładkowym zamiast otwierać pełnoekranowy interfejs użytkownika do wyświetlania wyników. Oprócz zachowania kontekstu umożliwia to przeciąganie i upuszczanie wygenerowanego obrazu do rozmowy. W przypadku subskrybentów Gemini Advanced przyciski Zapytaj o ten film i Zapytaj o ten plik PDF wyświetlają odpowiednio filmy i dokumenty Gemini Digest. Zostanie to wdrożone „w ciągu najbliższych kilku miesięcy”. Dodatkowo Dynamiczne Sugestie będą korzystać z Gemini Nano w trybie multimodalności, aby zrozumieć, co jest na ekranie:

Na przykład, jeśli aktywujesz Bliźnięta w rozmowie na temat pickleballu, sugestie mogą brzmieć: „Znajdź kluby pickleball w mojej okolicy” i „Zasady Pickleball dla początkujących”.

Kolejnym dodatkiem, który będzie szczególnie przydatny na urządzeniach mobilnych, są rozszerzenia Gemini do Kalendarza Google, Zadań i Keep. Umożliwia to przechwycenie obrazu strony z wieloma nadchodzącymi spotkaniami, które Gemini może przekształcić w wydarzenia w kalendarzu. W nadchodzących miesiącach „narzędzie” umożliwi Gemini na urządzeniach mobilnych dostęp do aplikacji Zegar na Androida.

Czekamy też, aż tego lata telefon komórkowy Gemini pojawi się na tablecie Pixel.

Bliźnięta

Live pozwala na dwustronną rozmowę z Gemini. Aby doświadczenie było bardziej naturalne, Gemini zwraca precyzyjne odpowiedzi, które możesz wstrzymać, aby dodać nowe informacje lub poprosić o wyjaśnienia. Możesz wybierać spośród 10 różnych głosów, a Google wyobraża sobie, że Gemini Live będzie pomocne podczas przygotowań do wywiadów lub prób przemówienia. Będzie dostępny dla członków Gemini Advanced w „nadchodzących miesiącach”.

„Jeszcze w tym roku” w Gemini Live będzie można uruchomić tryb kamery na żywo. Wystarczy wskazać coś w realnym świecie i zadać na ten temat pytanie. Jest to możliwe dzięki Projektowi Astra.

Klejnoty to spersonalizowane wersje Bliźniąt, które dają Ci „kumpel z siłowni, zastępcę szefa kuchni, partnera programistycznego lub przewodnik kreatywnego pisania”. Członkowie Gemini Advanced mogą tworzyć własne klejnoty, a wszyscy użytkownicy mają dostęp do gotowych klejnotów, takich jak Learning Coach.

Po prostu opisz, co chcesz, aby Twój Klejnot robił i jak ma reagować – na przykład: „Jesteś moim trenerem biegania, daj mi codzienny plan biegania i bądź pozytywny, optymistyczny i motywujący. Gemini przyjmuje te instrukcje i ulepsza je”. jedno kliknięcie, aby stworzyć klejnot odpowiadający Twoim konkretnym potrzebom.

Użytkownicy Gemini Advanced otrzymują także „wciągający planer”, który wykracza poza zwykłe sugestie dotyczące aktywności i faktycznie uwzględnia czas podróży i międzylądowania, a także zainteresowania użytkowników, aby stworzyć szczegółowy plan podróży. Gemini korzysta ze szczegółów lotu/podróży w Gmailu, rekomendacji Map Google dotyczących restauracji i muzeów w pobliżu Twojego hotelu oraz wyszukuje inne aktywności.