Microsoft Copilot Studio’nun Computer Use özelliği, AI ajanlarının tıpkı bir kullanıcı gibi bilgisayar ekranını görerek, tıklayarak ve yazarak görevleri yerine getirmesine olanak tanır. Bu sayede daha önce manuel olarak yürütülen birçok süreç otomatikleştirilebilir.

Bu yazıda, yerel bir Windows bilgisayarının Copilot Studio Computer Use için Personal Desktop Agent (PDA) olarak nasıl yapılandırılabileceği adım adım ele alınmaktadır.

Computer Use Nedir?

Computer Use, Computer-Using Agents (CUA) olarak adlandırılan bir yapay zekâ modeli üzerinde çalışır. Bu modelin öne çıkan özellikleri şunlardır:

• Ekran görüntülerini analiz ederek arayüzü görsel olarak yorumlar.
• Butonların veya ekran öğelerinin konumu değişse bile uyum sağlayabilir.
• Doğal dil ile verilen talimatlarla çalışır; herhangi bir kod yazılmasına ihtiyaç duymaz.
• Hem web siteleri hem de masaüstü uygulamalarıyla etkileşim kurabilir.

Computer Use’u geleneksel RPA araçlarından ayıran en önemli özellik, ekran üzerindeki öğelerin koordinatlarını kaydetmek yerine her adımda ekranı yeniden analiz etmesidir. Bu yaklaşım, değişen arayüzlere karşı çok daha dayanıklı bir yapı sunar.

Ancak bu esnekliğin bir karşılığı vardır. Her adımda ekran görüntüsü alınıp analiz edildiği için Computer Use, klasik RPA çözümlerine kıyasla daha yavaş çalışabilir. Bu nedenle saniyeler içerisinde tamamlanması gereken yüksek hızlı süreçlerde bu gecikme göz önünde bulundurulmalıdır. Computer Use, hızdan çok doğruluk ve uyarlanabilirliğin ön planda olduğu senaryolarda daha yüksek değer sunar.

Computer Use Hangi Senaryolarda Kullanılabilir?

Computer Use, özellikle API entegrasyonlarının bulunmadığı veya mevcut sistemlere entegrasyon geliştirmenin maliyetli olduğu senaryolarda önemli avantajlar sağlar. AI ajanları ekranı görerek ve kullanıcı gibi hareket ederek birçok manuel süreci otomatikleştirebilir.

Örnek kullanım senaryoları

• Rakip veya iş ortağı web sitelerinden veri toplanması
• Legacy uygulamalardan veri okunması ve raporlanması
• Web formlarının otomatik doldurulması
• Birden fazla sistem arasında manuel veri aktarımının gerçekleştirilmesi
• CRM ve ERP sistemlerinde tekrarlayan operasyonların yürütülmesi
• Belirli kriterlere göre araştırma yapılarak özet rapor oluşturulması
• E-posta veya doküman içeriklerine göre farklı sistemlerde aksiyon alınması

Örneğin bir havayolu şirketinde çalışan bir ajan, belirli acente sitelerini ziyaret ederek fiyat bilgilerini toplayabilir ve bu verileri şirket içindeki sistemlerle karşılaştırarak raporlayabilir. Benzer şekilde, API desteği bulunmayan birçok uygulama da Computer Use sayesinde otomasyon süreçlerine dahil edilebilir.

Kurulum Adımları

Copilot Studio içerisinde yerel bir makineyi kullanabilmek için öncelikle yeni oluşturulan veya mevcut bir ajanın dashboard ekranındaki Tools bölümüne gidilerek Computer Use özelliği etkinleştirilir.

Computer Use etkinleştirildikten sonra yapılandırma ekranı açılır. Bu ekranda:

• Computer Use’un gerçekleştireceği görevin tanımlandığı bir Instructions alanı oluşturulabilir.
• Açıklama ve isim bilgileri girilebilir.
• Kullanılacak model seçilebilir.
• Gerekli giriş parametreleri tanımlanabilir.

Bu bilgiler tamamlandıktan sonra aşağıdaki görselde yer alan seçim alanı üzerinden kullanılacak makine belirlenebilir.

Not: Computer Use’tan en iyi verimi almak için Instructions bölümünde yer alan talimatların mümkün olduğunca açık ve adım adım yazılması önerilir. Bunun temel amacı, ajanın görev kapsamının dışına çıkmadan yalnızca belirtilen adımları takip etmesini ve daha tutarlı sonuçlar üretmesini sağlamaktır.

 

Bu ekranda Microsoft tarafından sunulan hazır (hosted) makine seçeneği de bulunmaktadır. Ancak yerel bir cihaz kullanılacağı için süreç yeni bir makine eklenerek devam etmektedir.

Yeni makine ekleme adımında sistem Power Automate sayfasına yönlendirir. İlk olarak Power Automate Desktop uygulamasının ilgili bilgisayara kurulması gerekir.

Kurulum tamamlandıktan sonra masaüstündeki Power Automate Machine Runtime uygulaması açılarak bilgisayar sisteme tanımlanır. Tanımlama işlemi tamamlandığında cihaz, Power Automate içerisindeki Machines bölümünde görüntülenmeye başlar.

Bu aşamada cihazın hangi ortamda çalışacağı da belirlenmelidir.

Ardından makine ayarlarına girilerek Enable for Computer Use seçeneği etkinleştirilir.

Bu işlem sonrasında makine, Copilot Studio içerisindeki ajanlarda Computer Use özelliğiyle kullanılabilecek duruma gelir.

Makine artık Copilot Studio Agent içerisinde Computer Use bölümünde görüntülenebilir.

Copilot Studio ile Bağlantı Kurulumu

Makine yapılandırması tamamlandıktan sonra Copilot Studio’ya dönülerek kayıt edilen yerel makine seçilir ve bağlantı süreci başlatılır.

Yerel bir makine kullanıldığı için bu aşamada aşağıdaki bilgiler girilmelidir:

• Domain / Username
• Password

Bağlantı başarıyla tamamlandığında makine kullanıma hazır hale gelir.

Sayfanın alt kısmında yer alan seçeneklerle ajanın belirli bir URL üzerinde çalışması sağlanabilir veya güvenilir bağlantı ayarları yapılandırılabilir.

Bu örnekte ajanın genel amaçlı araştırma senaryolarında kullanılacağı varsayıldığından herhangi bir URL kısıtlaması tanımlanmamıştır. Bununla birlikte güvenli bağlantı gereksinimleri nedeniyle HTTPS zorunluluğu etkin bırakılmıştır.

Bu aşamada yerel bir bilgisayar üzerinde çalışan ve farklı otomasyon senaryolarında kullanılabilecek bir AI ajan altyapısı kullanıma hazır hale gelmiş olur. Yapılandırılan cihaz, Copilot Studio içerisinde oluşturulan farklı ajanlarla ilişkilendirilerek çeşitli iş süreçlerinde kullanılabilir.

Yaygın Karşılaşılan Hatalar ve Çözüm Önerileri

Power Automate Browser Extension Hatası

Hata Mesajı

There was an error communicating with the Microsoft Power Automate browser extension. Please make sure the extension is installed and enabled.

Nedeni

Power Automate Browser Extension tarayıcıda yüklü değildir veya etkin durumda değildir.

Çözüm

• Chrome kullanılıyorsa Chrome Web Store üzerinden Power Automate eklentisi yüklenmelidir.
• Kurulum sonrasında tarayıcı tamamen kapatılıp yeniden açılmalıdır.

Chrome / msedgewebview2 İzin Hatası

Hata Mesajları

Application not allowed: chrome isn’t currently on the allowed list of applications.

Application not allowed: msedgewebview2 isn’t currently on the allowed list of applications.

Nedeni

Computer Use aracında erişim denetimi (Access Control) kısıtlamaları bulunmaktadır.

Çözüm

Copilot Studio içerisindeki ilgili Computer Use yapılandırmasına gidilerek İzin Verilen Web Siteleri ve Masaüstü Uygulamaları bölümünden ilgili uygulamalar izin listesine eklenmeli veya erişim denetimi ayarları güncellenmelidir.

Computer Use Kullanırken Nelere Dikkat Edilmeli?

Computer Use, geleneksel RPA çözümlerine göre daha esnek olsa da güvenilir sonuçlar elde edebilmek için bazı noktalara dikkat edilmesi gerekir.

• Makinenin kullanım sırasında kilitlenmemesi veya oturumunun kapanmaması gerekir.
• Beklenmeyen açılır pencereler ve sistem bildirimleri ajan akışını etkileyebilir.
• Çok fazla adım içeren süreçlerde işlem süresi ve maliyet artabilir.
• İnternet bağlantısındaki kesintiler veya performans sorunları ajan davranışlarını doğrudan etkileyebilir.
• Kritik iş süreçlerinde canlı ortama geçmeden önce kapsamlı testler yapılması önerilir.
• API entegrasyonu mümkün olan senaryolarda öncelikle API tabanlı yaklaşım değerlendirilmelidir. Computer Use özellikle API bulunmayan veya entegrasyonu zor olan sistemlerde en yüksek faydayı sağlar.

Bu nedenle Computer Use değerlendirilirken hızdan çok esneklik, kullanım kolaylığı ve uyarlanabilirlik odağında yaklaşmak gerekir. Özellikle kullanıcı arayüzü üzerinden çalışan legacy uygulamalar ve manuel operasyonlar için güçlü bir otomasyon yaklaşımı sunar.

Kurulum Tamamlandığında Ajanınız Neler Yapabilir?

Kurulum tamamlandığında AI ajanları:

• Bilgisayar ekranını görerek bağımsız şekilde gezinebilir.
• Web sitelerinde form doldurabilir ve veri toplayabilir.
• Ekran görüntülerini Copilot Studio’ya geri gönderebilir.
• API desteği bulunmayan sistemlerle kullanıcı arayüzü üzerinden etkileşim kurabilir.

Computer Use sayesinde yalnızca API’lerle sınırlı kalmadan, kullanıcı arayüzüne sahip neredeyse her sistem AI ajanlarının erişebileceği bir çalışma alanına dönüşür. Bu yaklaşım, kurumların daha önce otomasyona uygun olmadığını düşündüğü süreçleri yeniden değerlendirmesine ve yapay zekâ destekli otomasyon fırsatlarını genişletmesine olanak tanır.