Як виконати перетягування (засноване на X, Y координатах миші) на Android за допомогою AccessibilityService?

39

Я хочу знати, як виконати перетягування на андроїд на основі координат миші X, Y? розглянемо як два простих приклади: Team Viewer / QuickSupport малює "шаблон пароля" на віддаленому смартфоні та ручці Windows Paint відповідно.

введіть тут опис зображення

введіть тут опис зображення

Все, що я в змозі зробити, це імітувати дотик (з dispatchGesture()і також AccessibilityNodeInfo.ACTION_CLICK).

Я знайшов ці важливі посилання, але не знаю, чи вони можуть бути корисними:

Нижче - мій робочий код, який використовується для надсилання координат миші (всередині PictureBoxуправління) на віддалений телефон та імітації дотику.

Додаток для форм Windows:

private void pictureBox1_MouseDown(object sender, MouseEventArgs e)
{
    foreach (ListViewItem item in lvConnections.SelectedItems)
    {
        // Remote screen resolution
        string[] tokens = item.SubItems[5].Text.Split('x'); // Ex: 1080x1920

        int xClick = (e.X * int.Parse(tokens[0].ToString())) / (pictureBox1.Size.Width);
        int yClick = (e.Y * int.Parse(tokens[1].ToString())) / (pictureBox1.Size.Height);

        Client client = (Client)item.Tag;

        if (e.Button == MouseButtons.Left)
            client.sock.Send(Encoding.UTF8.GetBytes("TOUCH" + xClick + "<|>" + yClick + Environment.NewLine));
    }
}

Редагувати:

Моєю останньою спробою був "проведіть пальцем" за допомогою координат миші (C # Windows Forms Application) та користувацької програми Android (з посиланням на код "проведенного екрана", пов'язаного вище) відповідно:

private Point mdownPoint = new Point();

private void pictureBox1_MouseDown(object sender, MouseEventArgs e)
{
    foreach (ListViewItem item in lvConnections.SelectedItems)
    {
        // Remote screen resolution
        string[] tokens = item.SubItems[5].Text.Split('x'); // Ex: 1080x1920

        Client client = (Client)item.Tag;

        if (e.Button == MouseButtons.Left)
        {
            xClick = (e.X * int.Parse(tokens[0].ToString())) / (pictureBox1.Size.Width); 
            yClick = (e.Y * int.Parse(tokens[1].ToString())) / (pictureBox1.Size.Height);

            // Saving start position:

            mdownPoint.X = xClick; 
            mdownPoint.Y = yClick; 

            client.sock.Send(Encoding.UTF8.GetBytes("TOUCH" + xClick + "<|>" + yClick + Environment.NewLine));
        }
    }
}

private void PictureBox1_MouseMove(object sender, MouseEventArgs e)
{
    foreach (ListViewItem item in lvConnections.SelectedItems)
    {
        // Remote screen resolution
        string[] tokens = item.SubItems[5].Text.Split('x'); // Ex: 1080x1920

        Client client = (Client)item.Tag;

        if (e.Button == MouseButtons.Left)
        {
            xClick = (e.X * int.Parse(tokens[0].ToString())) / (pictureBox1.Size.Width);
            yClick = (e.Y * int.Parse(tokens[1].ToString())) / (pictureBox1.Size.Height);

            client.sock.Send(Encoding.UTF8.GetBytes("MOUSESWIPESCREEN" + mdownPoint.X + "<|>" + mdownPoint.Y + "<|>" + xClick + "<|>" + yClick + Environment.NewLine));
        }
    }
}

Android AccessibilityService :

public void Swipe(int x1, int y1, int x2, int y2, int time) {

if (android.os.Build.VERSION.SDK_INT >= android.os.Build.VERSION_CODES.N) {
    System.out.println(" ======= Swipe =======");

    GestureDescription.Builder gestureBuilder = new GestureDescription.Builder();
    Path path = new Path();
    path.moveTo(x1, y1);
    path.lineTo(x2, y2);

    gestureBuilder.addStroke(new GestureDescription.StrokeDescription(path, 100, time));
    dispatchGesture(gestureBuilder.build(), new GestureResultCallback() {
        @Override
        public void onCompleted(GestureDescription gestureDescription) {
            System.out.println("SWIPE Gesture Completed :D");
            super.onCompleted(gestureDescription);
        }
    }, null);
}

}

який дає наступний результат (але все ще не в змозі намалювати «шаблон пароля», як, наприклад, TeamViewer). Але, як сказано в коментарі нижче, я думаю, що при подібному підході це можна досягти, мабуть, продовжуючи жести . Будь-які пропозиції в цьому напрямку будуть вітатися.

введіть тут опис зображення

введіть тут опис зображення

Редагувати 2:

Однозначно, рішення - це продовження жестів, як сказано в попередньому редагуванні .

А нижче - передбачуваний фіксований код, який я знайшов тут =>

Android AccessibilityService:

// Simulates an L-shaped drag path: 200 pixels right, then 200 pixels down.
Path path = new Path();
path.moveTo(200,200);
path.lineTo(400,200);

final GestureDescription.StrokeDescription sd = new GestureDescription.StrokeDescription(path, 0, 500, true);

// The starting point of the second path must match
// the ending point of the first path.
Path path2 = new Path();
path2.moveTo(400,200);
path2.lineTo(400,400);

final GestureDescription.StrokeDescription sd2 = sd.continueStroke(path2, 0, 500, false); // 0.5 second

HongBaoService.mService.dispatchGesture(new GestureDescription.Builder().addStroke(sd).build(), new AccessibilityService.GestureResultCallback(){

@Override
public void onCompleted(GestureDescription gestureDescription){
super.onCompleted(gestureDescription);
HongBaoService.mService.dispatchGesture(new GestureDescription.Builder().addStroke(sd2).build(),null,null);
}

@Override
public void onCancelled(GestureDescription gestureDescription){
super.onCancelled(gestureDescription);
}
},null);

Тоді я сумніваюся в тому, як правильно надіслати координати миші для коду вище, того, як можна виконати перетягування в будь-який бік? Якась ідея?

Редагувати 3:

Я знайшов дві підпрограми, які використовуються для виконання перетягування, але вони використовують UiAutomation + injectInputEvent(). AFAIK, ін'єкція події працює лише в системному додатку, як сказано тут і тут, і я не хочу цього.

Це підпрограми, знайдені:

Тоді, щоб досягти своєї мети, я думаю, що 2-й режим є більш доцільним для використання (дотримуючись логіки, виключаючи введення події) з кодом, показаним на Edit 2, і надіслати всі пункти pictureBox1_MouseDownта pictureBox1_MouseMove(C # Windows Forms Application) відповідно, щоб заповнювати Point[]динамічно та pictureBox1_MouseUpнадсилати cmd для виконання процедури та використання цього заповненого масиву. Якщо у вас є ідея до першого розпорядку, дайте мені знати: D.

Якщо після прочитання цієї редакції у вас є можливе рішення, покажіть мені у відповідь, будь ласка, тоді як я спробую перевірити цю ідею.

java  c#  android  accessibilityservice  mouse-coordinates 
— BrowJr
джерело
1
TeamViewer не використовує рамки доступності, швидше за все. Вони мають спеціальні угоди з виробниками пристроїв, саме тому їх товар доступний не для всіх пристроїв.
— CommonsWare
@CommonsУважливо дякую. Але я думаю, що це StrokeDescription.continueStroke()може бути ймовірним рішенням. Дивіться розділ Продовження жестів тут .
— BrowJr
2
Щодо вашого першого заходу. pictureBox1_MouseDownне повинен надсилати координати. Він повинен зберігати лише початкові координати, а потім pictureBox1_MouseUpви надсилаєте їх, тому що це означає кінець руху миші
— Греггз

Відповіді:

1

Ось приклад рішення, заснованого на редагуванні 3 питання.

Додаток " formMain.cs " для C # Windows Froms :

using System.Net.Sockets;

private List<Point> lstPoints;

private void pictureBox1_MouseDown(object sender, MouseEventArgs e) 
{
    if (e.Button == MouseButtons.Left)
    {
        lstPoints = new List<Point>();
        lstPoints.Add(new Point(e.X, e.Y));
    }
}

private void PictureBox1_MouseMove(object sender, MouseEventArgs e)
{
    if (e.Button == MouseButtons.Left)
    {
        lstPoints.Add(new Point(e.X, e.Y));
    }
}

private void PictureBox1_MouseUp(object sender, MouseEventArgs e)
{
    lstPoints.Add(new Point(e.X, e.Y));

    StringBuilder sb = new StringBuilder();

    foreach (Point obj in lstPoints)
    {
        sb.Append(Convert.ToString(obj) + ":");
    }

    serverSocket.Send("MDRAWEVENT" + sb.ToString() + Environment.NewLine);
}

Android-сервіс " SocketBackground.java ":

import java.net.Socket;

String xline;

while (clientSocket.isConnected()) {

    BufferedReader xreader = new BufferedReader(new InputStreamReader(clientSocket.getInputStream(), StandardCharsets.UTF_8));

    if (xreader.ready()) {

        while ((xline = xreader.readLine()) != null) {
                xline = xline.trim();

            if (xline != null && !xline.trim().isEmpty()) {

                if (xline.contains("MDRAWEVENT")) {

                    String coordinates = xline.replace("MDRAWEVENT", "");
                    String[] tokens = coordinates.split(Pattern.quote(":"));
                    Point[] moviments = new Point[tokens.length];

                    for (int i = 0; i < tokens.length; i++) {
                       String[] coordinates = tokens[i].replace("{", "").replace("}", "").split(",");

                       int x = Integer.parseInt(coordinates[0].split("=")[1]);
                       int y = Integer.parseInt(coordinates[1].split("=")[1]);

                       moviments[i] = new Point(x, y);
                    }

                    MyAccessibilityService.instance.mouseDraw(moviments, 2000);
                }
            }
        }
    }
}

android AccessibilityService" MyAccessibilityService.java ":

public void mouseDraw(Point[] segments, int time) {
    if (android.os.Build.VERSION.SDK_INT >= Build.VERSION_CODES.N) {

        Path path = new Path();
        path.moveTo(segments[0].x, segments[0].y);

        for (int i = 1; i < segments.length; i++) {

            path.lineTo(segments[i].x, segments[i].y);

            GestureDescription.StrokeDescription sd = new GestureDescription.StrokeDescription(path, 0, time);

            dispatchGesture(new GestureDescription.Builder().addStroke(sd).build(), new AccessibilityService.GestureResultCallback() {

                @Override
                public void onCompleted(GestureDescription gestureDescription) {
                    super.onCompleted(gestureDescription);
                }

                @Override
                public void onCancelled(GestureDescription gestureDescription) {
                    super.onCancelled(gestureDescription);
                }
            }, null);
        }
    }
}
— BrowJr
джерело
0

Ви намагалися використовувати сценарій AutoIt ?

Ви можете зберігати координати в певних вікнах / екранах. Ви можете утримувати натискання мишки, малюючи візерунок.

У мене також є приклад код / ​​сценарії для вас, якщо ви хочете їх!


Редагувати:

Відповідно до цього підручника ви можете використовувати Auto-IT на C #.

Виконайте такі дії:

  1. Встановіть Auto-IT
  2. Додати Auto-IT в якості посилання в диспетчер посилань (AutoItX3.dll)
  3. Потім імпортуйте бібліотеку, яку ви додали за допомогою: Using AutoItX3Lib;
  4. Створіть новий об’єкт AutoItX3 під назвою "auto": AutoItX3 auto = new AutoItX3();
  5. Тепер ви можете виконувати команди Auto It.

Це повний приклад виконання клацання миші:

Using AutoItX3Lib;
AutoItX3 auto = new AutoItX3();
auto.MouseClick("left", 78, 1133, 1, 35)


За допомогою AutoIt Window Info Toolви можете перевірити координати, які ви хочете використовувати.

Зверніть увагу, що існують відмінності між режимами координат миші:

наприклад: auto.AutoItSetOption("MouseCoordMode", 1)використовуватиме абсолютні координати екрана. Дивіться джерело тут .


Щоб утримувати клацання миші, ви можете перевірити функцію MouseDown

— JaFizz
джерело
1
Це не допомогло. Ваша пропозиція - це саме те, що вже є моя C # Windows Form Application.
— BrowJr
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.