Декомпресія потоку GZip з відповіді HTTPClient


93

Я намагаюся підключитися до API, який повертає кодований GZip JSON, зі служби WCF (служба WCF до служби WCF). Я використовую HTTPClient для підключення до API і зміг повернути об'єкт JSON як рядок. Однак мені потрібно мати можливість зберігати ці повернуті дані в базі даних, і, як такий, я вважав, що найкращим способом було б повернути та зберегти об'єкт JSON у масиві, байті чи щось подібне.

З чим конкретно я маю проблеми, це розпакування кодування GZip, і я намагався безліч різних прикладів, але все ще не можу його отримати.

У наведеному нижче коді я встановлюю своє з’єднання та отримую відповідь, це код, який повертає рядок з API.

public string getData(string foo)
{
    string url = "";
    HttpClient client = new HttpClient();
    HttpResponseMessage response;
    string responseJsonContent;
    try
    {
        client.DefaultRequestHeaders.Accept.Add(new MediaTypeWithQualityHeaderValue("application/json"));
        response = client.GetAsync(url + foo).Result;
        responseJsonContent = response.Content.ReadAsStringAsync().Result;
        return responseJsonContent;
    }
    catch (Exception ex)
    {
        System.Windows.Forms.MessageBox.Show(ex.Message);
        return "";
    }
}

Я наслідував кілька різних прикладів, таких як API StackExchange , MSDN та пара на stackoverflow, але я не зміг змусити жоден із них працювати для мене.

Який найкращий спосіб досягти цього, чи я навіть на правильному шляху?

Спасибі, хлопці.


"найкращим способом буде повернення та збереження об'єкта JSON у масиві або байті" Зверніть увагу, що рядок - це масив байтів.
user3285954

Відповіді:


232

Просто створіть екземпляр HttpClient так:

HttpClientHandler handler = new HttpClientHandler()
{
    AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate
};

using (var client = new HttpClient(handler))
{
    // your code
}

Оновлення 19 червня 2020 року: Не рекомендується використовувати httpclient у блоці 'using', оскільки це може призвести до вичерпання портів.

private static HttpClient client = null;

ContructorMethod()
{
   if(client == null)
   {
        HttpClientHandler handler = new HttpClientHandler()
        {
            AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate
        };        
        client = new HttpClient(handler);
   }
// your code            
 }

Якщо ви використовуєте .Net Core 2.1+, розгляньте можливість використання IHttpClientFactory та виконайте ін’єкцію таким чином у вашому коді запуску.

 var timeout = Policy.TimeoutAsync<HttpResponseMessage>(
            TimeSpan.FromSeconds(60));

 services.AddHttpClient<XApiClient>().ConfigurePrimaryHttpMessageHandler(() => new HttpClientHandler
        {
            AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate
        }).AddPolicyHandler(request => timeout);

Якщо я використовую цю структуру, як отримати вміст моєї відповіді з httpClient? Я супер новачок в c #, і я не думаю, що отримаю його.
FoxDeploy

1
@FoxDeploy не вимагає змін, щоб код отримав вміст, коли ви використовуєте це рішення. Див. Тут для довідки: stackoverflow.com/questions/26597665/…
DIG

1
навіть якщо це старий пост, ця відповідь просто вирішила мою проблему в .netcore, перейшовши з 1.1 на 2.0, здається, клієнт автоматично робив декомпресію, тому мені довелося додати цей код у 2.0, щоб він запрацював ... Дякую !
Себастьян Кастальді

3
Просто для повернення на @SebastianCastaldi, але .net core 1.1 встановив AutomaticDecompression належним чином, але в .net core 2.0 встановлено NONE. Це зайняло у мене занадто багато часу, щоб зрозуміти ...
KallDrexx

5
Примітка: HttpClientНЕ слід використовувати всерединіusing
imba-tjd

1

Для розпакування потоку GZip я використовував код із посилання нижче, а потім використовував розпакований масив байтів, щоб отримати необхідний об'єкт JSON. Сподіваюся, це може комусь допомогти.

var readTask = result.Content.ReadAsByteArrayAsync().Result;
var decompressedData = Decompress(readTask);
string jsonString = System.Text.Encoding.UTF8.GetString(decompressedData, 0, decompressedData.Length);
ResponseObjectClass responseObject = Newtonsoft.Json.JsonConvert.DeserializeObject<ResponseObjectClass>(jsonString);

https://www.dotnetperls.com/decompress

static byte[] Decompress(byte[] gzip)
{
    using (GZipStream stream = new GZipStream(new MemoryStream(gzip), CompressionMode.Decompress))
    {
        const int size = 4096;
        byte[] buffer = new byte[size];
        using (MemoryStream memory = new MemoryStream())
        {
            int count = 0;
            do
            {
                count = stream.Read(buffer, 0, size);
                if (count > 0)
                {
                    memory.Write(buffer, 0, count);
                }
            }
            while (count > 0);
            return memory.ToArray();
        }
    }
}

0

Гаразд, я врешті вирішив свою проблему. Якщо є кращі способи, будь ласка, дайте мені знати :-)

        public DataSet getData(string strFoo)
    {
        string url = "foo";

        HttpClient client = new HttpClient();
        HttpResponseMessage response;   
        DataSet dsTable = new DataSet();
        try
        {
               //Gets the headers that should be sent with each request
            client.DefaultRequestHeaders.Accept.Add(new MediaTypeWithQualityHeaderValue("application/json"));
              //Returned JSON
            response = client.GetAsync(url).Result;
              //converts JSON to string
            string responseJSONContent = response.Content.ReadAsStringAsync().Result;
              //deserializes string to list
            var jsonList = DeSerializeJsonString(responseJSONContent);
              //converts list to dataset. Bad name I know.
            dsTable = Foo_ConnectAPI.ExtentsionHelpers.ToDataSet<RootObject>(jsonList);
              //Returns the dataset                
            return dsTable;
        }
        catch (Exception ex)
        {
            System.Windows.Forms.MessageBox.Show(ex.Message);
            return null;
        }
    }

       //deserializes the string to a list. Utilizes JSON.net. RootObject is a class that contains the get and set for the JSON elements

    public List<RootObject> DeSerializeJsonString(string jsonString)
    {
          //Initialized the List
        List<RootObject> list = new List<RootObject>();
          //json.net deserializes string
        list = (List<RootObject>)JsonConvert.DeserializeObject<List<RootObject>>(jsonString);

        return list;
    }

RootObject містить набір get, який отримає значення JSON.

public class RootObject
{  
      //These string will be set to the elements within the JSON. Each one is directly mapped to the JSON elements.
      //This only takes into account a JSON that doesn't contain nested arrays
    public string EntityID { get; set; }

    public string Address1 { get; set; }

    public string Address2 { get; set; }

    public string Address3 { get; set; }

}

Найпростіший спосіб створити вищезгадані класи - це використовувати json2charp, який відповідно його відформатує, а також надасть правильні типи даних.

Далі йдеться про іншу відповідь на Stackoverflow, знову ж вона не враховує вкладений JSON.

    internal static class ExtentsionHelpers
{
    public static DataSet ToDataSet<T>(this List<RootObject> list)
    {
        try
        {
            Type elementType = typeof(RootObject);
            DataSet ds = new DataSet();
            DataTable t = new DataTable();
            ds.Tables.Add(t);

            try
            {
                //add a column to table for each public property on T
                foreach (var propInfo in elementType.GetProperties())
                {
                    try
                    {
                        Type ColType = Nullable.GetUnderlyingType(propInfo.PropertyType) ?? propInfo.PropertyType;

                            t.Columns.Add(propInfo.Name, ColType);

                    }
                    catch (Exception ex)
                    {
                        System.Windows.Forms.MessageBox.Show(ex.Message);
                    }

                }
            }
            catch (Exception ex)
            {
                System.Windows.Forms.MessageBox.Show(ex.Message);
            }

            try
            {
                //go through each property on T and add each value to the table
                foreach (RootObject item in list)
                {
                    DataRow row = t.NewRow();

                    foreach (var propInfo in elementType.GetProperties())
                    {
                        row[propInfo.Name] = propInfo.GetValue(item, null) ?? DBNull.Value;
                    }

                    t.Rows.Add(row);
                }
            }
            catch (Exception ex)
            {
                System.Windows.Forms.MessageBox.Show(ex.Message);
            }

            insert.insertCategories(t);
            return ds.
        }
        catch (Exception ex)
        {
            System.Windows.Forms.MessageBox.Show(ex.Message);

            return null;
        }
    }
};

Потім, нарешті, щоб вставити вищезазначений набір даних у таблицю зі стовпцями, які були зіставлені в JSON, я використовував масивну копію SQL та наступний клас

public class insert
{ 
    public static string insertCategories(DataTable table)
    {     
        SqlConnection objConnection = new SqlConnection();
          //As specified in the App.config/web.config file
        objConnection.ConnectionString = System.Configuration.ConfigurationManager.ConnectionStrings["foo"].ToString();

        try
        {                                 
            objConnection.Open();
            var bulkCopy = new SqlBulkCopy(objConnection.ConnectionString);

            bulkCopy.DestinationTableName = "dbo.foo";
            bulkCopy.BulkCopyTimeout = 600;
            bulkCopy.WriteToServer(table);

            return "";
        }
        catch (Exception ex)
        {
            System.Windows.Forms.MessageBox.Show(ex.Message);
            return "";
        }
        finally
        {
            objConnection.Close();
        }         
    }
};

Отже, вищесказане працює, щоб вставити JSON з webAPI в базу даних. Це те, що я приступаю до роботи. Але аж ніяк не сподіваюся, що це буде ідеально. Якщо у вас є якісь вдосконалення, будь ласка, оновіть їх відповідно.


2
Ви повинні створити свою заяву HttpClientта HttpResponseвнутрішню using()інформацію, кожна для забезпечення належного, своєчасного утилізації та закриття основних потоків.
Ian Mercer
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.