UTF-8 클래스 만들기

[kuro11pow2]

21-10-02 12:00 ~ 14:00 결과물

kuro11pow2@c5b10f7

UTF8Charset.h

 namespace Euphony { 
  
     class UTF8Charset: public Charset { 
     public: 
         UTF8Charset() = default; 
         ~UTF8Charset() = default; 
         HexVector encode(std::string src); 
         std::string decode(const HexVector &src); 
     }; 
 } 

[ycs1m1yk]

UTF-8 well-formed byte seqences 입니다.

코드 포인터 범위마다 유효한 바이트값의 범위를 확인할 수 있습니다!

Table

• 테이블 오류수정

Code Points	First Byte	Second Byte	Third Byte	Fourth Byte
U+0000 - U+007F	00 - 7F
U+0080 - U+07FF	C2 - DF	80 - BF
U+0800 - U+0FFF	E0	A0 - BF	80 - BF
U+1000 - U+CFFF	E1 - EC	80 - BF	80 - BF
U+D000 - U+D7FF	ED	80 - 9F	80 - BF
U+E000 - U+FFFF	EE - EF	80 - BF	80 - BF
U+10000 - U+3FFFF	F0	90 - BF	80 - BF	80 - BF
U+40000 - U+FFFFF	F1 - F3	80 - BF	80 - BF	80 - BF
U+100000 - U+10FFFF	F4	80 - 8F	80 - BF	80 - BF

Reference: https://stackoverflow.com/questions/1301402/example-invalid-utf8-string

[kuro11pow2]

유효성 검사 좋아요!!

[aiclaudev]

유용한 Table 감사합니다!! :)

[ycs1m1yk]

테이블 오류 수정

[judemin]

고생하셨습니다!!

[aiclaudev]

@kuro11pow2 @judemin
decode 구현 시도 중인데 정말 쉽지 않네요.. 😥
만약 '가나다abc'를 encode한다고 하면,
std::vector hexSource가 아래와 같을 것입니다.

eab080eb8298eb8ba4616263

한글은 3Bytes, 영어는 1Bytes이므로 hexSource의 size는 12인데, 이를 decode할 때, 어디서 끊어야할지(?) 어떻게 구분할 수 있을까요?
다시 말하면, 어떻게 컴퓨터가 " 'eab080'이 한 묶음으로 '가'구나!! "라고 생각할 수 있게 할까요?

저는 위 같이 이해하고 있었는데, 제가 잘 못 이해하고 있는 점이 있다면 피드백 바랍니다!!!

[ycs1m1yk]

첫번째 바이트의 범위로 구분 할 수 있습니다!

바로 위의 코멘트를 보시면 1~4바이트로 표현되는 코드 포인트 구간들은
고유한 First Byte를 사용하는 것을 알 수 있습니다.

1. U+0000 - U+007F : 00 - 7F (1바이트)
2. U+0080 - U+07FF : C2 - DF (2바이트)
3. U+0800 - U+FFFF : E0 - EF (3바이트)
4. U+010000 - U+10FFFF : F0 - F4 (4바이트)

예를들어 말씀하신 '가'를 encoding하면 eab080이 되고,

First Byte인 ea가 E0 - EF 의 범위안에 있으므로 3바이트가 한 묶음인 것을 알 수 있습니다.

따라서 ea b0 80 까지를 한 묶음으로 봅니다.

[aiclaudev]

그 부분을 고려하면 되겠군요!! 친절한 답변 감사합니다 :)

[kuro11pow2]

로직을 어떻게 구현할지 함께 고민해봐요!

Encode

HexVector encode(std::string src); 

입력

"가" = eab080 = 111010101011000010000000

출력

1110 1010 1011 0000 1000 0000

[kuro11pow2]

그냥 캐릭터 한 개씩 잘라서 HexVector에 pushBack하면 8bit 짜리가 알아서 4bit씩 두 번 push 됩니다

HexVector UTF8Charset::encode(std::string src){
    HexVector result = HexVector(src.size());

    for(int i = 0;i < src.size();i++)
        result.pushBack(src[i]);

    return result;
}

[judemin]

넵 감사합니다!

[aiclaudev]

설명 감사드립니다:)

[kuro11pow2]

Decode

std::string decode(const HexVector &src);

입력

1110 1010 1011 0000 1000 0000

출력

"가" = eab080 = 111010101011000010000000

[kuro11pow2]

HexVector의 hexSource에는 4bit 단위로 데이터가 저장되니까 hexSource의 2개를 한 덩어리로 만들어서 string에 더하면 되지 않을까요?

예를 들어
1110, 1010 이 부분은

11100000
00001010 +
= 11101010

이렇게 1바이트 char 가 되니까요!

[judemin]

넵 스트림을 이용하는 방법은 애초에 스트림에 넣을 수 있는 길이의 한계 때문에 지금 저희가 하는 방향처럼 직접적으로 비트를 다루면서 해야 할 것 같습니다!

[seohy02]

스트림은 그런 한계가 있군요,,,!!

[judemin]

현재 제 컴퓨터에서 개발 환경이 세팅되어 있지 않아서
독립적으로 visual studio에서 작동시키고 이후 안드로이드 스튜디오로 핵심코드만 옮겨갈 계획입니다.

#include<iostream>
#include<vector>
#include<string>
#include <stdint.h>
#include <sstream>
using namespace std;

void binary(unsigned int tmp) {
    int arr[8];

    int cnt = 0;
    while (cnt != 8) {
        arr[cnt] = tmp % 2;
        tmp /= 2;
        cnt++;
   }

    for (int i = 7; i >= 0; i--) {
        if (i == 3)
            cout << " ";
        cout << arr[i];
    }

    cout << "\n";
}

int main() {
    string s1 = "가나abc";
    string s2;

    cout << "Full String : " << s1 << endl;

    for (int i = 0; i < s1.size();i++) {
        unsigned int nowHex = unsigned int(s1[i]);
        cout << hex << nowHex << "    ";
        binary(nowHex);
    }
}

현재까지 작성한 테스트 코드는 위와 같으며 string을 hex로 변환해 첫 8비트를 이진수로 추출해내는 코드까지 작성하였습니다. 여기서 각 char의 첫 8비트 내 첫 3비트를 보고 이후의 char의 길이를 유추하여 하나의 긴 hex 값이나 string으로 합쳐서 각 단어를 추출하는 방법을 생각하고 있습니다.

[aiclaudev]

수고 많으셨습니다 ㅎㅎ.
근데, 상연님 코드 실행해보면 아래와 같은 결과가 나오는데, 혹시 이유 아시나요?
결과가 다른 이유를 찾아봐도 잘 모르겠네요...

[aiclaudev]

[aiclaudev]

해결했습니다! 설정 오류였네요ㅎㅎ..

[judemin]

앗 넵!! 고생 많으셨습니다!

[aiclaudev]

넵!! 👍

[aiclaudev]

#include <iostream>
#include <vector>
#include <string>
#include <sstream>

using namespace std;
typedef uint8_t u_int8_t;
using namespace std;
class HexVector {
public:
    HexVector(int size) {
        hexSource.reserve(size);
    }

    void pushBack(u_int8_t hexByte) {
        if (hexByte <= 0x0f)
        {
            hexSource.push_back(hexByte);
        }
        else
        {
            hexSource.push_back((hexByte >> 4));
            hexSource.push_back(hexByte & 0x0f);
        }
    }

    const std::vector<u_int8_t>& getHexSource() const {
        return hexSource;
    }

private:
    std::vector<u_int8_t> hexSource;
};

class Charset {
public:
    virtual ~Charset() = default;

    virtual HexVector encode(std::string src) = 0;
    virtual std::string decode(const HexVector& src) = 0;
};

class UTF8Charset : public Charset {
public:
    UTF8Charset() = default;
    ~UTF8Charset() = default;

    HexVector encode(std::string src) {
        HexVector result = HexVector(src.size());

        for (int i = 0; i < src.size(); i++)
            result.pushBack(src[i]);

        return result;
    }
                           
    std::string decode(const HexVector& src) {
        std::string result;
        std::vector<u_int8_t> a = src.getHexSource();
        int char_byte = 0;
        int start_index = 0;
        int start_byte;

        while (start_index < a.size() - 1) {
            std::string c = "";
            int start_byte = (a[start_index] << 4) | a[start_index + 1];
            if ((start_byte & 0b11111000) == 0b11110000) {
                char_byte = 4;
            }
            else if ((start_byte & 0b11110000) == 0b11100000) {
                char_byte = 3;
            }
            else if ((start_byte & 0b11100000) == 0b11000000) {
                char_byte = 2;
            }
            else if ((start_byte & 0b10000000) == 0b00000000) {
                char_byte = 1;
            }
            int next_index = char_byte;
            int i = start_index;
            while (char_byte != 0) {
                c += ((a[i] << 4) | a[i + 1]);
                i += 2;
                char_byte--;
            }
            start_index += next_index * 2;
            result += c;
        }
        return result;
        /* for test
        std::cout << hex << ((a[0] << 4) | a[1]);
        cout << hex << (a[2] << 4 | a[3]);
        cout << hex << (a[4] << 4 | a[5]);
        result += a[0] << 4 | a[1];
        result += a[2] << 4 | a[3];
        result += a[4] << 4 | a[5];
        cout << endl;*/
    }
};

int main() {
    UTF8Charset a;
    UTF8Charset b;
    HexVector c = a.encode("!@#가나다라12345abdcd^&^$");
    std::cout << "예상 결과 : !@#가나다라12345abdcd^&^$" << endl <<  b.decode(c);
}

[aiclaudev]

오호 잘 돌아간다니 다행입니다👍👍

[kuro11pow2]

@aiclaudev @judemin
전체 코드도 올려드리겠습니다 검토해보시고 문제 없으면 이어서 PR 부탁드립니다! 😄
두 분 중에 한 분이 대표로 PR 날려주시고 나머지 분은 co-author 로 등록해주세요!!

ex)
Co-Authored-By: JK Park [email protected]

euphony/src/main/cpp/core/UTF8Charset.h

#ifndef EUPHONY_UTF8CHARSET_H
#define EUPHONY_UTF8CHARSET_H

#include "Charset.h"

namespace Euphony {

    class UTF8Charset : public Charset {
    public:
        UTF8Charset() = default;
        ~UTF8Charset() = default;
        HexVector encode(std::string src);
        std::string decode(const HexVector &src);
    };
}

euphony/src/main/cpp/core/source/UTF8Charset.cpp

#include "UTF8Charset.h"

#include <bitset>
#include <codecvt>
#include <iomanip>
#include <iostream>
#include <sstream>
#include <string>

using namespace Euphony;

HexVector UTF8Charset::encode(std::string src) {
    HexVector result = HexVector(src.size());

    for (int i = 0; i < src.size(); i++)
        result.pushBack(src[i]);

    return result;
}

std::string UTF8Charset::decode(const HexVector& src) {
    std::string result;
    std::vector<u_int8_t> hexSource = src.getHexSource();

    for (int i = 0; i < hexSource.size() / 2; i++)
        result += (hexSource[2 * i] << 4) | hexSource[2 * i + 1];

    return result;
}

#endif //EUPHONY_UTF8CHARSET_H

euphony/src/main/cpp/tests/utf8CharsetTest.cpp

#include <Definitions.h>
#include <UTF8Charset.h>
#include <gtest/gtest.h>

#include <tuple>

using namespace Euphony;

typedef std::tuple<std::string, std::string> TestParamType;

class UTF8CharsetTestFixture : public ::testing::TestWithParam<TestParamType> {

public:
    void openCharset() {
        EXPECT_EQ(charset, nullptr);
        charset = new UTF8Charset();
        ASSERT_NE(charset, nullptr);
    }

    Charset *charset = nullptr;
};

TEST_P(UTF8CharsetTestFixture, EncodingTest) {
    openCharset();

    std::string source;
    std::string expectedResult;

    std::tie(source, expectedResult) = GetParam();

    HexVector actualResult = charset->encode(source);
    EXPECT_EQ(actualResult.toString(), expectedResult);
}

TEST_P(UTF8CharsetTestFixture, DecodingTest) {
    openCharset();

    std::string source;
    std::string expectedResult;

    std::tie(expectedResult, source) = GetParam();
    HexVector hv = HexVector(source);

    std::string actualResult = charset->decode(hv);
    EXPECT_EQ(actualResult, expectedResult);
}

INSTANTIATE_TEST_CASE_P(
        ChrasetDecodingTestSuite,
        UTF8CharsetTestFixture,
        ::testing::Values(
                TestParamType("a", "61"),
                TestParamType("b", "62"),
                TestParamType("가", "eab080"),
                TestParamType("각", "eab081"),
                TestParamType("나", "eb8298"),
                TestParamType("홍길동", "ed998deab8b8eb8f99"),
                TestParamType("@XYZ", "4058595a"),
                TestParamType(".com", "2e636f6d"),
                TestParamType("서울특별시", "ec849cec9ab8ed8ab9ebb384ec8b9c"),
                TestParamType("010-1234-5678", "3031302d313233342d35363738"),
                TestParamType("36.5℃", "33362e35e28483")
        ));

[seohy02]

고생많으셨습니다!!!

[aiclaudev]

정리까지... 감사합니다!!

[judemin]

고생하셨습니다!!

[designe]

오잉? 생각보다 환경 구축이 안되신 분들이 많네요!?
혹시 어떤 문제인지 알려주실 수 있을까요?

[kuro11pow2]

윈도우 환경에서 GCC가 아닌 컴파일러를 쓰셔서 u_int8_t 같은 타입이 컴파일이 안 되신다는 걸로 기억합니다!

[designe]

아 여기서의 환경 구축은 code로 환경 구축을 의미하는 거죠? ㅎㅎ
안드로이드 스튜디오는 다들 잘 되시는거죵?ㅋㅋ

[kuro11pow2]

넵 맞습니다 ㅎㅎ

[aiclaudev]

넵 안드로이드 스튜디오는 잘 됩니다 ㅎㅎ!

[judemin]

넵 안드로이드 스튜디오는 구축되어 있습니다!