UTF-16 클래스 만들기

[kuro11pow2]

Charset 인터페이스를 상속해서

euphony/euphony/src/main/cpp/core/Charset.h

Lines 7 to 16 in 5496692

	namespace Euphony {
	class Charset {
	public:
	virtual ~Charset() = default;
	virtual HexVector encode(std::string src) = 0;
	virtual std::string decode(const HexVector &src) = 0;
	};
	}
	#endif //EUPHONY_CHARSET_H

아래처럼 구현할 예정입니다.

euphony/euphony/src/main/cpp/core/ASCIICharset.h

Lines 6 to 17 in 5496692

	namespace Euphony {
	class ASCIICharset : public Charset {
	public:
	ASCIICharset() = default;
	~ASCIICharset() = default;
	HexVector encode(std::string src);
	std::string decode(const HexVector &src);
	};
	}
	#endif //EUPHONY_ASCIICHARSET_H

이런 헤더가 되겠죠?
UTF16Charset.h

 namespace Euphony { 
  
     class UTF16Charset: public Charset { 
     public: 
         UTF16Charset() = default; 
         ~UTF16Charset() = default; 
         HexVector encode(std::string src); 
         std::string decode(const HexVector &src); 
     }; 
 } 

테스트케이스는 다음을 참고해서 만들 수 있습니다.

euphony/euphony/src/main/cpp/tests/asciiCharsetTest.cpp

Lines 51 to 64 in 5496692

	INSTANTIATE_TEST_CASE_P(
	ChrasetDecodingTestSuite,
	ASCIICharsetTestFixture,
	::testing::Values(
	TestParamType("a", "61"),
	TestParamType("b", "62"),
	TestParamType("c", "63"),
	TestParamType("abc", "616263"),
	TestParamType("lmno", "6c6d6e6f"),
	TestParamType("efg", "656667"),
	TestParamType("abcdefghijklmnopqrstuvwxyz", "6162636465666768696a6b6c6d6e6f707172737475767778797a"),
	TestParamType("ABC", "414243"),
	TestParamType("ABCDEFGHIJKLMNOPQRSTUVWXYZ", "4142434445464748494a4b4c4d4e4f505152535455565758595a")
	));

UTF-8
"가", "eab080"

UTF-16
"가", "ac00"

HexVector에 저장되는 값이기 때문에 이렇게 16진수로 적어주시면 될 것 같습니다!

[seohy02]

넵넵! 참고할게요! 감사합니다~!~!

[kuro11pow2]

도움되면 좋겠네요 ㅎㅎ 😄

[designe]

goooooooood :)

[kuro11pow2]

😄😄😄

[seohy02]

https://convertcodes.com/utf16-encode-decode-convert-string/
이 사이트를 이용하면 UTF16은 쉽게 테스트 케이스 예제 만들 수 있을 것 같아요!

[judemin]

좋은 사이트 감사합니다 :)

[kuro11pow2]

오 감사합니다!!

[ycs1m1yk]

덕분에 잘 쓰고 있습니다 😃

[psh2849]

감사합니다!

[seohy02]

#include <iostream>
#include <codecvt>
int main() {
	std::string s = u8"가나다";

	std::wstring_convert<std::codecvt<char16_t, char, std::mbstate_t>, char16_t> convert;

	std::u16string u16 = convert.from_bytes(s);
	for (char16_t c : u16) {
		std::cout << std::hex << int(c) << std::endl;
	}
	/*
	ac00
	b098
	b2e4
	*/
}

일단 간단하게 프린트만 하도록 UTF16 인코딩부터 만들어보고 있는데 이런 느낌으로 하면 되는건가요 ?!

근데 일단 저 코드에서는 std::string s = u8"가나다"; 여기서 u8을 빼면 한글은 에러가 나네요ㅠㅠ 입력은 ASCIICharset 코드처럼 단순 string으로 받아야 하죠??

[seohy02]

근데 저기에서두 u8"가각" 앞에 u8이 꼭 붙네요 ㅜㅜ UTF16Charset.cpp 작성을 위해서는 ASCII에서와 같이 단순하게 string 으로 받아서 처리하고 싶은데, 한 번 방법을 찾아볼게요 ! 혹시 아시는 분은 댓글 부탁드려요 !

[kuro11pow2]

혹시 encode 구현중이신건가요?

[seohy02]

혹시 encode 구현중이신건가요?

넵 맞아요!!

[kuro11pow2]

저도 한번 방법 찾아볼게요!! 제가 알기로 std::string이 기본적으로 utf8인 걸로 알고 있어서 어떻게 방법이 있을 것 같아요

[seohy02]

그렇군요 !! 감사합니다 !!

[ycs1m1yk]

UTF8 decoder 테스트 자료입니다. https://www.cl.cam.ac.uk/~mgk25/ucs/examples/UTF-8-test.txt

• boundary conditions
• Malformed sequences
• continuation bytes
• Lonely start characters

등의 키워드들이 있습니다.

아직 파악중입니다😿

[kuro11pow2]

와 엄청 견고한 테스트케이스를 찾으셨네요 👍👍

[judemin]

좋은 테스트 케이스 감사합니다!

[judemin]

디스커션 자체를 워낙 세세하게 다들 작성해 주셔서 한 눈에 이해가 잘 되고 있는 것 같습니다! 감사합니다!!

[kuro11pow2]

😄😄😄😄

[ycs1m1yk]

UTF16 테스트케이스입니다. @kuro11pow2

#include <gtest/gtest.h>
#include <Definitions.h>
#include <UTF16Charset.h>
#include <tuple>

using namespace Euphony;

typedef std::tuple<std::string, std::string> TestParamType;

class UTF16CharsetTestFixture : public ::testing::TestWithParam<TestParamType>
{

public:
    void openCharset()
    {
        EXPECT_EQ(charset, nullptr);
        charset = new UTF16Charset();
        ASSERT_NE(charset, nullptr);
    }

    Charset *charset = nullptr;
};

TEST_P(UTF16CharsetTestFixture, EncodingTest)
{
    openCharset();

    std::string source;
    std::string expectedResult;

    std::tie(source, expectedResult) = GetParam();

    HexVector actualResult = charset->encode(source);
    EXPECT_EQ(actualResult.toString(), expectedResult);
}

TEST_P(UTF16CharsetTestFixture, DecodingTest)
{
    openCharset();

    std::string source;
    std::string expectedResult;

    std::tie(expectedResult, source) = GetParam();
    HexVector hv = HexVector(source);

    std::string actualResult = charset->decode(hv);
    EXPECT_EQ(actualResult, expectedResult);
}

INSTANTIATE_TEST_CASE_P(
    ChrasetDecodingTestSuite,
    UTF16CharsetTestFixture,
    ::testing::Values(
        TestParamType("가", "ac00"),
        TestParamType("나", "b098"),
        TestParamType("홍길동", "d64dae38b3d9"),
        TestParamType("a", "0061"),
        TestParamType("b", "0062"),
        TestParamType("@XYZ", "004000580059005a"),
        TestParamType(".com", "002e0063006f006d"),
        TestParamType("서울특별시", "c11cc6b8d2b9bcc4c2dc"),
        TestParamType("010-1234-5678", "003000310030002d0031003200330034002d0035003600370038"),
        TestParamType("36.5℃", "00330036002e00352103")
        ));

[kuro11pow2]

테스트 케이스 모두 통과했습니다~

[ycs1m1yk]

와 인코딩 디코딩 모두 잘되네요!! 🎉🎉

[judemin]

와 진짜 고생하셨어요!!

[aiclaudev]

수고 많으셨습니다!!! :)

[judemin]

hex to utf8

std::string hex_to_string(const std::string& in) {
    std::string output;

    if ((in.length() % 2) != 0) {
        throw std::runtime_error("String is not valid length ...");
    }

    size_t cnt = in.length() / 2;

    for (size_t i = 0; cnt > i; ++i) {
        uint32_t s = 0;
        std::stringstream ss;
        ss << std::hex << in.substr(i * 2, 2);
        ss >> s;

        output.push_back(static_cast<unsigned char>(s));
    }

    return output;
}

Reference

https://stackoverflow.com/questions/3381614/c-convert-string-to-hexadecimal-and-vice-versa

[judemin]

추가 레퍼런스
https://stackoverflow.com/questions/12851379/c-how-do-i-convert-hex-integer-to-string

[aiclaudev]

https://stackoverflow.com/questions/57308743/hex-string-to-utf-8unicode-string

[kuro11pow2]

자료 공유 좋아요 👍

[designe]

utf-8은 discussion 분기하는거 어떨까요?!

[kuro11pow2]

utf-8은 discussion 분기하는거 어떨까요?!

좋습니다!!

[judemin]

이런 방법도 있지 않을까요?

int x;
istringstream iss("a1a56");
iss >> hex >> x;
ostringstream oss;
oss << x;
string s(oss.str());

[aiclaudev]

sstream을 다뤄본 적이 한번도 없어서, 계속 구글링하면서 테스트 해봐야겠습니다 ㅠㅠ!

[ycs1m1yk]

#81 로 이동.

[kuro11pow2]

UTF8 논의는 이쪽에서 할게요!!

#81

[ycs1m1yk]

넵!!

[judemin]

넵 감사합니다!