ChatGPT as a Tool in EFL Writing: An Analysis of Students Usage and Perceptions

APPENDIX A: Survey question

(English Translation)

Experience with ChatGPT Before the Assignment

1. I have used ChatGPT for various reasons before working on this assignment.
   • (Never used it) 1 2 3 4 5 (Used it very often)
2. I have used ChatGPT to assist with Korean writing before working on this assignment.
   • (Never used it) 1 2 3 4 5 (Used it very often)
3. I have used ChatGPT to assist with English writing before working on this assignment.
   • (Never used it) 1 2 3 4 5 (Used it very often)
4. I knew how to use ChatGPT before working on this assignment.
   • (Didn’t know at all) 1 2 3 4 5 (Knew very well)
5. I was aware of the problems with ChatGPT before working on this assignment.
   • (Didn’t know at all) 1 2 3 4 5 (Knew very well)
6. I was aware that ChatGPT can present false information as if it were true (hallucination).
   • (Didn’t know at all) 1 2 3 4 5 (Knew very well)
7. I was aware that ChatGPT has incomplete linguistic knowledge (it doesn’t fully understand sentence structure).
   • (Didn’t know at all) 1 2 3 4 5 (Knew very well)
8. Before working on this assignment, I have used other technical tools for English writing assistance (Google Translate, Papago, Grammarly, Quillbot, etc.).
   • (Never used such tools) 1 2 3 4 5 (Used them very often)
   • [Follow-up Question] If you have used them, which tools did you use? (e.g., Google Translate, Papago, Grammarly, Quillbot, etc.): Short answer question

Experience with ChatGPT During the Assignment

1. The process of using ChatGPT is easy.
   • (Very difficult) 1 2 3 4 5 (Very easy)
2. I learned a lot of knowledge (outside of language) while using ChatGPT.
   • (Not true) 1 2 3 4 5 (True)
3. I learned a lot about the English language while using ChatGPT.
   • (Not true) 1 2 3 4 5 (True)
4. I primarily used ChatGPT for the following steps in writing:
   • Idea generation (brainstorming)
     • (Never used it) 1 2 3 4 5 (Used it very often)
   • Creating an outline
     • (Never used it) 1 2 3 4 5 (Used it very often)
   • Writing sentences/paragraphs (drafting)
     • (Never used it) 1 2 3 4 5 (Used it very often)
   • Revision
     • (Never used it) 1 2 3 4 5 (Used it very often)
   • Evaluation
     • (Never used it) 1 2 3 4 5 (Used it very often)

Evaluation of ChatGPT After the Assignment

1. I feel that the proliferation of ChatGPT will be a threat to me in the future.
   • (Not true) 1 2 3 4 5 (True)
2. I feel that using ChatGPT will be an opportunity for me in the future.
   • (Not true) 1 2 3 4 5 (True)
3. I feel that using ChatGPT undermines fairness.
   • (Not true) 1 2 3 4 5 (True)
4. I believe that using ChatGPT for assignments is plagiarism.
   • (Not true) 1 2 3 4 5 (True)
5. I believe that college students need formal education on how to use ChatGPT and its risks.
   • (Not true) 1 2 3 4 5 (True)
6. I evaluate the overall performance of ChatGPT as follows:
   • (Very poor) 1 2 3 4 5 (Very good)
7. After completing this assignment, I have a better understanding of how to use ChatGPT.
   • (Not true) 1 2 3 4 5 (True)
8. After completing this assignment, I am more inclined to use ChatGPT in my general activities.
   • (Not true) 1 2 3 4 5 (True)
9. After completing this assignment, I am more inclined to use ChatGPT for English writing.
   • (Not true) 1 2 3 4 5 (True)
10. After this assignment, I have gained more confidence in my English writing.
    • (Not true) 1 2 3 4 5 (True)
11. After this assignment, I feel the need to study English further for English writing.
    • (Not true) 1 2 3 4 5 (True)
12. After this assignment, I feel the need to study English in general.
    • (Not true) 1 2 3 4 5 (True)
13. I believe that using ChatGPT for English writing assignments is plagiarism.
    • (Not true) 1 2 3 4 5 (True)
14. I believe that ChatGPT should be banned in English writing classes.
    • (Not true) 1 2 3 4 5 (True)
15. I evaluate the performance of ChatGPT as a tool for assisting with English writing as follows:
    • (Very poor) 1 2 3 4 5 (Very good)

(Original Korean)

수업 (과제 수행) 전의 ChatGPT에 대한 경험

1. 나는 본 과제를 수행하기 이전에 어떤 이유로든 ChatGPT를 사용한 적이 있다.
   • (전혀 사용한 적이 없다) 1 2 3 4 5 (매우 많이 사용하였다)
2. 나는 본 과제를 수행하기 이전에 한국어 글쓰기의 도움을 받기 위해 ChatGPT를 사용한 적이 있다.
   • (전혀 사용한 적이 없다) 1 2 3 4 5 (매우 많이 사용하였다)
3. 나는 본 과제를 수행하기 이전에 영어 글쓰기의 도움을 받기 위해 ChatGPT를 사용한 적이 있다.
   • (전혀 사용한 적이 없다) 1 2 3 4 5 (매우 많이 사용하였다)
4. 나는 본 과제를 수행하기 이전에 ChatGPT의 사용방법을 알고 있었다.
   • (전혀 몰랐다) 1 2 3 4 5 (매우 잘 알고 있었다)
5. 나는 본 과제를 수행하기 이전에 ChatGPT의 문제점을 알고 있었다.
   • (전혀 몰랐다) 1 2 3 4 5 (매우 잘 알고 있었다)
6. 나는 ChatGPT가 거짓 정보를 사실인 것처럼 제공하는 현상(hallucination)을 알고 있었다.
   • (전혀 몰랐다) 1 2 3 4 5 (매우 잘 알고 있었다)
7. 나는 ChatGPT가 불완전한 언어적 지식(문장구조를 정확하게 이해하고 있는 것은 아님)을 가지고 있다는 것을 알고 있었다.
   • (전혀 몰랐다) 1 2 3 4 5 (매우 잘 알고 있었다)
8. 나는 본 과제를 수행하기 이전에 영어 글쓰기를 위해서 다른 기술적 도움을 받은 적이 있다. (구글번역, 파파고, Grammarly, Quillbot 등)
   • (전혀 도움을 받은 적이 없다) 1 2 3 4 5 (도움을 받은 적이 매우 많다)
   • [후속질문] 만약 받은 적이 있다면, 어떤 것(구글번역, 파파고, Grammarly, Quillbot 등)의 도움을 받았는가?: 단답형 질문

과제 수행 중의 ChatGPT에 대한 이용 경험

1. ChatGPT의 사용 방법은 쉽다.
   • (매우 어려움) 1 2 3 4 5 (매우 쉬움)
2. ChatGPT의 사용 과정에서 (언어외의) 지식적으로 배우는 것이 많다.
   • (그렇지 않다) 1 2 3 4 5 (그렇다)
3. ChatGPT의 사용 과정에서 영어에 관해 언어적으로 배우는 것이 많다.
   • (그렇지 않다) 1 2 3 4 5 (그렇다)
4. 나는 주로 글쓰기에서 다음의 과정을 위해 ChatGPT를 사용하였다:
   • 아이디어 생성(brainstorming)
     • (전혀 사용하지 않음) 1 2 3 4 5 (매우 많이 사용함)
   • 개요 작성(outline)
     • (전혀 사용하지 않음) 1 2 3 4 5 (매우 많이 사용함)
   • 문장/문단 쓰기 (drafting)
     • (전혀 사용하지 않음) 1 2 3 4 5 (매우 많이 사용함)
   • 퇴고 (revision)
     • (전혀 사용하지 않음) 1 2 3 4 5 (매우 많이 사용함)
   • 평가 (evaluation)
     • (전혀 사용하지 않음) 1 2 3 4 5 (매우 많이 사용함)

과제 수행 후 ChatGPT에 대한 평가

1. 나는 ChatGPT의 범람이 나에게 앞으로 위협으로 다가올 것이라고 느낀다.
   • (그렇지 않다) 1 2 3 4 5 (그렇다)
2. 나는 ChatGPT의 사용이 나에게 앞으로 기회로 다가올 것이라고 느낀다.
   • (그렇지 않다) 1 2 3 4 5 (그렇다)
3. 나는 ChatGPT를 사용하는 것이 공평함을 저해한다고 느낀다.
   • (그렇지 않다) 1 2 3 4 5 (그렇다)
4. 나는 과제의 수행시에 ChatGPT를 사용하는 것이 표절이라고 생각한다.
   • (그렇지 않다) 1 2 3 4 5 (그렇다)
5. 나는 대학생들이 ChatGPT의 사용 방법 및 위험성에 대한 공식적인 교육을 받을 필요가 있다고 생각한다.
   • (그렇지 않다) 1 2 3 4 5 (그렇다)
6. 나는 ChatGPT 전반적인 성능에 대해서 다음과 같이 평가한다.
   • (전혀 좋지 않다) 1 2 3 4 5 (매우 좋다)
7. 나는 본 과제를 수행한 후에 ChatGPT의 사용방법에 대해서 더 잘 알게 되었다.
   • (그렇지 않다) 1 2 3 4 5 (그렇다)
8. 나는 본 과제를 수행한 후에 앞으로 ChatGPT를 전반적인 활동에 더 많이 사용하고 싶다고 생각하게 되었다.
   • (그렇지 않다) 1 2 3 4 5 (그렇다)
9. 나는 본 과제를 수행한 후에 앞으로 ChatGPT를 영어 글쓰기에 더 많이 사용하고 싶다고 생각하게 되었다.
   • (그렇지 않다) 1 2 3 4 5 (그렇다)
10. 나는 본 과제 후에 영어 글쓰기에 대해서 자신감을 가지게 되었다.
    • (그렇지 않다) 1 2 3 4 5 (그렇다)
11. 나는 본 과제 후에 영어글쓰기를 위한 영어 학습이 필요하다고 생각하게 되었다.
    • (그렇지 않다) 1 2 3 4 5 (그렇다)
12. 나는 본 과제 후에 전반적인 영어 학습이 필요하다고 생각하게 되었다.
    • (그렇지 않다) 1 2 3 4 5 (그렇다)
13. 나는 영어 글쓰기 과제의 수행시에 ChatGPT를 사용하는 것이 표절이라고 생각한다.
    • (그렇지 않다) 1 2 3 4 5 (그렇다)
14. 나는 영어 글쓰기 수업에서 ChatGPT 사용을 금지해야한다고 생각한다.
    • (그렇지 않다) 1 2 3 4 5 (그렇다)
15. 나는 영어 글쓰기의 보조 도구로서 ChatGPT의 성능에 대해서 다음과 같이 평가한다.
    • (전혀 좋지 않다) 1 2 3 4 5 (매우 좋다)

APPENDIX B: Examples of Prompts

(1) Pre-writing stage
-“I want to write an essay about climate change. Can you help me brainstorm some main ideas?”
-“I think ocean acidification and its impact on coral reefs sounds intriguing. Can you provide more details?”
-“I have my main idea about the impact of climate change on marine life, focusing on coral reefs. What’s the best way to structure my essay on this topic?”

(2) Drafting stage
-“I want to say that climate change affects many animals, but I feel my sentence is too simple. How can I make it more impactful?”
-“Is this sentence correct: ‘She don’t like going to the park.’?”
-“I keep using the word ‘important.’ Can you help me find another word that might fit better in the context of emphasizing the significance of preserving the environment?”

(3) Revision stage
-“I wrote, ‘Despite its popularity, many critiques argue against its feasibility.’ Does this sentence sound clear?”
-“Does this paragraph clearly support my thesis?”
-“Is my conclusion compelling and conclusive?”