Существует и легенда о возникновении города. В легенде говорится, что примерно во второй трети XII в. в Эстонии произошло сильное землетрясение и замок в Эдизе пришёл в негодность. Согласно второму варианту легенды два брата жившие в Эдизеском замке постоянно воевали с соседями, в результате чего замок обветшал и начал разрушаться. В некоторых источниках можно найти информацию о том, что братьев звали Йохан и Михаэль. В любом случае старший брат решил построить новый замок и начал строительство на том месте, где сейчас находится церковь св. Михаила. Вскоре ему пришлось идти на войну, и строительство замка продолжил его младший брат. Когда старший брат вернулся с войны, то он увидел, что построил младший брат, построенное ему не понравилось и они поссорились. В порыве ярости старший брат убил младшего. Потом он раскаялся в своем злодеянии и решил вместо замка построить церковь. Себя же приказал похоронить после смерти перед главным входом в церковь, чтобы все люди могли ходить через его земной прах.
Перед главным церковным входом, под мостовой, действительно со времен католичества находится крест покаяния, на котором должны были стоять те, кто в чём-то провинился перед обществом и церковью и поэтому не имел права приходить на богослужение. Легенда, как и большинство других, передает события, происходившие в действительности, используя для этого свой образный язык. Право патронажа над йыхвиской церковью на самом деле принадлежало баронам Эдизе — старинному роду Таубе, что позволяет считать род Таубе действительными строителями церкви. Герб рода Таубе (вырванная с корнями липа с двумя листьями) и сейчас находится на западной стене церковной башни справа от главной двери. Искусствовед Виллем Раам связывает легенду с уходом старшего брата на войну с событиями связанными с восстанием в Юрьеву ночь, таким образом построение церкви можно было бы датировать 1344 годом. Йыхвискую общину впервые упоминают в виде «parochia Jewe» в 1354 году. Десять лет спустя (1364 году) впервые названа письменно йыхвиская церковь.
Йыхвиская церковь образует единый комплекс с укреплениями в Эдизе и Ярве, а чуть позже и Кукрузе на торговом пути с запада на восток, потому скорее всего она изначально строилась как крепость. Будучи расположенной восточнее их, она всегда первой подвергалась ударам. Уже в 1367 году возле йыхвиской церкви состоялось сражение во время похода русских в Вирумаа. В результате церковь сильно пострадала от пожара. Так как церковь и в дальнейшем осталась служить одним из главнейших форпостов, она неоднократно попадала в руки погромщиков.
Так во время Ливонской войны 3 февраля 1558 года русские штурмом взяли церковь. Все находившиеся в это время в церкви были убиты, в тот же день пало и городище Эдизе.
Есть данные на основании которых можно предполагать, что церковь была фактически вновь отстроена, перестроена заново укреплена в 1637 году, но в ходе шведско-русской войны в 1657 году здание было разрущено. Так как к 1659 году Вирумаа было полностью опустошено и почти все население было уничтожено, церковь находилась в запустении до 1698 года, а в ходе Северной войны в 1703 году церковь была разорена и разрушена. Современный вид церковь приобрела в период 1728—1748 годов. Впервые шпиль у колокольни появился в 1875 году, а шпиль в современом виде был отстроен в 1984 после пожара 1943 года. В XIX столетии Йыхви неоднократно страдал от пожаров. В 1875 году сгорели конюшня и скотный двор церковной мызы, погибло 40 животных. В 1882 году огонь уничтожил нкесколько домов у базарной площади. Эти два больших пожара послужили толчком к организации пожарного общества. Но ни с чем не сравнимая трагедия произошла 3 августа 1943 года. Огонь уничтожил треть города. Пожар возник в доме конфирмации, где квартировали немецкие солдаты. Отсюда огонь перекинулся на драночную крышу кирки, охватил её шпиль. Сильный западный ветер перебросил огонь на постройки по Нарвскому шоссе и по другим улицам. Пожар уничтожил 92 жилых дома и 129 пристроек, 729 человек остались без крова, 2 человека погибли и десятки получили сильные ожоги. Ныне церковь является центром исторического и культурного достояния города.

Когда в начале прошлого столетия вновь активизировался подъем национального возрождения, не остался а стороне Йыхви. Было организовано Йыхвиское сельскохозяйственное товарищество, создано общество народного просвещения, которое в 1913 году власти закрыли. Но с 1922 по 1940 год оно работало активно.
Предшественником нынешнего молококомбината было товарищество по переработке молока, созданное в 1911 году в Тойла (позднее в Йыхви). В 1910 году начало действовать товарищество по займу денег и лошадей. Это было первое финансовое учреждение в Алатагузе.
После февральской революции Йыхви стал добиваться административного самоопределения и отделения от волости. Решением земского совета от 29 августа 1917 года такое право ему было дано. Определились административные границы, и Йыхви стал именоваться посадом с населением 1 300 человек.
Во время Первой мировой войны после боев на подступах к Йыхви и Сомпа с прибывшими сюда из Петрограда красногвардейцами, немецкие войска 1 марта 1918 года заняли Йыхви и продержались здесь до 29 ноября. Постояннного делопроизводства в этот период не велось, но по распоряжению немецких властей были пронумерованы все дома, началось строительство тротуаров и посадка деревьев.
С 8 декабря 1918 года по 16 января 1919 года в Йыхви у власти находилась Эстлядндская Трудовая Коммуна во главе с Каяспертом и Вейденбаумом.
В 1919 году посад получил официальное наименование Йыхви. Первым головой посада стал Вяли. Позже (в 1920—1930 годах) посадом правил А. Кябин, в следующие два года Р. Лепик. В 1920 году предполагалось сделать Йыхви центром вновь создаваемого Алатагузеского уезда, но уезд создан не был, и Йыхви по-прежнему оставался посадом.
В 20-х годах начался быстрый подъем. В 1923 году построили среднюю, а в 1929 году — начальную школу, открылось шахтерское училище. В этом же году возвели крахмальный завод, а годом позже — так называемый дом торговли «Сайги», в котором размещались12 магазинов. Завершилось строительство железнодорожной станции с подъездными путями, погрузоачно-разгрузочной платформой и товарным амбаром. До этого станция называлась Тойла. Автобусное сообщение между Йыхви и Ийзаку наладилось в 1923 году. Электрифицировали Йыхви в конце 1926 года; сначала он получал электроэнергию из Кохтла-Ярвеской электростанции, позже — с гидроэлектростанции, построенной на реке Нарве. Продолжалось индивидуальное строительство — в основном вдоль Нарвского шоссе и постепенно вдоль улиц Раквере и Сомпа, в районе железнодорожной станции. Росла торговая сеть. В конце 30-х годов в посаде насчитывалось более 60 магазинов и лавок. Особый размах получила общественная работа. В 1936 году одна газета иронизировала, что «на 2 000 жителей приходится 32 различных общества и товарищества».
В 1929 году в Йыхвиской мызе расквартировался 4-й отдельный пехотный батальон эстонской оборонительной армии. Неподалеку от кладбища (на месте бывшей второй шахты) расположились ангар и учебный аэродром.
1 мая 1938 года Йыхви стал городом. По переписи населения в нём проживало 2 535 человек. Первым городским головой (председателем городской управы) стал А. Данилевски, который с 1933 года правил посадом. С марта по сентябрь 1940 года в должности городского головы, находился В. Хярма. В этот период идет развитие сланцепереработок в Йыхви и близлежащем Кохтла-Ярве, многие жители устраиваются на сланцеперегонные предприятия.
Утром 17 июня 1940 года на улицах города появилась автоколонна Красной Армии, во главе её шли броневики. Первый митинг состоялся 23 июня на базарной площади.
Первыми председателями горисполкома в Йыхви в 1940—1941 годах работали М. Мяги, А. Лаэ.
13 августа по Ракверескому и Тартускому шоссе в город вошли немецкие войска. Город уцелел, пострадали от бомбежки и артиллерийского обстрела лишь несколько домов. На железнодорожной станции Тойла был взорван бак водонапорной башни. В 1944 году Йыхви стал прифронтовым городом. Вдоль Нарвского шоссе все лето строилась оборонительная линия с бункерами, дзотами и противотанковым рвом.
В августе по распоряжению немецкого командования все жители города были эвакуированы. Вечером 18 сентября принялись за «работу» команды поджигателей. Была разрушена железнодорожная станция Йыхви, взрывались мосты и линии связи, здание средней школы, мызы, заводы. Поджигатели уничтожили жилые дома близ железнодорожных станций. По счастливой случайности целыми остались здания начальной школы, железнодорожной станции Тойла, крахмального завода, часть жилых домов вокруг базарной площади. Когда 19 сентября части Красной Армии вступили в город, весь он был в развалинах, дымился, ни одной живой души в городе не осталось.
Трагический пожар, бомбежка, преступная деятельность отступающих немецких воинских частей уничтожили большую часть города; из 350 домов осталось только 100. Погибла одна из старейших сельских аптек, построенная в 1841 году. Много человеческих жизний унесли убийства, аресты, выселения, мобилизация и эвакуация. Но и в период с 1945 по 1990 год так же был уничтожен ряд зданий во время пожара в 1953 году выгорил почти весь квартал вокруг Йыхвиской библиотеки (ранее кинотеатр «Раху»). В 1989 году упавшей во время сильного урагана столетней ивой было уничтожено здание «Эстигаз», отсоединение Эстонии от Советского Союза также внесло «свежую струю». В период с 1991 по 1992 год была разобрано и увезено здание старой кондитерской. По указу о реституции оно было передано человеку, владевшему им до 1940 года, а он предпочел перевезти его в другое место. С Йыхвискими шахтами возникла большая проблема после 1999—2000 годов, так как в эти годы было очень обильное выпадение осадков, в результате чего закрытые шахты были затоплены, и в результате возникла ситуация когда питьевая вода в городе была загрязнена, а так как шахты находятся выше уровня большей части города, возникла угроза затопления.
В связи с интенсивной разработкой горючих сланцев в послевоенный период город начал быстро расти. Население увеличилось в основном за счёт мигрантов. В 1948 году под боком города была построена шахта (действовала до 1973 года). На бывшем мызном сенокосе вырос большой ремонтно-механический завод, открылось профессиональное училище. В 1947 году построили первое общественное здание — клуб строителей, он возведен на фундаменте бывышей корчмы. Основные строительные работы в послевоенный период выполнялсь немецкими военнопленными (1944—1950 годы). Они же построили дома по улице Раквере.